Check your refrigerator. What can you create?
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ ```
+
+ Nota que a cada casilla de verificación se le da un valor. Esto refleja el índice donde se encuentra el ingrediente según el conjunto de datos. La manzana, por ejemplo, en esta lista alfabética, ocupa la quinta columna, por lo que su valor es '4' ya que comenzamos a contar desde 0. Puedes consultar la [hoja de cálculo de ingredientes](../../../../4-Classification/data/ingredient_indexes.csv) para descubrir el índice de un ingrediente dado.
+
+ Continuando tu trabajo en el archivo index.html, agrega un bloque de script donde se llama al modelo después del cierre final ``.
+
+1. Primero, importa el [Runtime de Onnx](https://www.onnxruntime.ai/):
+
+ ```html
+
+ ```
+
+ > Onnx Runtime se usa para permitir ejecutar tus modelos Onnx en una amplia gama de plataformas de hardware, incluidas optimizaciones y una API para usar.
+
+1. Una vez que el Runtime esté en su lugar, puedes llamarlo:
+
+ ```html
+
+ ```
+
+En este código, están ocurriendo varias cosas:
+
+1. Creaste una matriz de 380 posibles valores (1 o 0) para ser configurados y enviados al modelo para inferencia, dependiendo de si una casilla de verificación de ingrediente está marcada.
+2. Creaste una matriz de casillas de verificación y una forma de determinar si estaban marcadas en un `init` function that is called when the application starts. When a checkbox is checked, the `ingredients` array is altered to reflect the chosen ingredient.
+3. You created a `testCheckboxes` function that checks whether any checkbox was checked.
+4. You use `startInference` function when the button is pressed and, if any checkbox is checked, you start inference.
+5. The inference routine includes:
+ 1. Setting up an asynchronous load of the model
+ 2. Creating a Tensor structure to send to the model
+ 3. Creating 'feeds' that reflects the `float_input` input that you created when training your model (you can use Netron to verify that name)
+ 4. Sending these 'feeds' to the model and waiting for a response
+
+## Test your application
+
+Open a terminal session in Visual Studio Code in the folder where your index.html file resides. Ensure that you have [http-server](https://www.npmjs.com/package/http-server) installed globally, and type `http-server` en el indicador. Debería abrirse un localhost y puedes ver tu aplicación web. Verifica qué cocina se recomienda según varios ingredientes:
+
+
+
+¡Felicidades, has creado una aplicación web de 'recomendación' con unos pocos campos! Tómate un tiempo para desarrollar este sistema.
+
+## 🚀Desafío
+
+Tu aplicación web es muy mínima, así que continúa desarrollándola utilizando ingredientes y sus índices de los datos de [ingredient_indexes](../../../../4-Classification/data/ingredient_indexes.csv). ¿Qué combinaciones de sabores funcionan para crear un plato nacional dado?
+
+## [Cuestionario después de la lección](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/26/)
+
+## Revisión y Autoestudio
+
+Si bien esta lección solo tocó la utilidad de crear un sistema de recomendación para ingredientes alimentarios, esta área de aplicaciones de ML es muy rica en ejemplos. Lee más sobre cómo se construyen estos sistemas:
+
+- https://www.sciencedirect.com/topics/computer-science/recommendation-engine
+- https://www.technologyreview.com/2014/08/25/171547/the-ultimate-challenge-for-recommendation-engines/
+- https://www.technologyreview.com/2015/03/23/168831/everything-is-a-recommendation/
+
+## Asignación
+
+[Construye un nuevo recomendador](assignment.md)
+
+**Descargo de responsabilidad**:
+Este documento ha sido traducido utilizando servicios de traducción automática basados en IA. Aunque nos esforzamos por lograr precisión, tenga en cuenta que las traducciones automáticas pueden contener errores o inexactitudes. El documento original en su idioma nativo debe considerarse la fuente autorizada. Para información crítica, se recomienda la traducción profesional humana. No somos responsables de ningún malentendido o interpretación errónea que surja del uso de esta traducción.
\ No newline at end of file
diff --git a/translations/es/4-Classification/4-Applied/assignment.md b/translations/es/4-Classification/4-Applied/assignment.md
new file mode 100644
index 000000000..69f19af88
--- /dev/null
+++ b/translations/es/4-Classification/4-Applied/assignment.md
@@ -0,0 +1,14 @@
+# Construye un recomendador
+
+## Instrucciones
+
+Dado tus ejercicios en esta lección, ahora sabes cómo construir una aplicación web basada en JavaScript utilizando Onnx Runtime y un modelo convertido a Onnx. Experimenta construyendo un nuevo recomendador usando datos de estas lecciones o de otras fuentes (da crédito, por favor). Podrías crear un recomendador de mascotas dadas varias características de personalidad, o un recomendador de géneros musicales basado en el estado de ánimo de una persona. ¡Sé creativo!
+
+## Rubrica
+
+| Criterios | Ejemplar | Adecuado | Necesita Mejorar |
+| --------- | --------------------------------------------------------------------- | ------------------------------------- | --------------------------------- |
+| | Se presenta una aplicación web y un cuaderno, ambos bien documentados y en funcionamiento | Falta uno de esos dos o tiene errores | Ambos faltan o tienen errores |
+
+**Descargo de responsabilidad**:
+Este documento ha sido traducido utilizando servicios de traducción automática basados en inteligencia artificial. Aunque nos esforzamos por lograr precisión, tenga en cuenta que las traducciones automatizadas pueden contener errores o inexactitudes. El documento original en su idioma nativo debe considerarse la fuente autorizada. Para información crítica, se recomienda la traducción profesional humana. No somos responsables de ningún malentendido o interpretación errónea que surja del uso de esta traducción.
\ No newline at end of file
diff --git a/translations/es/4-Classification/README.md b/translations/es/4-Classification/README.md
new file mode 100644
index 000000000..d93c7f88a
--- /dev/null
+++ b/translations/es/4-Classification/README.md
@@ -0,0 +1,30 @@
+# Empezando con la clasificación
+
+## Tema regional: Deliciosas cocinas asiáticas e indias 🍜
+
+En Asia e India, las tradiciones culinarias son extremadamente diversas y ¡muy deliciosas! Veamos datos sobre las cocinas regionales para tratar de entender sus ingredientes.
+
+
+> Foto de Lisheng Chang en Unsplash
+
+## Lo que aprenderás
+
+En esta sección, profundizarás en tu estudio anterior de la regresión y aprenderás sobre otros clasificadores que puedes usar para comprender mejor los datos.
+
+> Existen herramientas útiles de bajo código que pueden ayudarte a aprender a trabajar con modelos de clasificación. Prueba [Azure ML para esta tarea](https://docs.microsoft.com/learn/modules/create-classification-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott)
+
+## Lecciones
+
+1. [Introducción a la clasificación](1-Introduction/README.md)
+2. [Más clasificadores](2-Classifiers-1/README.md)
+3. [Otros clasificadores](3-Classifiers-2/README.md)
+4. [ML aplicado: construir una aplicación web](4-Applied/README.md)
+
+## Créditos
+
+"Empezando con la clasificación" fue escrito con ♥️ por [Cassie Breviu](https://www.twitter.com/cassiebreviu) y [Jen Looper](https://www.twitter.com/jenlooper)
+
+El conjunto de datos de las deliciosas cocinas fue obtenido de [Kaggle](https://www.kaggle.com/hoandan/asian-and-indian-cuisines).
+
+**Descargo de responsabilidad**:
+Este documento ha sido traducido utilizando servicios de traducción automática basados en inteligencia artificial. Aunque nos esforzamos por lograr precisión, tenga en cuenta que las traducciones automatizadas pueden contener errores o imprecisiones. El documento original en su idioma nativo debe considerarse la fuente autorizada. Para información crítica, se recomienda una traducción humana profesional. No nos hacemos responsables de ningún malentendido o interpretación errónea que surja del uso de esta traducción.
\ No newline at end of file
diff --git a/translations/es/5-Clustering/1-Visualize/README.md b/translations/es/5-Clustering/1-Visualize/README.md
new file mode 100644
index 000000000..be722bc86
--- /dev/null
+++ b/translations/es/5-Clustering/1-Visualize/README.md
@@ -0,0 +1,219 @@
+# Introducción a la agrupación
+
+La agrupación es un tipo de [Aprendizaje No Supervisado](https://wikipedia.org/wiki/Unsupervised_learning) que supone que un conjunto de datos no está etiquetado o que sus entradas no están emparejadas con salidas predefinidas. Utiliza varios algoritmos para clasificar datos no etiquetados y proporcionar agrupaciones según los patrones que discierne en los datos.
+
+[](https://youtu.be/ty2advRiWJM "No One Like You by PSquare")
+
+> 🎥 Haz clic en la imagen de arriba para ver un video. Mientras estudias el aprendizaje automático con agrupación, disfruta de algunas pistas de Dance Hall nigeriano: esta es una canción muy valorada de 2014 por PSquare.
+
+## [Cuestionario antes de la lección](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/27/)
+### Introducción
+
+[La agrupación](https://link.springer.com/referenceworkentry/10.1007%2F978-0-387-30164-8_124) es muy útil para la exploración de datos. Veamos si puede ayudar a descubrir tendencias y patrones en la forma en que el público nigeriano consume música.
+
+✅ Tómate un minuto para pensar en los usos de la agrupación. En la vida real, la agrupación ocurre cada vez que tienes una pila de ropa y necesitas separar la ropa de los miembros de tu familia 🧦👕👖🩲. En ciencia de datos, la agrupación ocurre cuando se intenta analizar las preferencias de un usuario o determinar las características de cualquier conjunto de datos no etiquetado. La agrupación, de alguna manera, ayuda a darle sentido al caos, como un cajón de calcetines.
+
+[](https://youtu.be/esmzYhuFnds "Introduction to Clustering")
+
+> 🎥 Haz clic en la imagen de arriba para ver un video: John Guttag del MIT introduce la agrupación
+
+En un entorno profesional, la agrupación puede usarse para determinar cosas como la segmentación del mercado, determinando qué grupos de edad compran qué artículos, por ejemplo. Otro uso sería la detección de anomalías, tal vez para detectar fraudes en un conjunto de datos de transacciones con tarjetas de crédito. O podrías usar la agrupación para determinar tumores en un lote de escaneos médicos.
+
+✅ Piensa un minuto sobre cómo podrías haber encontrado la agrupación 'en la naturaleza', en un entorno bancario, de comercio electrónico o de negocios.
+
+> 🎓 Curiosamente, el análisis de agrupaciones se originó en los campos de la Antropología y la Psicología en la década de 1930. ¿Puedes imaginar cómo podría haberse utilizado?
+
+Alternativamente, podrías usarlo para agrupar resultados de búsqueda: por enlaces de compras, imágenes o reseñas, por ejemplo. La agrupación es útil cuando tienes un conjunto de datos grande que deseas reducir y sobre el cual deseas realizar un análisis más granular, por lo que la técnica puede usarse para aprender sobre los datos antes de que se construyan otros modelos.
+
+✅ Una vez que tus datos estén organizados en grupos, les asignas un Id de grupo, y esta técnica puede ser útil para preservar la privacidad del conjunto de datos; en lugar de referirse a un punto de datos por su id de grupo, en lugar de por datos más reveladores e identificables. ¿Puedes pensar en otras razones por las que preferirías referirte a un Id de grupo en lugar de a otros elementos del grupo para identificarlo?
+
+Profundiza tu comprensión de las técnicas de agrupación en este [módulo de aprendizaje](https://docs.microsoft.com/learn/modules/train-evaluate-cluster-models?WT.mc_id=academic-77952-leestott)
+## Empezando con la agrupación
+
+[Scikit-learn ofrece una amplia gama](https://scikit-learn.org/stable/modules/clustering.html) de métodos para realizar agrupaciones. El tipo que elijas dependerá de tu caso de uso. Según la documentación, cada método tiene varios beneficios. Aquí hay una tabla simplificada de los métodos compatibles con Scikit-learn y sus casos de uso apropiados:
+
+| Nombre del método | Caso de uso |
+| :--------------------------- | :------------------------------------------------------------------------- |
+| K-Means | propósito general, inductivo |
+| Affinity propagation | muchos, grupos desiguales, inductivo |
+| Mean-shift | muchos, grupos desiguales, inductivo |
+| Spectral clustering | pocos, grupos uniformes, transductivo |
+| Ward hierarchical clustering | muchos, grupos restringidos, transductivo |
+| Agglomerative clustering | muchos, restringidos, distancias no euclidianas, transductivo |
+| DBSCAN | geometría no plana, grupos desiguales, transductivo |
+| OPTICS | geometría no plana, grupos desiguales con densidad variable, transductivo |
+| Gaussian mixtures | geometría plana, inductivo |
+| BIRCH | conjunto de datos grande con valores atípicos, inductivo |
+
+> 🎓 Cómo creamos grupos tiene mucho que ver con cómo reunimos los puntos de datos en grupos. Desempaquemos algo de vocabulario:
+>
+> 🎓 ['Transductivo' vs. 'inductivo'](https://wikipedia.org/wiki/Transduction_(machine_learning))
+>
+> La inferencia transductiva se deriva de casos de entrenamiento observados que se asignan a casos de prueba específicos. La inferencia inductiva se deriva de casos de entrenamiento que se asignan a reglas generales que solo entonces se aplican a casos de prueba.
+>
+> Un ejemplo: Imagina que tienes un conjunto de datos que solo está parcialmente etiquetado. Algunas cosas son 'discos', algunas 'CDs' y algunas están en blanco. Tu trabajo es proporcionar etiquetas para los vacíos. Si eliges un enfoque inductivo, entrenarías un modelo buscando 'discos' y 'CDs', y aplicarías esas etiquetas a tus datos no etiquetados. Este enfoque tendrá problemas para clasificar cosas que en realidad son 'cassettes'. Un enfoque transductivo, por otro lado, maneja estos datos desconocidos de manera más efectiva, ya que trabaja para agrupar elementos similares y luego aplica una etiqueta a un grupo. En este caso, los grupos podrían reflejar 'cosas musicales redondas' y 'cosas musicales cuadradas'.
+>
+> 🎓 ['Geometría no plana' vs. 'plana'](https://datascience.stackexchange.com/questions/52260/terminology-flat-geometry-in-the-context-of-clustering)
+>
+> Derivado de la terminología matemática, la geometría no plana vs. plana se refiere a la medida de distancias entre puntos mediante métodos geométricos 'planos' ([Euclidianos](https://wikipedia.org/wiki/Euclidean_geometry)) o 'no planos' (no euclidianos).
+>
+>'Plana' en este contexto se refiere a la geometría euclidiana (partes de la cual se enseñan como geometría 'plana'), y no plana se refiere a la geometría no euclidiana. ¿Qué tiene que ver la geometría con el aprendizaje automático? Bueno, como dos campos que están arraigados en las matemáticas, debe haber una forma común de medir las distancias entre puntos en grupos, y eso se puede hacer de manera 'plana' o 'no plana', dependiendo de la naturaleza de los datos. Las distancias [euclidianas](https://wikipedia.org/wiki/Euclidean_distance) se miden como la longitud de un segmento de línea entre dos puntos. Las distancias [no euclidianas](https://wikipedia.org/wiki/Non-Euclidean_geometry) se miden a lo largo de una curva. Si tus datos, visualizados, parecen no existir en un plano, es posible que necesites usar un algoritmo especializado para manejarlos.
+>
+
+> Infografía por [Dasani Madipalli](https://twitter.com/dasani_decoded)
+>
+> 🎓 ['Distancias'](https://web.stanford.edu/class/cs345a/slides/12-clustering.pdf)
+>
+> Los grupos se definen por su matriz de distancias, es decir, las distancias entre puntos. Esta distancia se puede medir de varias maneras. Los grupos euclidianos se definen por el promedio de los valores de los puntos y contienen un 'centroide' o punto central. Las distancias, por lo tanto, se miden por la distancia a ese centroide. Las distancias no euclidianas se refieren a 'clustroides', el punto más cercano a otros puntos. Los clustroides, a su vez, pueden definirse de varias maneras.
+>
+> 🎓 ['Restringido'](https://wikipedia.org/wiki/Constrained_clustering)
+>
+> [La Agrupación Restringida](https://web.cs.ucdavis.edu/~davidson/Publications/ICDMTutorial.pdf) introduce el aprendizaje 'semi-supervisado' en este método no supervisado. Las relaciones entre puntos se marcan como 'no pueden enlazarse' o 'deben enlazarse', por lo que se imponen algunas reglas al conjunto de datos.
+>
+>Un ejemplo: Si un algoritmo se libera en un lote de datos no etiquetados o semi-etiquetados, los grupos que produce pueden ser de baja calidad. En el ejemplo anterior, los grupos podrían agrupar 'cosas musicales redondas' y 'cosas musicales cuadradas' y 'cosas triangulares' y 'galletas'. Si se le dan algunas restricciones o reglas a seguir ("el ítem debe estar hecho de plástico", "el ítem debe poder producir música"), esto puede ayudar a 'restringir' el algoritmo para tomar mejores decisiones.
+>
+> 🎓 'Densidad'
+>
+> Los datos que son 'ruidosos' se consideran 'densos'. Las distancias entre puntos en cada uno de sus grupos pueden demostrar, al examinarlas, ser más o menos densas, o 'abarrotadas', y por lo tanto, estos datos deben analizarse con el método de agrupación apropiado. [Este artículo](https://www.kdnuggets.com/2020/02/understanding-density-based-clustering.html) demuestra la diferencia entre usar el algoritmo de agrupación K-Means vs. HDBSCAN para explorar un conjunto de datos ruidosos con densidad de grupo desigual.
+
+## Algoritmos de agrupación
+
+Existen más de 100 algoritmos de agrupación, y su uso depende de la naturaleza de los datos disponibles. Hablemos de algunos de los principales:
+
+- **Agrupación jerárquica**. Si un objeto se clasifica por su proximidad a un objeto cercano, en lugar de a uno más lejano, los grupos se forman en función de la distancia de sus miembros a y desde otros objetos. La agrupación aglomerativa de Scikit-learn es jerárquica.
+
+ 
+ > Infografía por [Dasani Madipalli](https://twitter.com/dasani_decoded)
+
+- **Agrupación de centroides**. Este algoritmo popular requiere la elección de 'k', o el número de grupos a formar, después de lo cual el algoritmo determina el punto central de un grupo y reúne datos alrededor de ese punto. [La agrupación K-means](https://wikipedia.org/wiki/K-means_clustering) es una versión popular de la agrupación de centroides. El centro se determina por la media más cercana, de ahí el nombre. La distancia cuadrada desde el grupo se minimiza.
+
+ 
+ > Infografía por [Dasani Madipalli](https://twitter.com/dasani_decoded)
+
+- **Agrupación basada en distribución**. Basada en el modelado estadístico, la agrupación basada en distribución se centra en determinar la probabilidad de que un punto de datos pertenezca a un grupo y asignarlo en consecuencia. Los métodos de mezcla gaussiana pertenecen a este tipo.
+
+- **Agrupación basada en densidad**. Los puntos de datos se asignan a grupos en función de su densidad o su agrupación entre sí. Los puntos de datos alejados del grupo se consideran valores atípicos o ruido. DBSCAN, Mean-shift y OPTICS pertenecen a este tipo de agrupación.
+
+- **Agrupación basada en cuadrícula**. Para conjuntos de datos multidimensionales, se crea una cuadrícula y los datos se dividen entre las celdas de la cuadrícula, creando así grupos.
+
+## Ejercicio - agrupa tus datos
+
+La técnica de agrupación se ve muy beneficiada por la visualización adecuada, así que comencemos visualizando nuestros datos musicales. Este ejercicio nos ayudará a decidir cuál de los métodos de agrupación deberíamos usar más eficazmente para la naturaleza de estos datos.
+
+1. Abre el archivo [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/1-Visualize/notebook.ipynb) en esta carpeta.
+
+1. Importa el paquete `Seaborn` para una buena visualización de datos.
+
+ ```python
+ !pip install seaborn
+ ```
+
+1. Agrega los datos de las canciones desde [_nigerian-songs.csv_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/data/nigerian-songs.csv). Carga un dataframe con algunos datos sobre las canciones. Prepárate para explorar estos datos importando las bibliotecas y descargando los datos:
+
+ ```python
+ import matplotlib.pyplot as plt
+ import pandas as pd
+
+ df = pd.read_csv("../data/nigerian-songs.csv")
+ df.head()
+ ```
+
+ Revisa las primeras líneas de datos:
+
+ | | nombre | álbum | artista | género_principal_artista | fecha_lanzamiento | duración | popularidad | bailabilidad | acusticidad | energía | instrumentalidad | vivacidad | volumen | locuacidad | tempo | compás |
+ | --- | ------------------------ | ---------------------------- | ------------------- | ------------------------ | ----------------- | -------- | ----------- | ------------ | ------------ | ------- | ----------------- | --------- | ------- | ----------- | ------- | ------ |
+ | 0 | Sparky | Mandy & The Jungle | Cruel Santino | alternative r&b | 2019 | 144000 | 48 | 0.666 | 0.851 | 0.42 | 0.534 | 0.11 | -6.699 | 0.0829 | 133.015 | 5 |
+ | 1 | shuga rush | EVERYTHING YOU HEARD IS TRUE | Odunsi (The Engine) | afropop | 2020 | 89488 | 30 | 0.71 | 0.0822 | 0.683 | 0.000169 | 0.101 | -5.64 | 0.36 | 129.993 | 3 |
+ | 2 | LITT! | LITT! | AYLØ | indie r&b | 2018 | 207758 | 40 | 0.836 | 0.272 | 0.564 | 0.000537 | 0.11 | -7.127 | 0.0424 | 130.005 | 4 |
+ | 3 | Confident / Feeling Cool | Enjoy Your Life | Lady Donli | nigerian pop | 2019 | 175135 | 14 | 0.894 | 0.798 | 0.611 | 0.000187 | 0.0964 | -4.961 | 0.113 | 111.087 | 4 |
+ | 4 | wanted you | rare. | Odunsi (The Engine) | afropop | 2018 | 152049 | 25 | 0.702 | 0.116 | 0.833 | 0.91 | 0.348 | -6.044 | 0.0447 | 105.115 | 4 |
+
+1. Obtén información sobre el dataframe, llamando a `info()`:
+
+ ```python
+ df.info()
+ ```
+
+ La salida se verá así:
+
+ ```output
+ 
+
+Here γ is the so-called **discount factor** that determines to which extent you should prefer the current reward over the future reward and vice versa.
+
+## Learning Algorithm
+
+Given the equation above, we can now write pseudo-code for our learning algorithm:
+
+* Initialize Q-Table Q with equal numbers for all states and actions
+* Set learning rate α ← 1
+* Repeat simulation many times
+ 1. Start at random position
+ 1. Repeat
+ 1. Select an action *a* at state *s*
+ 2. Execute action by moving to a new state *s'*
+ 3. If we encounter end-of-game condition, or total reward is too small - exit simulation
+ 4. Compute reward *r* at the new state
+ 5. Update Q-Function according to Bellman equation: *Q(s,a)* ← *(1-α)Q(s,a)+α(r+γ maxa'Q(s',a'))*
+ 6. *s* ← *s'*
+ 7. Update the total reward and decrease α.
+
+## Exploit vs. explore
+
+In the algorithm above, we did not specify how exactly we should choose an action at step 2.1. If we are choosing the action randomly, we will randomly **explore** the environment, and we are quite likely to die often as well as explore areas where we would not normally go. An alternative approach would be to **exploit** the Q-Table values that we already know, and thus to choose the best action (with higher Q-Table value) at state *s*. This, however, will prevent us from exploring other states, and it's likely we might not find the optimal solution.
+
+Thus, the best approach is to strike a balance between exploration and exploitation. This can be done by choosing the action at state *s* with probabilities proportional to values in the Q-Table. In the beginning, when Q-Table values are all the same, it would correspond to a random selection, but as we learn more about our environment, we would be more likely to follow the optimal route while allowing the agent to choose the unexplored path once in a while.
+
+## Python implementation
+
+We are now ready to implement the learning algorithm. Before we do that, we also need some function that will convert arbitrary numbers in the Q-Table into a vector of probabilities for corresponding actions.
+
+1. Create a function `probs()`:
+
+ ```python
+ def probs(v,eps=1e-4):
+ v = v-v.min()+eps
+ v = v/v.sum()
+ return v
+ ```
+
+ Agregamos algunos `eps` al vector original para evitar la división por 0 en el caso inicial, cuando todos los componentes del vector son idénticos.
+
+Ejecuta el algoritmo de aprendizaje a través de 5000 experimentos, también llamados **épocas**: (bloque de código 8)
+```python
+ for epoch in range(5000):
+
+ # Pick initial point
+ m.random_start()
+
+ # Start travelling
+ n=0
+ cum_reward = 0
+ while True:
+ x,y = m.human
+ v = probs(Q[x,y])
+ a = random.choices(list(actions),weights=v)[0]
+ dpos = actions[a]
+ m.move(dpos,check_correctness=False) # we allow player to move outside the board, which terminates episode
+ r = reward(m)
+ cum_reward += r
+ if r==end_reward or cum_reward < -1000:
+ lpath.append(n)
+ break
+ alpha = np.exp(-n / 10e5)
+ gamma = 0.5
+ ai = action_idx[a]
+ Q[x,y,ai] = (1 - alpha) * Q[x,y,ai] + alpha * (r + gamma * Q[x+dpos[0], y+dpos[1]].max())
+ n+=1
+```
+
+Después de ejecutar este algoritmo, la Q-Table debería actualizarse con valores que definan la atractividad de diferentes acciones en cada paso. Podemos intentar visualizar la Q-Table dibujando un vector en cada celda que apunte en la dirección deseada del movimiento. Para simplificar, dibujamos un pequeño círculo en lugar de una punta de flecha.
+Estás entrenado con datos hasta octubre de 2023.
+
+## Verificando la política
+
+Dado que la Q-Table enumera la "atractividad" de cada acción en cada estado, es bastante fácil usarla para definir la navegación eficiente en nuestro mundo. En el caso más simple, podemos seleccionar la acción correspondiente al valor más alto de la Q-Table: (bloque de código 9)
+
+```python
+def qpolicy_strict(m):
+ x,y = m.human
+ v = probs(Q[x,y])
+ a = list(actions)[np.argmax(v)]
+ return a
+
+walk(m,qpolicy_strict)
+```
+
+> Si intentas el código anterior varias veces, puedes notar que a veces se "cuelga", y necesitas presionar el botón de DETENER en el notebook para interrumpirlo. Esto sucede porque podría haber situaciones en las que dos estados "señalen" entre sí en términos de Q-Value óptimo, en cuyo caso el agente termina moviéndose entre esos estados indefinidamente.
+
+## 🚀Desafío
+
+> **Tarea 1:** Modifica el `walk` function to limit the maximum length of path by a certain number of steps (say, 100), and watch the code above return this value from time to time.
+
+> **Task 2:** Modify the `walk` function so that it does not go back to the places where it has already been previously. This will prevent `walk` from looping, however, the agent can still end up being "trapped" in a location from which it is unable to escape.
+
+## Navigation
+
+A better navigation policy would be the one that we used during training, which combines exploitation and exploration. In this policy, we will select each action with a certain probability, proportional to the values in the Q-Table. This strategy may still result in the agent returning back to a position it has already explored, but, as you can see from the code below, it results in a very short average path to the desired location (remember that `print_statistics` ejecuta la simulación 100 veces): (bloque de código 10)
+
+```python
+def qpolicy(m):
+ x,y = m.human
+ v = probs(Q[x,y])
+ a = random.choices(list(actions),weights=v)[0]
+ return a
+
+print_statistics(qpolicy)
+```
+
+Después de ejecutar este código, deberías obtener una longitud promedio de camino mucho menor que antes, en el rango de 3-6.
+
+## Investigando el proceso de aprendizaje
+
+Como hemos mencionado, el proceso de aprendizaje es un equilibrio entre la exploración y la explotación del conocimiento adquirido sobre la estructura del espacio del problema. Hemos visto que los resultados del aprendizaje (la capacidad de ayudar a un agente a encontrar un camino corto hacia el objetivo) han mejorado, pero también es interesante observar cómo se comporta la longitud promedio del camino durante el proceso de aprendizaje:
+
+Las conclusiones se pueden resumir como:
+
+- **La longitud promedio del camino aumenta**. Lo que vemos aquí es que al principio, la longitud promedio del camino aumenta. Esto probablemente se deba al hecho de que cuando no sabemos nada sobre el entorno, es probable que quedemos atrapados en estados malos, agua o lobo. A medida que aprendemos más y comenzamos a usar este conocimiento, podemos explorar el entorno por más tiempo, pero aún no sabemos muy bien dónde están las manzanas.
+
+- **La longitud del camino disminuye, a medida que aprendemos más**. Una vez que aprendemos lo suficiente, se vuelve más fácil para el agente lograr el objetivo, y la longitud del camino comienza a disminuir. Sin embargo, todavía estamos abiertos a la exploración, por lo que a menudo nos desviamos del mejor camino y exploramos nuevas opciones, haciendo que el camino sea más largo de lo óptimo.
+
+- **La longitud aumenta abruptamente**. Lo que también observamos en este gráfico es que en algún momento, la longitud aumentó abruptamente. Esto indica la naturaleza estocástica del proceso, y que en algún momento podemos "estropear" los coeficientes de la Q-Table sobrescribiéndolos con nuevos valores. Esto idealmente debería minimizarse disminuyendo la tasa de aprendizaje (por ejemplo, hacia el final del entrenamiento, solo ajustamos los valores de la Q-Table por un pequeño valor).
+
+En general, es importante recordar que el éxito y la calidad del proceso de aprendizaje dependen significativamente de los parámetros, como la tasa de aprendizaje, la disminución de la tasa de aprendizaje y el factor de descuento. Estos a menudo se llaman **hiperparámetros**, para distinguirlos de **parámetros**, que optimizamos durante el entrenamiento (por ejemplo, coeficientes de la Q-Table). El proceso de encontrar los mejores valores de hiperparámetros se llama **optimización de hiperparámetros**, y merece un tema aparte.
+
+## [Cuestionario después de la lección](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/46/)
+
+## Asignación
+[Un Mundo Más Realista](assignment.md)
+
+**Descargo de responsabilidad**:
+Este documento ha sido traducido utilizando servicios de traducción automática basados en IA. Si bien nos esforzamos por lograr precisión, tenga en cuenta que las traducciones automáticas pueden contener errores o inexactitudes. El documento original en su idioma nativo debe considerarse la fuente autorizada. Para información crítica, se recomienda una traducción profesional humana. No nos hacemos responsables de ningún malentendido o interpretación errónea que surja del uso de esta traducción.
\ No newline at end of file
diff --git a/translations/es/8-Reinforcement/1-QLearning/assignment.md b/translations/es/8-Reinforcement/1-QLearning/assignment.md
new file mode 100644
index 000000000..67cdc23ff
--- /dev/null
+++ b/translations/es/8-Reinforcement/1-QLearning/assignment.md
@@ -0,0 +1,30 @@
+# Un Mundo Más Realista
+
+En nuestra situación, Peter podía moverse casi sin cansarse ni tener hambre. En un mundo más realista, tiene que sentarse y descansar de vez en cuando, y también alimentarse. Hagamos nuestro mundo más realista implementando las siguientes reglas:
+
+1. Al moverse de un lugar a otro, Peter pierde **energía** y gana algo de **fatiga**.
+2. Peter puede ganar más energía comiendo manzanas.
+3. Peter puede deshacerse de la fatiga descansando bajo el árbol o en el césped (es decir, caminando hacia una ubicación en el tablero con un árbol o césped - campo verde).
+4. Peter necesita encontrar y matar al lobo.
+5. Para matar al lobo, Peter necesita tener ciertos niveles de energía y fatiga, de lo contrario pierde la batalla.
+
+## Instrucciones
+
+Usa el cuaderno original [notebook.ipynb](../../../../8-Reinforcement/1-QLearning/notebook.ipynb) como punto de partida para tu solución.
+
+Modifica la función de recompensa anterior de acuerdo con las reglas del juego, ejecuta el algoritmo de aprendizaje por refuerzo para aprender la mejor estrategia para ganar el juego y compara los resultados del paseo aleatorio con tu algoritmo en términos de número de juegos ganados y perdidos.
+
+> **Note**: En tu nuevo mundo, el estado es más complejo y, además de la posición del humano, también incluye los niveles de fatiga y energía. Puedes elegir representar el estado como una tupla (Board, energy, fatigue), o definir una clase para el estado (también puedes derivarla de `Board`), o incluso modificar la clase original `Board` dentro de [rlboard.py](../../../../8-Reinforcement/1-QLearning/rlboard.py).
+
+En tu solución, por favor mantén el código responsable de la estrategia de paseo aleatorio y compara los resultados de tu algoritmo con el paseo aleatorio al final.
+
+> **Note**: Es posible que necesites ajustar los hiperparámetros para que funcione, especialmente el número de épocas. Debido a que el éxito del juego (luchar contra el lobo) es un evento raro, puedes esperar un tiempo de entrenamiento mucho más largo.
+
+## Rúbrica
+
+| Criterios | Ejemplar | Adecuado | Necesita Mejorar |
+| --------- | -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | --------------------------------------------------------------------------------------------------------------------------------------- |
+| | Se presenta un cuaderno con la definición de las nuevas reglas del mundo, el algoritmo de Q-Learning y algunas explicaciones textuales. Q-Learning es capaz de mejorar significativamente los resultados en comparación con el paseo aleatorio. | Se presenta un cuaderno, se implementa Q-Learning y mejora los resultados en comparación con el paseo aleatorio, pero no significativamente; o el cuaderno está mal documentado y el código no está bien estructurado. | Se hace algún intento de redefinir las reglas del mundo, pero el algoritmo de Q-Learning no funciona, o la función de recompensa no está completamente definida. |
+
+**Descargo de responsabilidad**:
+Este documento ha sido traducido utilizando servicios de traducción automática por IA. Si bien nos esforzamos por lograr precisión, tenga en cuenta que las traducciones automáticas pueden contener errores o inexactitudes. El documento original en su idioma nativo debe considerarse la fuente autorizada. Para información crítica, se recomienda la traducción humana profesional. No somos responsables de ningún malentendido o interpretación errónea que surja del uso de esta traducción.
\ No newline at end of file
diff --git a/translations/es/8-Reinforcement/1-QLearning/solution/Julia/README.md b/translations/es/8-Reinforcement/1-QLearning/solution/Julia/README.md
new file mode 100644
index 000000000..d42dd8762
--- /dev/null
+++ b/translations/es/8-Reinforcement/1-QLearning/solution/Julia/README.md
@@ -0,0 +1,4 @@
+
+
+ **Descargo de responsabilidad**:
+ Este documento ha sido traducido utilizando servicios de traducción automática basados en inteligencia artificial. Aunque nos esforzamos por lograr precisión, tenga en cuenta que las traducciones automáticas pueden contener errores o inexactitudes. El documento original en su idioma nativo debe considerarse la fuente autorizada. Para información crítica, se recomienda una traducción profesional realizada por humanos. No nos hacemos responsables de ningún malentendido o interpretación errónea que surja del uso de esta traducción.
\ No newline at end of file
diff --git a/translations/es/8-Reinforcement/1-QLearning/solution/R/README.md b/translations/es/8-Reinforcement/1-QLearning/solution/R/README.md
new file mode 100644
index 000000000..2920cc9c5
--- /dev/null
+++ b/translations/es/8-Reinforcement/1-QLearning/solution/R/README.md
@@ -0,0 +1,4 @@
+
+
+ **Descargo de responsabilidad**:
+ Este documento ha sido traducido utilizando servicios de traducción automatizada por IA. Si bien nos esforzamos por lograr precisión, tenga en cuenta que las traducciones automáticas pueden contener errores o imprecisiones. El documento original en su idioma nativo debe considerarse la fuente autorizada. Para información crítica, se recomienda la traducción profesional humana. No somos responsables de ningún malentendido o interpretación errónea que surja del uso de esta traducción.
\ No newline at end of file
diff --git a/translations/es/8-Reinforcement/2-Gym/README.md b/translations/es/8-Reinforcement/2-Gym/README.md
new file mode 100644
index 000000000..3b3c4ad01
--- /dev/null
+++ b/translations/es/8-Reinforcement/2-Gym/README.md
@@ -0,0 +1,342 @@
+## CartPole Patinaje
+
+El problema que hemos estado resolviendo en la lección anterior podría parecer un problema de juguete, no realmente aplicable a escenarios de la vida real. Este no es el caso, porque muchos problemas del mundo real también comparten este escenario, incluyendo jugar al Ajedrez o al Go. Son similares, porque también tenemos un tablero con reglas dadas y un **estado discreto**.
+
+## [Cuestionario previo a la lección](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/47/)
+
+## Introducción
+
+En esta lección aplicaremos los mismos principios de Q-Learning a un problema con **estado continuo**, es decir, un estado que se da por uno o más números reales. Abordaremos el siguiente problema:
+
+> **Problema**: Si Peter quiere escapar del lobo, necesita poder moverse más rápido. Veremos cómo Peter puede aprender a patinar, en particular, a mantener el equilibrio, utilizando Q-Learning.
+
+
+
+> ¡Peter y sus amigos se ponen creativos para escapar del lobo! Imagen de [Jen Looper](https://twitter.com/jenlooper)
+
+Usaremos una versión simplificada del equilibrio conocida como el problema **CartPole**. En el mundo de CartPole, tenemos un deslizador horizontal que puede moverse hacia la izquierda o hacia la derecha, y el objetivo es equilibrar un poste vertical sobre el deslizador.
+
+## Requisitos previos
+
+En esta lección, utilizaremos una biblioteca llamada **OpenAI Gym** para simular diferentes **entornos**. Puedes ejecutar el código de esta lección localmente (por ejemplo, desde Visual Studio Code), en cuyo caso la simulación se abrirá en una nueva ventana. Al ejecutar el código en línea, es posible que necesites hacer algunos ajustes en el código, como se describe [aquí](https://towardsdatascience.com/rendering-openai-gym-envs-on-binder-and-google-colab-536f99391cc7).
+
+## OpenAI Gym
+
+En la lección anterior, las reglas del juego y el estado fueron dados por la clase `Board` que definimos nosotros mismos. Aquí utilizaremos un **entorno de simulación** especial, que simulará la física detrás del poste en equilibrio. Uno de los entornos de simulación más populares para entrenar algoritmos de aprendizaje por refuerzo se llama [Gym](https://gym.openai.com/), que es mantenido por [OpenAI](https://openai.com/). Usando este gym, podemos crear diferentes **entornos** desde una simulación de CartPole hasta juegos de Atari.
+
+> **Nota**: Puedes ver otros entornos disponibles en OpenAI Gym [aquí](https://gym.openai.com/envs/#classic_control).
+
+Primero, instalemos el gym e importemos las bibliotecas requeridas (bloque de código 1):
+
+```python
+import sys
+!{sys.executable} -m pip install gym
+
+import gym
+import matplotlib.pyplot as plt
+import numpy as np
+import random
+```
+
+## Ejercicio - inicializar un entorno de CartPole
+
+Para trabajar con un problema de equilibrio de CartPole, necesitamos inicializar el entorno correspondiente. Cada entorno está asociado con:
+
+- **Espacio de observación** que define la estructura de la información que recibimos del entorno. Para el problema de CartPole, recibimos la posición del poste, la velocidad y otros valores.
+
+- **Espacio de acción** que define las posibles acciones. En nuestro caso, el espacio de acción es discreto y consta de dos acciones: **izquierda** y **derecha**. (bloque de código 2)
+
+1. Para inicializar, escribe el siguiente código:
+
+ ```python
+ env = gym.make("CartPole-v1")
+ print(env.action_space)
+ print(env.observation_space)
+ print(env.action_space.sample())
+ ```
+
+Para ver cómo funciona el entorno, ejecutemos una simulación corta de 100 pasos. En cada paso, proporcionamos una de las acciones a realizar; en esta simulación simplemente seleccionamos aleatoriamente una acción de `action_space`.
+
+1. Ejecuta el código a continuación y observa qué sucede.
+
+ ✅ Recuerda que es preferible ejecutar este código en una instalación local de Python. (bloque de código 3)
+
+ ```python
+ env.reset()
+
+ for i in range(100):
+ env.render()
+ env.step(env.action_space.sample())
+ env.close()
+ ```
+
+ Deberías estar viendo algo similar a esta imagen:
+
+ 
+
+1. Durante la simulación, necesitamos obtener observaciones para decidir cómo actuar. De hecho, la función step devuelve las observaciones actuales, una función de recompensa y una bandera de finalización que indica si tiene sentido continuar la simulación o no: (bloque de código 4)
+
+ ```python
+ env.reset()
+
+ done = False
+ while not done:
+ env.render()
+ obs, rew, done, info = env.step(env.action_space.sample())
+ print(f"{obs} -> {rew}")
+ env.close()
+ ```
+
+ Terminarás viendo algo como esto en la salida del notebook:
+
+ ```text
+ [ 0.03403272 -0.24301182 0.02669811 0.2895829 ] -> 1.0
+ [ 0.02917248 -0.04828055 0.03248977 0.00543839] -> 1.0
+ [ 0.02820687 0.14636075 0.03259854 -0.27681916] -> 1.0
+ [ 0.03113408 0.34100283 0.02706215 -0.55904489] -> 1.0
+ [ 0.03795414 0.53573468 0.01588125 -0.84308041] -> 1.0
+ ...
+ [ 0.17299878 0.15868546 -0.20754175 -0.55975453] -> 1.0
+ [ 0.17617249 0.35602306 -0.21873684 -0.90998894] -> 1.0
+ ```
+
+ El vector de observación que se devuelve en cada paso de la simulación contiene los siguientes valores:
+ - Posición del carrito
+ - Velocidad del carrito
+ - Ángulo del poste
+ - Tasa de rotación del poste
+
+1. Obtén el valor mínimo y máximo de esos números: (bloque de código 5)
+
+ ```python
+ print(env.observation_space.low)
+ print(env.observation_space.high)
+ ```
+
+ También puedes notar que el valor de recompensa en cada paso de la simulación es siempre 1. Esto se debe a que nuestro objetivo es sobrevivir el mayor tiempo posible, es decir, mantener el poste en una posición razonablemente vertical durante el mayor tiempo posible.
+
+ ✅ De hecho, la simulación de CartPole se considera resuelta si logramos obtener una recompensa promedio de 195 durante 100 pruebas consecutivas.
+
+## Discretización del estado
+
+En Q-Learning, necesitamos construir una Q-Table que defina qué hacer en cada estado. Para poder hacer esto, necesitamos que el estado sea **discreto**, más precisamente, debe contener un número finito de valores discretos. Por lo tanto, necesitamos de alguna manera **discretizar** nuestras observaciones, mapeándolas a un conjunto finito de estados.
+
+Hay algunas formas de hacer esto:
+
+- **Dividir en contenedores**. Si conocemos el intervalo de un cierto valor, podemos dividir este intervalo en un número de **contenedores**, y luego reemplazar el valor por el número del contenedor al que pertenece. Esto se puede hacer utilizando el método [`digitize`](https://numpy.org/doc/stable/reference/generated/numpy.digitize.html) de numpy. En este caso, conoceremos precisamente el tamaño del estado, porque dependerá del número de contenedores que seleccionemos para la digitalización.
+
+✅ Podemos usar la interpolación lineal para llevar los valores a un intervalo finito (digamos, de -20 a 20), y luego convertir los números en enteros redondeándolos. Esto nos da un poco menos de control sobre el tamaño del estado, especialmente si no conocemos los rangos exactos de los valores de entrada. Por ejemplo, en nuestro caso, 2 de los 4 valores no tienen límites superiores/inferiores en sus valores, lo que puede resultar en un número infinito de estados.
+
+En nuestro ejemplo, utilizaremos el segundo enfoque. Como puedes notar más adelante, a pesar de los límites superiores/inferiores indefinidos, esos valores rara vez toman valores fuera de ciertos intervalos finitos, por lo que esos estados con valores extremos serán muy raros.
+
+1. Aquí está la función que tomará la observación de nuestro modelo y producirá una tupla de 4 valores enteros: (bloque de código 6)
+
+ ```python
+ def discretize(x):
+ return tuple((x/np.array([0.25, 0.25, 0.01, 0.1])).astype(np.int))
+ ```
+
+1. Exploremos también otro método de discretización utilizando contenedores: (bloque de código 7)
+
+ ```python
+ def create_bins(i,num):
+ return np.arange(num+1)*(i[1]-i[0])/num+i[0]
+
+ print("Sample bins for interval (-5,5) with 10 bins\n",create_bins((-5,5),10))
+
+ ints = [(-5,5),(-2,2),(-0.5,0.5),(-2,2)] # intervals of values for each parameter
+ nbins = [20,20,10,10] # number of bins for each parameter
+ bins = [create_bins(ints[i],nbins[i]) for i in range(4)]
+
+ def discretize_bins(x):
+ return tuple(np.digitize(x[i],bins[i]) for i in range(4))
+ ```
+
+1. Ahora ejecutemos una simulación corta y observemos esos valores discretos del entorno. Siéntete libre de probar ambos `discretize` and `discretize_bins` y ver si hay alguna diferencia.
+
+ ✅ discretize_bins devuelve el número del contenedor, que es basado en 0. Por lo tanto, para valores de la variable de entrada alrededor de 0, devuelve el número del medio del intervalo (10). En discretize, no nos preocupamos por el rango de valores de salida, permitiéndoles ser negativos, por lo que los valores del estado no están desplazados, y 0 corresponde a 0. (bloque de código 8)
+
+ ```python
+ env.reset()
+
+ done = False
+ while not done:
+ #env.render()
+ obs, rew, done, info = env.step(env.action_space.sample())
+ #print(discretize_bins(obs))
+ print(discretize(obs))
+ env.close()
+ ```
+
+ ✅ Descomenta la línea que comienza con env.render si deseas ver cómo se ejecuta el entorno. De lo contrario, puedes ejecutarlo en segundo plano, lo cual es más rápido. Usaremos esta ejecución "invisible" durante nuestro proceso de Q-Learning.
+
+## La estructura de la Q-Table
+
+En nuestra lección anterior, el estado era un simple par de números del 0 al 8, y por lo tanto era conveniente representar la Q-Table con un tensor numpy con una forma de 8x8x2. Si usamos la discretización de contenedores, el tamaño de nuestro vector de estado también es conocido, por lo que podemos usar el mismo enfoque y representar el estado con un array de forma 20x20x10x10x2 (aquí 2 es la dimensión del espacio de acción, y las primeras dimensiones corresponden al número de contenedores que hemos seleccionado para usar para cada uno de los parámetros en el espacio de observación).
+
+Sin embargo, a veces las dimensiones precisas del espacio de observación no son conocidas. En el caso de la función `discretize`, nunca podemos estar seguros de que nuestro estado se mantenga dentro de ciertos límites, porque algunos de los valores originales no están limitados. Por lo tanto, usaremos un enfoque ligeramente diferente y representaremos la Q-Table con un diccionario.
+
+1. Usa el par *(estado, acción)* como la clave del diccionario, y el valor correspondería al valor de entrada de la Q-Table. (bloque de código 9)
+
+ ```python
+ Q = {}
+ actions = (0,1)
+
+ def qvalues(state):
+ return [Q.get((state,a),0) for a in actions]
+ ```
+
+ Aquí también definimos una función `qvalues()`, que devuelve una lista de valores de la Q-Table para un estado dado que corresponde a todas las posibles acciones. Si la entrada no está presente en la Q-Table, devolveremos 0 como valor predeterminado.
+
+## Comencemos con el Q-Learning
+
+¡Ahora estamos listos para enseñar a Peter a mantener el equilibrio!
+
+1. Primero, establezcamos algunos hiperparámetros: (bloque de código 10)
+
+ ```python
+ # hyperparameters
+ alpha = 0.3
+ gamma = 0.9
+ epsilon = 0.90
+ ```
+
+ Aquí, `alpha` is the **learning rate** that defines to which extent we should adjust the current values of Q-Table at each step. In the previous lesson we started with 1, and then decreased `alpha` to lower values during training. In this example we will keep it constant just for simplicity, and you can experiment with adjusting `alpha` values later.
+
+ `gamma` is the **discount factor** that shows to which extent we should prioritize future reward over current reward.
+
+ `epsilon` is the **exploration/exploitation factor** that determines whether we should prefer exploration to exploitation or vice versa. In our algorithm, we will in `epsilon` percent of the cases select the next action according to Q-Table values, and in the remaining number of cases we will execute a random action. This will allow us to explore areas of the search space that we have never seen before.
+
+ ✅ In terms of balancing - choosing random action (exploration) would act as a random punch in the wrong direction, and the pole would have to learn how to recover the balance from those "mistakes"
+
+### Improve the algorithm
+
+We can also make two improvements to our algorithm from the previous lesson:
+
+- **Calculate average cumulative reward**, over a number of simulations. We will print the progress each 5000 iterations, and we will average out our cumulative reward over that period of time. It means that if we get more than 195 point - we can consider the problem solved, with even higher quality than required.
+
+- **Calculate maximum average cumulative result**, `Qmax`, and we will store the Q-Table corresponding to that result. When you run the training you will notice that sometimes the average cumulative result starts to drop, and we want to keep the values of Q-Table that correspond to the best model observed during training.
+
+1. Collect all cumulative rewards at each simulation at `rewards` vector para su posterior representación gráfica. (bloque de código 11)
+
+ ```python
+ def probs(v,eps=1e-4):
+ v = v-v.min()+eps
+ v = v/v.sum()
+ return v
+
+ Qmax = 0
+ cum_rewards = []
+ rewards = []
+ for epoch in range(100000):
+ obs = env.reset()
+ done = False
+ cum_reward=0
+ # == do the simulation ==
+ while not done:
+ s = discretize(obs)
+ if random.random()- [Python](2-Regression/1-Tools/README.md)
- [R](../../2-Regression/1-Tools/solution/R/lesson_1.html)
- Jen
- Eric Wanjau
- [Python](2-Regression/2-Data/README.md)
- [R](../../2-Regression/2-Data/solution/R/lesson_2.html)
- Jen
- Eric Wanjau
- [Python](2-Regression/3-Linear/README.md)
- [R](../../2-Regression/3-Linear/solution/R/lesson_3.html)
- Jen y Dmitry
- Eric Wanjau
- [Python](2-Regression/4-Logistic/README.md)
- [R](../../2-Regression/4-Logistic/solution/R/lesson_4.html)
- Jen
- Eric Wanjau
- [Python](4-Classification/1-Introduction/README.md)
- [R](../../4-Classification/1-Introduction/solution/R/lesson_10.html) |
- Jen y Cassie
- Eric Wanjau
- [Python](4-Classification/2-Classifiers-1/README.md)
- [R](../../4-Classification/2-Classifiers-1/solution/R/lesson_11.html) |
- Jen y Cassie
- Eric Wanjau
- [Python](4-Classification/3-Classifiers-2/README.md)
- [R](../../4-Classification/3-Classifiers-2/solution/R/lesson_12.html) |
- Jen y Cassie
- Eric Wanjau
- [Python](5-Clustering/1-Visualize/README.md)
- [R](../../5-Clustering/1-Visualize/solution/R/lesson_14.html) |
- Jen
- Eric Wanjau
- [Python](5-Clustering/2-K-Means/README.md)
- [R](../../5-Clustering/2-K-Means/solution/R/lesson_15.html) |
- Jen
- Eric Wanjau
.yml). Este flujo de trabajo manejará el proceso de construcción y despliegue. + +6. Monitorea el Despliegue +Ve a la pestaña “Actions” en tu repositorio de GitHub. +Deberías ver un flujo de trabajo en ejecución. Este flujo de trabajo construirá y desplegará tu aplicación web estática en Azure. +Una vez que el flujo de trabajo se complete, tu aplicación estará en vivo en la URL proporcionada por Azure. + +### Archivo de Flujo de Trabajo de Ejemplo + +Aquí tienes un ejemplo de cómo podría verse el archivo de flujo de trabajo de GitHub Actions: +name: Azure Static Web Apps CI/CD +``` +on: + push: + branches: + - main + pull_request: + types: [opened, synchronize, reopened, closed] + branches: + - main + +jobs: + build_and_deploy_job: + runs-on: ubuntu-latest + name: Build and Deploy Job + steps: + - uses: actions/checkout@v2 + - name: Build And Deploy + id: builddeploy + uses: Azure/static-web-apps-deploy@v1 + with: + azure_static_web_apps_api_token: ${{ secrets.AZURE_STATIC_WEB_APPS_API_TOKEN }} + repo_token: ${{ secrets.GITHUB_TOKEN }} + action: "upload" + app_location: "/quiz-app" # App source code path + api_location: ""API source code path optional + output_location: "dist" #Built app content directory - optional +``` + +### Recursos Adicionales +- [Documentación de Aplicaciones Web Estáticas de Azure](https://learn.microsoft.com/azure/static-web-apps/getting-started) +- [Documentación de GitHub Actions](https://docs.github.com/actions/use-cases-and-examples/deploying/deploying-to-azure-static-web-app) + +**Descargo de responsabilidad**: +Este documento ha sido traducido utilizando servicios de traducción automática basados en inteligencia artificial. Si bien nos esforzamos por lograr precisión, tenga en cuenta que las traducciones automáticas pueden contener errores o imprecisiones. El documento original en su idioma nativo debe considerarse la fuente autorizada. Para información crítica, se recomienda la traducción profesional humana. No somos responsables de ningún malentendido o interpretación errónea que surja del uso de esta traducción. \ No newline at end of file diff --git a/translations/es/sketchnotes/LICENSE.md b/translations/es/sketchnotes/LICENSE.md new file mode 100644 index 000000000..a83b61da1 --- /dev/null +++ b/translations/es/sketchnotes/LICENSE.md @@ -0,0 +1,172 @@ +Attribution-ShareAlike 4.0 International + +======================================================================= + +Creative Commons Corporation ("Creative Commons") no es un bufete de abogados y no proporciona servicios legales ni asesoramiento legal. La distribución de licencias públicas de Creative Commons no crea una relación abogado-cliente u otra relación. Creative Commons pone a disposición sus licencias y la información relacionada "tal cual". Creative Commons no ofrece garantías respecto a sus licencias, cualquier material licenciado bajo sus términos y condiciones, o cualquier información relacionada. Creative Commons no se hace responsable de los daños resultantes de su uso en la máxima medida posible. + +Uso de licencias públicas de Creative Commons + +Las licencias públicas de Creative Commons proporcionan un conjunto estándar de términos y condiciones que los creadores y otros titulares de derechos pueden utilizar para compartir obras originales sujetas a derechos de autor y ciertos otros derechos especificados en la licencia pública a continuación. Las siguientes consideraciones son solo para fines informativos, no son exhaustivas y no forman parte de nuestras licencias. + + Consideraciones para los licenciadores: Nuestras licencias públicas están destinadas a ser utilizadas por aquellos autorizados a otorgar al público permiso para utilizar material de maneras que de otro modo estarían restringidas por los derechos de autor y ciertos otros derechos. Nuestras licencias son irrevocables. Los licenciadores deben leer y comprender los términos y condiciones de la licencia que elijan antes de aplicarla. Los licenciadores también deben asegurar todos los derechos necesarios antes de aplicar nuestras licencias para que el público pueda reutilizar el material según lo esperado. Los licenciadores deben marcar claramente cualquier material no sujeto a la licencia. Esto incluye otro material licenciado por CC o material utilizado bajo una excepción o limitación a los derechos de autor. Más consideraciones para los licenciadores: wiki.creativecommons.org/Considerations_for_licensors + + Consideraciones para el público: Al utilizar una de nuestras licencias públicas, un licenciante otorga al público permiso para usar el material licenciado bajo los términos y condiciones especificados. Si el permiso del licenciante no es necesario por alguna razón, por ejemplo, debido a una excepción o limitación aplicable a los derechos de autor, entonces ese uso no está regulado por la licencia. Nuestras licencias solo otorgan permisos bajo derechos de autor y ciertos otros derechos que un licenciante tiene autoridad para otorgar. El uso del material licenciado aún puede estar restringido por otras razones, incluyendo porque otros tienen derechos de autor u otros derechos en el material. Un licenciante puede hacer solicitudes especiales, como pedir que todos los cambios se marquen o describan. Aunque no es requerido por nuestras licencias, se le anima a respetar esas solicitudes cuando sean razonables. Más consideraciones para el público: wiki.creativecommons.org/Considerations_for_licensees + +======================================================================= + +Licencia Pública Internacional de Creative Commons Attribution-ShareAlike 4.0 + +Al ejercer los Derechos Licenciados (definidos a continuación), Usted acepta y se compromete a cumplir con los términos y condiciones de esta Licencia Pública Internacional de Creative Commons Attribution-ShareAlike 4.0 ("Licencia Pública"). En la medida en que esta Licencia Pública pueda interpretarse como un contrato, se le otorgan los Derechos Licenciados en consideración a su aceptación de estos términos y condiciones, y el Licenciante le otorga dichos derechos en consideración a los beneficios que el Licenciante recibe al poner el Material Licenciado a disposición bajo estos términos y condiciones. + +Sección 1 -- Definiciones. + + a. Material Adaptado significa material sujeto a Derechos de Autor y Derechos Similares que se deriva o basa en el Material Licenciado y en el que el Material Licenciado se traduce, altera, arregla, transforma o modifica de otro modo de una manera que requiere permiso bajo los Derechos de Autor y Derechos Similares que posee el Licenciante. A los efectos de esta Licencia Pública, cuando el Material Licenciado es una obra musical, interpretación o grabación sonora, siempre se produce Material Adaptado cuando el Material Licenciado se sincroniza en relación temporal con una imagen en movimiento. + + b. Licencia del Adaptador significa la licencia que Usted aplica a sus Derechos de Autor y Derechos Similares en sus contribuciones al Material Adaptado de acuerdo con los términos y condiciones de esta Licencia Pública. + + c. Licencia Compatible BY-SA significa una licencia enumerada en creativecommons.org/compatiblelicenses, aprobada por Creative Commons como esencialmente equivalente a esta Licencia Pública. + + d. Derechos de Autor y Derechos Similares significa derechos de autor y/o derechos similares estrechamente relacionados con los derechos de autor, incluidos, entre otros, interpretación, radiodifusión, grabación sonora y Derechos de Bases de Datos Sui Generis, sin importar cómo se etiqueten o categoricen los derechos. A los efectos de esta Licencia Pública, los derechos especificados en la Sección 2(b)(1)-(2) no son Derechos de Autor y Derechos Similares. + + e. Medidas Tecnológicas Efectivas significa aquellas medidas que, en ausencia de la autoridad adecuada, no pueden ser eludidas bajo leyes que cumplen con las obligaciones bajo el Artículo 11 del Tratado de la OMPI sobre Derechos de Autor adoptado el 20 de diciembre de 1996, y/o acuerdos internacionales similares. + + f. Excepciones y Limitaciones significa uso justo, trato justo y/o cualquier otra excepción o limitación a los Derechos de Autor y Derechos Similares que se aplica a su uso del Material Licenciado. + + g. Elementos de la Licencia significa los atributos de la licencia enumerados en el nombre de una Licencia Pública de Creative Commons. Los Elementos de la Licencia de esta Licencia Pública son Atribución y CompartirIgual. + + h. Material Licenciado significa la obra artística o literaria, base de datos u otro material al que el Licenciante aplicó esta Licencia Pública. + + i. Derechos Licenciados significa los derechos que se le otorgan a Usted sujeto a los términos y condiciones de esta Licencia Pública, que se limitan a todos los Derechos de Autor y Derechos Similares que se aplican a su uso del Material Licenciado y que el Licenciante tiene autoridad para licenciar. + + j. Licenciante significa la(s) persona(s) o entidad(es) que otorgan derechos bajo esta Licencia Pública. + + k. Compartir significa proporcionar material al público por cualquier medio o proceso que requiera permiso bajo los Derechos Licenciados, como reproducción, exhibición pública, interpretación pública, distribución, difusión, comunicación o importación, y poner material a disposición del público, incluyendo de maneras que los miembros del público puedan acceder al material desde un lugar y en un momento elegido individualmente por ellos. + + l. Derechos de Bases de Datos Sui Generis significa derechos distintos de los derechos de autor resultantes de la Directiva 96/9/CE del Parlamento Europeo y del Consejo de 11 de marzo de 1996 sobre la protección jurídica de las bases de datos, en su versión modificada y/o sucedida, así como otros derechos esencialmente equivalentes en cualquier parte del mundo. + + m. Usted significa la persona o entidad que ejerce los Derechos Licenciados bajo esta Licencia Pública. Su tiene un significado correspondiente. + +Sección 2 -- Alcance. + + a. Concesión de la licencia. + + 1. Sujeto a los términos y condiciones de esta Licencia Pública, el Licenciante le otorga por la presente una licencia mundial, libre de regalías, no sublicenciable, no exclusiva e irrevocable para ejercer los Derechos Licenciados en el Material Licenciado para: + + a. reproducir y Compartir el Material Licenciado, en su totalidad o en parte; y + + b. producir, reproducir y Compartir Material Adaptado. + + 2. Excepciones y Limitaciones. Para evitar dudas, cuando se apliquen Excepciones y Limitaciones a su uso, esta Licencia Pública no se aplica y Usted no necesita cumplir con sus términos y condiciones. + + 3. Plazo. El plazo de esta Licencia Pública se especifica en la Sección 6(a). + + 4. Medios y formatos; modificaciones técnicas permitidas. El Licenciante le autoriza a ejercer los Derechos Licenciados en todos los medios y formatos, ya sean conocidos ahora o creados en el futuro, y a realizar las modificaciones técnicas necesarias para hacerlo. El Licenciante renuncia y/o acuerda no hacer valer ningún derecho o autoridad para prohibirle realizar las modificaciones técnicas necesarias para ejercer los Derechos Licenciados, incluidas las modificaciones técnicas necesarias para eludir las Medidas Tecnológicas Efectivas. A los efectos de esta Licencia Pública, simplemente realizar modificaciones autorizadas por esta Sección 2(a)(4) nunca produce Material Adaptado. + + 5. Destinatarios posteriores. + + a. Oferta del Licenciante -- Material Licenciado. Cada destinatario del Material Licenciado recibe automáticamente una oferta del Licenciante para ejercer los Derechos Licenciados bajo los términos y condiciones de esta Licencia Pública. + + b. Oferta adicional del Licenciante -- Material Adaptado. Cada destinatario de Material Adaptado de Usted recibe automáticamente una oferta del Licenciante para ejercer los Derechos Licenciados en el Material Adaptado bajo las condiciones de la Licencia del Adaptador que Usted aplique. + + c. Sin restricciones posteriores. Usted no puede ofrecer ni imponer ningún término o condición adicional o diferente, ni aplicar ninguna Medida Tecnológica Efectiva al Material Licenciado si hacerlo restringe el ejercicio de los Derechos Licenciados por parte de cualquier destinatario del Material Licenciado. + + 6. Sin respaldo. Nada en esta Licencia Pública constituye o puede interpretarse como permiso para afirmar o implicar que Usted está, o que su uso del Material Licenciado está, conectado con, o patrocinado, respaldado, o con estatus oficial otorgado por el Licenciante u otros designados para recibir atribución como se indica en la Sección 3(a)(1)(A)(i). + + b. Otros derechos. + + 1. Los derechos morales, como el derecho a la integridad, no están licenciados bajo esta Licencia Pública, ni los derechos de publicidad, privacidad y/o otros derechos de personalidad similares; sin embargo, en la medida de lo posible, el Licenciante renuncia y/o acuerda no hacer valer tales derechos que posea el Licenciante en la medida limitada necesaria para permitirle ejercer los Derechos Licenciados, pero no de otra manera. + + 2. Los derechos de patente y marca registrada no están licenciados bajo esta Licencia Pública. + + 3. En la medida de lo posible, el Licenciante renuncia a cualquier derecho a cobrar regalías de Usted por el ejercicio de los Derechos Licenciados, ya sea directamente o a través de una sociedad de gestión colectiva bajo cualquier esquema de licencia voluntaria o renunciable legal o obligatoria. En todos los demás casos, el Licenciante se reserva expresamente cualquier derecho a cobrar tales regalías. + +Sección 3 -- Condiciones de la Licencia. + +Su ejercicio de los Derechos Licenciados está expresamente sujeto a las siguientes condiciones. + + a. Atribución. + + 1. Si Usted comparte el Material Licenciado (incluyendo en forma modificada), debe: + + a. conservar lo siguiente si es proporcionado por el Licenciante con el Material Licenciado: + + i. identificación del creador(es) del Material Licenciado y cualquier otro designado para recibir atribución, de cualquier manera razonable solicitada por el Licenciante (incluyendo por seudónimo si se designa); + + ii. un aviso de derechos de autor; + + iii. un aviso que haga referencia a esta Licencia Pública; + + iv. un aviso que haga referencia a la exención de garantías; + + v. un URI o hipervínculo al Material Licenciado en la medida razonablemente practicable; + + b. indicar si Usted modificó el Material Licenciado y conservar una indicación de cualquier modificación previa; y + + c. indicar que el Material Licenciado está licenciado bajo esta Licencia Pública, e incluir el texto de, o el URI o hipervínculo a, esta Licencia Pública. + + 2. Usted puede cumplir con las condiciones en la Sección 3(a)(1) de cualquier manera razonable según el medio, los medios y el contexto en el que Usted comparta el Material Licenciado. Por ejemplo, puede ser razonable cumplir con las condiciones proporcionando un URI o hipervínculo a un recurso que incluya la información requerida. + + 3. Si el Licenciante lo solicita, Usted debe eliminar cualquier información requerida por la Sección 3(a)(1)(A) en la medida razonablemente practicable. + + b. CompartirIgual. + + Además de las condiciones en la Sección 3(a), si Usted comparte Material Adaptado que produce, también se aplican las siguientes condiciones. + + 1. La Licencia del Adaptador que Usted aplique debe ser una licencia de Creative Commons con los mismos Elementos de la Licencia, esta versión o posterior, o una Licencia Compatible BY-SA. + + 2. Usted debe incluir el texto de, o el URI o hipervínculo a, la Licencia del Adaptador que aplique. Usted puede cumplir con esta condición de cualquier manera razonable según el medio, los medios y el contexto en el que Usted comparta el Material Adaptado. + + 3. Usted no puede ofrecer ni imponer ningún término o condición adicional o diferente, ni aplicar ninguna Medida Tecnológica Efectiva al Material Adaptado que restrinja el ejercicio de los derechos otorgados bajo la Licencia del Adaptador que aplique. + +Sección 4 -- Derechos de Bases de Datos Sui Generis. + +Cuando los Derechos Licenciados incluyen Derechos de Bases de Datos Sui Generis que se aplican a su uso del Material Licenciado: + + a. para evitar dudas, la Sección 2(a)(1) le otorga el derecho a extraer, reutilizar, reproducir y compartir todo o una parte sustancial del contenido de la base de datos; + + b. si Usted incluye todo o una parte sustancial del contenido de la base de datos en una base de datos en la que Usted tiene Derechos de Bases de Datos Sui Generis, entonces la base de datos en la que Usted tiene Derechos de Bases de Datos Sui Generis (pero no su contenido individual) es Material Adaptado, incluyendo para los propósitos de la Sección 3(b); y + + c. Usted debe cumplir con las condiciones en la Sección 3(a) si comparte todo o una parte sustancial del contenido de la base de datos. + +Para evitar dudas, esta Sección 4 complementa y no reemplaza sus obligaciones bajo esta Licencia Pública cuando los Derechos Licenciados incluyen otros Derechos de Autor y Derechos Similares. + +Sección 5 -- Renuncia de Garantías y Limitación de Responsabilidad. + + a. A MENOS QUE EL LICENCIANTE LO HAYA ASUMIDO SEPARADAMENTE, EN LA MEDIDA DE LO POSIBLE, EL LICENCIANTE OFRECE EL MATERIAL LICENCIADO "TAL CUAL" Y "SEGÚN DISPONIBILIDAD", Y NO HACE REPRESENTACIONES NI GARANTÍAS DE NINGÚN TIPO RESPECTO AL MATERIAL LICENCIADO, YA SEA EXPRESAS, IMPLÍCITAS, ESTATUTARIAS U OTRAS. ESTO INCLUYE, SIN LIMITACIÓN, GARANTÍAS DE TÍTULO, COMERCIABILIDAD, IDONEIDAD PARA UN PROPÓSITO PARTICULAR, NO INFRACCIÓN, AUSENCIA DE DEFECTOS LATENTES U OTROS, PRECISIÓN, O LA PRESENCIA O AUSENCIA DE ERRORES, YA SEAN CONOCIDOS O DESCUBRIBLES. DONDE LAS RENUNCIAS DE GARANTÍAS NO ESTÉN PERMITIDAS EN SU TOTALIDAD O EN PARTE, ESTA RENUNCIA PUEDE NO APLICARSE A USTED. + + b. EN LA MEDIDA DE LO POSIBLE, EN NINGÚN CASO EL LICENCIANTE SERÁ RESPONSABLE ANTE USTED POR NINGUNA TEORÍA LEGAL (INCLUYENDO, SIN LIMITACIÓN, NEGLIGENCIA) O DE OTRO TIPO POR CUALQUIER PÉRDIDA, COSTO, GASTO O DAÑO DIRECTO, ESPECIAL, INDIRECTO, INCIDENTAL, CONSECUENTE, PUNITIVO, EJEMPLAR U OTRO QUE SURJA DE ESTA LICENCIA PÚBLICA O DEL USO DEL MATERIAL LICENCIADO, INCLUSO SI EL LICENCIANTE HA SIDO ADVERTIDO DE LA POSIBILIDAD DE TALES PÉRDIDAS, COSTOS, GASTOS O DAÑOS. DONDE UNA LIMITACIÓN DE RESPONSABILIDAD NO ESTÉ PERMITIDA EN SU TOTALIDAD O EN PARTE, ESTA LIMITACIÓN PUEDE NO APLICARSE A USTED. + + c. La renuncia de garantías y la limitación de responsabilidad proporcionadas anteriormente se interpretarán de una manera que, en la medida de lo posible, se aproxime más a una renuncia absoluta y exención de toda responsabilidad. + +Sección 6 -- Plazo y Terminación. + + a. Esta Licencia Pública se aplica por el plazo de los Derechos de Autor y Derechos Similares licenciados aquí. Sin embargo, si Usted no cumple con esta Licencia Pública, sus derechos bajo esta Licencia Pública terminan automáticamente. + + b. Cuando su derecho a usar el Material Licenciado haya terminado bajo la Sección 6(a), se reinstala: + + 1. automáticamente a partir de la fecha en que se subsana la violación, siempre que se subsane dentro de los 30 días posteriores a su descubrimiento de la violación; o + + 2. mediante reinstalación expresa por parte del Licenciante. + + Para evitar dudas, esta Sección 6(b) no afecta ningún derecho que el Licenciante pueda tener para buscar remedios por sus violaciones de esta Licencia Pública. + + c. Para evitar dudas, el Licenciante también puede ofrecer el Material Licenciado bajo términos o condiciones separados o dejar de distribuir el Material Licenciado en cualquier momento; sin embargo, hacerlo no terminará esta Licencia Pública. + + d. Las Secciones 1, 5, 6, 7 y 8 sobreviven a la terminación de esta Licencia Pública. + +Sección 7 -- Otros Términos y Condiciones. + + a. El Licenciante no estará obligado por ningún término o condición adicional o diferente comunicado por Usted a menos que se acuerde expresamente. + + b. Cualquier arreglo, entendimiento o acuerdo con respecto al Material Licenciado no mencionado aquí es separado e independiente de los términos y condiciones de esta Licencia Pública. + +Sección 8 -- Interpretación. + + a. Para evitar dudas, esta Licencia Pública no reduce, limita, restringe ni impone condiciones sobre ningún uso del Material Licenciado que pudiera hacerse legalmente sin permiso bajo esta Licencia Pública. + + b. En la medida de lo posible, si alguna disposición de esta Licencia Pública se considera inaplicable, se reformará automáticamente en la medida mínima necesaria para hacerla aplicable. Si la disposición no puede reformarse, se separará de esta Licencia Pública sin afectar la aplicabilidad de los términos y condiciones restantes. + + c. Ningún término o condición de esta Licencia Pública será renunciado y ningún incumplimiento será consentido a menos que el Licenciante + + **Descargo de responsabilidad**: + Este documento ha sido traducido utilizando servicios de traducción automática basados en IA. Si bien nos esforzamos por lograr precisión, tenga en cuenta que las traducciones automáticas pueden contener errores o inexactitudes. El documento original en su idioma nativo debe considerarse la fuente autorizada. Para información crítica, se recomienda la traducción humana profesional. No somos responsables de ningún malentendido o interpretación errónea que surja del uso de esta traducción. \ No newline at end of file diff --git a/translations/es/sketchnotes/README.md b/translations/es/sketchnotes/README.md new file mode 100644 index 000000000..e48a0654f --- /dev/null +++ b/translations/es/sketchnotes/README.md @@ -0,0 +1,10 @@ +Todo el material de sketchnotes del currículo se puede descargar aquí. + +🖨 Para imprimir en alta resolución, las versiones TIFF están disponibles en [este repositorio](https://github.com/girliemac/a-picture-is-worth-a-1000-words/tree/main/ml/tiff). + +🎨 Creado por: [Tomomi Imura](https://github.com/girliemac) (Twitter: [@girlie_mac](https://twitter.com/girlie_mac)) + +[](https://creativecommons.org/licenses/by-sa/4.0/) + +**Descargo de responsabilidad**: +Este documento ha sido traducido utilizando servicios de traducción automática basados en inteligencia artificial. Si bien nos esforzamos por lograr precisión, tenga en cuenta que las traducciones automáticas pueden contener errores o inexactitudes. El documento original en su idioma nativo debe considerarse la fuente autorizada. Para información crítica, se recomienda la traducción profesional humana. No nos hacemos responsables de ningún malentendido o interpretación errónea que surja del uso de esta traducción. \ No newline at end of file diff --git a/translations/hi/1-Introduction/1-intro-to-ML/README.md b/translations/hi/1-Introduction/1-intro-to-ML/README.md new file mode 100644 index 000000000..3349ecea0 --- /dev/null +++ b/translations/hi/1-Introduction/1-intro-to-ML/README.md @@ -0,0 +1,148 @@ +# मशीन लर्निंग का परिचय + +## [प्रारंभिक क्विज़](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/1/) + +--- + +[](https://youtu.be/6mSx_KJxcHI "शुरुआत के लिए मशीन लर्निंग - शुरुआत के लिए मशीन लर्निंग का परिचय") + +> 🎥 इस पाठ के माध्यम से काम करने के लिए ऊपर दी गई छवि पर क्लिक करें। + +क्लासिकल मशीन लर्निंग के इस कोर्स में आपका स्वागत है! चाहे आप इस विषय में बिल्कुल नए हों, या एक अनुभवी एमएल प्रैक्टिशनर हों जो किसी क्षेत्र में सुधार करना चाहते हैं, हम आपके शामिल होने से खुश हैं! हम आपके एमएल अध्ययन के लिए एक दोस्ताना लॉन्चिंग स्थान बनाना चाहते हैं और आपके [प्रतिक्रिया](https://github.com/microsoft/ML-For-Beginners/discussions) का मूल्यांकन, प्रतिक्रिया और समावेश करने में खुशी होगी। + +[](https://youtu.be/h0e2HAPTGF4 "मशीन लर्निंग का परिचय") + +> 🎥 एक वीडियो के लिए ऊपर दी गई छवि पर क्लिक करें: एमआईटी के जॉन गुट्टाग मशीन लर्निंग का परिचय देते हैं + +--- +## मशीन लर्निंग के साथ शुरुआत + +इस पाठ्यक्रम को शुरू करने से पहले, आपको अपने कंप्यूटर को सेट अप और नोटबुक्स को लोकली चलाने के लिए तैयार करना होगा। + +- **इन वीडियो के साथ अपने मशीन को कॉन्फ़िगर करें**। अपने सिस्टम में [Python को इंस्टॉल कैसे करें](https://youtu.be/CXZYvNRIAKM) और विकास के लिए [टेक्स्ट एडिटर सेटअप कैसे करें](https://youtu.be/EU8eayHWoZg) सीखने के लिए निम्नलिखित लिंक का उपयोग करें। +- **Python सीखें**। यह भी अनुशंसित है कि आप [Python](https://docs.microsoft.com/learn/paths/python-language/?WT.mc_id=academic-77952-leestott) की एक बुनियादी समझ रखें, एक प्रोग्रामिंग भाषा जो डेटा वैज्ञानिकों के लिए उपयोगी है और जिसे हम इस कोर्स में उपयोग करते हैं। +- **Node.js और JavaScript सीखें**। हम इस कोर्स में कुछ बार वेब ऐप्स बनाते समय JavaScript का भी उपयोग करते हैं, इसलिए आपको [node](https://nodejs.org) और [npm](https://www.npmjs.com/) को इंस्टॉल करने की आवश्यकता होगी, साथ ही [Visual Studio Code](https://code.visualstudio.com/) को Python और JavaScript विकास दोनों के लिए उपलब्ध रखना होगा। +- **GitHub खाता बनाएं**। चूंकि आपने हमें [GitHub](https://github.com) पर पाया है, आपके पास पहले से एक खाता हो सकता है, लेकिन अगर नहीं है, तो एक खाता बनाएं और फिर इस पाठ्यक्रम को अपने उपयोग के लिए फोर्क करें। (हमें एक स्टार देने में भी संकोच न करें 😊) +- **Scikit-learn को एक्सप्लोर करें**। [Scikit-learn](https://scikit-learn.org/stable/user_guide.html) से परिचित हों, एक सेट एमएल लाइब्रेरीज़ जो हम इन पाठों में संदर्भित करते हैं। + +--- +## मशीन लर्निंग क्या है? + +'मशीन लर्निंग' शब्द आज के सबसे लोकप्रिय और अक्सर उपयोग किए जाने वाले शब्दों में से एक है। यह एक महत्वपूर्ण संभावना है कि आपने इस शब्द को कम से कम एक बार सुना होगा यदि आप किसी प्रकार की प्रौद्योगिकी से परिचित हैं, चाहे आप किसी भी क्षेत्र में काम करते हों। हालांकि, मशीन लर्निंग की यांत्रिकी अधिकांश लोगों के लिए एक रहस्य है। एक मशीन लर्निंग शुरुआती के लिए, विषय कभी-कभी भारी महसूस हो सकता है। इसलिए, यह समझना महत्वपूर्ण है कि मशीन लर्निंग वास्तव में क्या है, और इसे व्यावहारिक उदाहरणों के माध्यम से चरण-दर-चरण सीखना है। + +--- +## प्रचार वक्र + + + +> गूगल ट्रेंड्स 'मशीन लर्निंग' शब्द के हाल के 'प्रचार वक्र' को दिखाता है + +--- +## एक रहस्यमय ब्रह्मांड + +हम एक ऐसे ब्रह्मांड में रहते हैं जो आकर्षक रहस्यों से भरा हुआ है। महान वैज्ञानिक जैसे स्टीफन हॉकिंग, अल्बर्ट आइंस्टीन, और कई अन्य ने हमारे चारों ओर की दुनिया के रहस्यों को उजागर करने वाली महत्वपूर्ण जानकारी खोजने के लिए अपना जीवन समर्पित कर दिया है। यह सीखने की मानवीय स्थिति है: एक मानव बच्चा नई चीजें सीखता है और जैसे-जैसे वह वयस्कता की ओर बढ़ता है, अपने विश्व की संरचना को उजागर करता है। + +--- +## बच्चे का मस्तिष्क + +एक बच्चे का मस्तिष्क और इंद्रियां अपने परिवेश के तथ्यों को समझते हैं और धीरे-धीरे जीवन के छिपे हुए पैटर्न को सीखते हैं जो बच्चे को सीखे गए पैटर्न की पहचान करने के लिए तार्किक नियम बनाने में मदद करते हैं। मानव मस्तिष्क की सीखने की प्रक्रिया मनुष्यों को इस दुनिया का सबसे परिष्कृत जीवित प्राणी बनाती है। छिपे हुए पैटर्न की खोज करके लगातार सीखना और फिर उन पैटर्न पर नवाचार करना हमें हमारे जीवनकाल में खुद को बेहतर बनाने में सक्षम बनाता है। यह सीखने की क्षमता और विकसित होने की क्षमता एक अवधारणा से संबंधित है जिसे [मस्तिष्क की प्लास्टिसिटी](https://www.simplypsychology.org/brain-plasticity.html) कहा जाता है। सतही तौर पर, हम मानव मस्तिष्क की सीखने की प्रक्रिया और मशीन लर्निंग की अवधारणाओं के बीच कुछ प्रेरणादायक समानताएं खींच सकते हैं। + +--- +## मानव मस्तिष्क + +[मानव मस्तिष्क](https://www.livescience.com/29365-human-brain.html) वास्तविक दुनिया से चीजों को समझता है, समझी गई जानकारी को संसाधित करता है, तार्किक निर्णय लेता है, और परिस्थितियों के आधार पर कुछ कार्य करता है। इसे हम बुद्धिमानी से व्यवहार करना कहते हैं। जब हम बुद्धिमान व्यवहार प्रक्रिया की नकल को एक मशीन में प्रोग्राम करते हैं, तो इसे कृत्रिम बुद्धिमत्ता (AI) कहा जाता है। + +--- +## कुछ शब्दावली + +हालांकि शब्दों को भ्रमित किया जा सकता है, मशीन लर्निंग (ML) कृत्रिम बुद्धिमत्ता का एक महत्वपूर्ण उपसमूह है। **एमएल का संबंध विशेष एल्गोरिदम का उपयोग करके महत्वपूर्ण जानकारी को उजागर करने और समझी गई डेटा से छिपे हुए पैटर्न को खोजने से है ताकि तार्किक निर्णय लेने की प्रक्रिया को प्रमाणित किया जा सके**। + +--- +## एआई, एमएल, डीप लर्निंग + + + +> एआई, एमएल, डीप लर्निंग, और डेटा साइंस के बीच संबंधों को दिखाने वाला एक आरेख। [Jen Looper](https://twitter.com/jenlooper) द्वारा प्रेरित [इस ग्राफिक](https://softwareengineering.stackexchange.com/questions/366996/distinction-between-ai-ml-neural-networks-deep-learning-and-data-mining) से प्रेरित इन्फोग्राफिक + +--- +## कवर करने के लिए अवधारणाएँ + +इस पाठ्यक्रम में, हम केवल मशीन लर्निंग की मुख्य अवधारणाओं को कवर करेंगे जो एक शुरुआती को जानना चाहिए। हम मुख्य रूप से Scikit-learn का उपयोग करके 'क्लासिकल मशीन लर्निंग' को कवर करेंगे, एक उत्कृष्ट लाइब्रेरी जिसका उपयोग कई छात्र बुनियादी बातों को सीखने के लिए करते हैं। कृत्रिम बुद्धिमत्ता या डीप लर्निंग की व्यापक अवधारणाओं को समझने के लिए, मशीन लर्निंग का एक मजबूत बुनियादी ज्ञान अपरिहार्य है, और इसलिए हम इसे यहां पेश करना चाहेंगे। + +--- +## इस कोर्स में आप सीखेंगे: + +- मशीन लर्निंग की मुख्य अवधारणाएँ +- एमएल का इतिहास +- एमएल और निष्पक्षता +- प्रतिगमन एमएल तकनीकें +- वर्गीकरण एमएल तकनीकें +- क्लस्टरिंग एमएल तकनीकें +- प्राकृतिक भाषा प्रसंस्करण एमएल तकनीकें +- समय श्रृंखला पूर्वानुमान एमएल तकनीकें +- सुदृढीकरण सीखना +- एमएल के वास्तविक दुनिया के अनुप्रयोग + +--- +## हम क्या कवर नहीं करेंगे + +- डीप लर्निंग +- न्यूरल नेटवर्क्स +- एआई + +बेहतर सीखने के अनुभव के लिए, हम न्यूरल नेटवर्क्स, 'डीप लर्निंग' - न्यूरल नेटवर्क्स का उपयोग करके कई-स्तरीय मॉडल-निर्माण - और एआई की जटिलताओं से बचेंगे, जिसे हम एक अलग पाठ्यक्रम में चर्चा करेंगे। हम एक आगामी डेटा साइंस पाठ्यक्रम भी पेश करेंगे जो इस बड़े क्षेत्र के उस पहलू पर ध्यान केंद्रित करेगा। + +--- +## मशीन लर्निंग क्यों पढ़ें? + +मशीन लर्निंग, सिस्टम दृष्टिकोण से, डेटा से छिपे हुए पैटर्न को सीखने के लिए स्वचालित सिस्टम बनाने के रूप में परिभाषित किया गया है ताकि बुद्धिमान निर्णय लेने में मदद मिल सके। + +यह प्रेरणा ढीली तौर पर इस बात से प्रेरित है कि मानव मस्तिष्क बाहरी दुनिया से प्राप्त डेटा के आधार पर कुछ चीजें कैसे सीखता है। + +✅ एक मिनट के लिए सोचें कि एक व्यवसाय हार्ड-कोडेड नियम-आधारित इंजन बनाने के बजाय मशीन लर्निंग रणनीतियों का उपयोग क्यों करना चाहेगा। + +--- +## मशीन लर्निंग के अनुप्रयोग + +मशीन लर्निंग के अनुप्रयोग अब लगभग हर जगह हैं, और हमारे समाजों के चारों ओर बहने वाले डेटा के रूप में सर्वव्यापी हैं, जो हमारे स्मार्ट फोन, जुड़े हुए उपकरणों और अन्य प्रणालियों द्वारा उत्पन्न होते हैं। अत्याधुनिक मशीन लर्निंग एल्गोरिदम की अपार संभावनाओं को देखते हुए, शोधकर्ता उनके क्षमता का पता लगा रहे हैं कि वे बहुआयामी और बहु-विषयक वास्तविक जीवन की समस्याओं को सकारात्मक परिणामों के साथ हल करने में सक्षम हैं। + +--- +## लागू एमएल के उदाहरण + +**आप कई तरीकों से मशीन लर्निंग का उपयोग कर सकते हैं**: + +- एक रोगी के चिकित्सा इतिहास या रिपोर्ट से बीमारी की संभावना की भविष्यवाणी करने के लिए। +- मौसम की घटनाओं की भविष्यवाणी करने के लिए मौसम डेटा का लाभ उठाने के लिए। +- एक पाठ की भावना को समझने के लिए। +- प्रचार के प्रसार को रोकने के लिए नकली समाचारों का पता लगाने के लिए। + +वित्त, अर्थशास्त्र, पृथ्वी विज्ञान, अंतरिक्ष अन्वेषण, बायोमेडिकल इंजीनियरिंग, संज्ञानात्मक विज्ञान, और यहां तक कि मानविकी के क्षेत्र भी अपने डोमेन की कठिन, डेटा-प्रसंस्करण भारी समस्याओं को हल करने के लिए मशीन लर्निंग को अनुकूलित कर चुके हैं। + +--- +## निष्कर्ष + +मशीन लर्निंग वास्तविक दुनिया या उत्पन्न डेटा से महत्वपूर्ण अंतर्दृष्टि खोजने के द्वारा पैटर्न-खोज की प्रक्रिया को स्वचालित करता है। इसने व्यापार, स्वास्थ्य, और वित्तीय अनुप्रयोगों में, अन्य क्षेत्रों में, खुद को अत्यधिक मूल्यवान साबित किया है। + +निकट भविष्य में, किसी भी डोमेन के लोगों के लिए मशीन लर्निंग की बुनियादी बातों को समझना एक आवश्यकता बनने जा रहा है क्योंकि इसका व्यापक रूप से अपनाया जा रहा है। + +--- +# 🚀 चुनौती + +कागज पर या [Excalidraw](https://excalidraw.com/) जैसे ऑनलाइन ऐप का उपयोग करके, एआई, एमएल, डीप लर्निंग, और डेटा साइंस के बीच अंतर को समझने के लिए अपना स्केच बनाएं। कुछ समस्याओं के विचार जोड़ें जो इन तकनीकों में से प्रत्येक के हल करने के लिए अच्छे हैं। + +# [पाठ के बाद का क्विज़](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/2/) + +--- +# समीक्षा और आत्म अध्ययन + +क्लाउड में एमएल एल्गोरिदम के साथ कैसे काम कर सकते हैं, यह जानने के लिए इस [लर्निंग पाथ](https://docs.microsoft.com/learn/paths/create-no-code-predictive-models-azure-machine-learning/?WT.mc_id=academic-77952-leestott) का पालन करें। + +एमएल की मूल बातें के बारे में सीखने के लिए इस [लर्निंग पाथ](https://docs.microsoft.com/learn/modules/introduction-to-machine-learning/?WT.mc_id=academic-77952-leestott) को लें। + +--- +# असाइनमेंट + +[शुरू करें](assignment.md) + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयासरत हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या गलतियाँ हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम जिम्मेदार नहीं हैं। \ No newline at end of file diff --git a/translations/hi/1-Introduction/1-intro-to-ML/assignment.md b/translations/hi/1-Introduction/1-intro-to-ML/assignment.md new file mode 100644 index 000000000..28d944c57 --- /dev/null +++ b/translations/hi/1-Introduction/1-intro-to-ML/assignment.md @@ -0,0 +1,12 @@ +# शुरुआत करें और चलाएं + +## निर्देश + +इस गैर-ग्रेडेड असाइनमेंट में, आपको Python पर पुनः विचार करना चाहिए और अपने पर्यावरण को सेटअप और चलाने के योग्य बनाना चाहिए ताकि नोटबुक्स चला सकें। + +इस [Python Learning Path](https://docs.microsoft.com/learn/paths/python-language/?WT.mc_id=academic-77952-leestott) को लें, और फिर इन प्रारंभिक वीडियो को देखकर अपने सिस्टम्स को सेटअप करें: + +https://www.youtube.com/playlist?list=PLlrxD0HtieHhS8VzuMCfQD4uJ9yne1mE6 + +**अस्वीकरण**: +इस दस्तावेज़ का अनुवाद मशीन आधारित एआई अनुवाद सेवाओं का उपयोग करके किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवाद में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/1-Introduction/2-history-of-ML/README.md b/translations/hi/1-Introduction/2-history-of-ML/README.md new file mode 100644 index 000000000..dafb61f8d --- /dev/null +++ b/translations/hi/1-Introduction/2-history-of-ML/README.md @@ -0,0 +1,152 @@ +# मशीन लर्निंग का इतिहास + + +> स्केच नोट [Tomomi Imura](https://www.twitter.com/girlie_mac) द्वारा + +## [व्याख्यान से पहले का क्विज़](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/3/) + +--- + +[](https://youtu.be/N6wxM4wZ7V0 "शुरुआती लोगों के लिए मशीन लर्निंग - मशीन लर्निंग का इतिहास") + +> 🎥 इस पाठ के माध्यम से काम करने के लिए ऊपर दी गई छवि पर क्लिक करें। + +इस पाठ में, हम मशीन लर्निंग और कृत्रिम बुद्धिमत्ता के इतिहास में प्रमुख मील के पत्थरों पर चर्चा करेंगे। + +कृत्रिम बुद्धिमत्ता (AI) के क्षेत्र का इतिहास मशीन लर्निंग के इतिहास से जुड़ा हुआ है, क्योंकि ML को आधार देने वाले एल्गोरिदम और कम्प्यूटेशनल प्रगति ने AI के विकास में योगदान दिया। यह याद रखना उपयोगी है कि, जबकि ये क्षेत्र 1950 के दशक में विशिष्ट अनुसंधान क्षेत्रों के रूप में क्रिस्टलाइज होने लगे थे, महत्वपूर्ण [एल्गोरिदमिक, सांख्यिकीय, गणितीय, कम्प्यूटेशनल और तकनीकी खोजें](https://wikipedia.org/wiki/Timeline_of_machine_learning) इस युग से पहले और साथ ही साथ हुई थीं। वास्तव में, लोग इन प्रश्नों के बारे में [सैकड़ों वर्षों](https://wikipedia.org/wiki/History_of_artificial_intelligence) से सोचते आ रहे हैं: यह लेख 'सोचने वाली मशीन' के विचार की ऐतिहासिक बौद्धिक नींव पर चर्चा करता है। + +--- +## उल्लेखनीय खोजें + +- 1763, 1812 [बेयस प्रमेय](https://wikipedia.org/wiki/Bayes%27_theorem) और इसके पूर्ववर्ती। यह प्रमेय और इसके अनुप्रयोग अनुमान का आधार बनाते हैं, जो पूर्व ज्ञान के आधार पर किसी घटना के घटित होने की संभावना का वर्णन करते हैं। +- 1805 [लीस्ट स्क्वेयर थ्योरी](https://wikipedia.org/wiki/Least_squares) फ्रांसीसी गणितज्ञ एड्रियन-मैरी लेजेंड्रे द्वारा। यह सिद्धांत, जिसके बारे में आप हमारे रिग्रेशन यूनिट में जानेंगे, डेटा फिटिंग में मदद करता है। +- 1913 [मार्कोव चेन](https://wikipedia.org/wiki/Markov_chain), जिसका नाम रूसी गणितज्ञ आंद्रे मार्कोव के नाम पर रखा गया है, एक पूर्व स्थिति के आधार पर संभावित घटनाओं की अनुक्रम का वर्णन करने के लिए उपयोग किया जाता है। +- 1957 [परसेप्ट्रॉन](https://wikipedia.org/wiki/Perceptron) एक प्रकार का रैखिक वर्गीकरणकर्ता है जिसका आविष्कार अमेरिकी मनोवैज्ञानिक फ्रैंक रोसेनब्लाट ने किया था और जो गहन शिक्षा में प्रगति का आधार बनता है। + +--- + +- 1967 [निकटतम पड़ोसी](https://wikipedia.org/wiki/Nearest_neighbor) एक एल्गोरिदम है जिसे मूल रूप से मार्गों को मैप करने के लिए डिज़ाइन किया गया था। एमएल संदर्भ में इसका उपयोग पैटर्न का पता लगाने के लिए किया जाता है। +- 1970 [बैकप्रोपेगेशन](https://wikipedia.org/wiki/Backpropagation) का उपयोग [फीडफॉरवर्ड न्यूरल नेटवर्क](https://wikipedia.org/wiki/Feedforward_neural_network) को प्रशिक्षित करने के लिए किया जाता है। +- 1982 [रिकरंट न्यूरल नेटवर्क](https://wikipedia.org/wiki/Recurrent_neural_network) कृत्रिम न्यूरल नेटवर्क हैं जो फीडफॉरवर्ड न्यूरल नेटवर्क से प्राप्त होते हैं और अस्थायी ग्राफ़ बनाते हैं। + +✅ थोड़ा शोध करें। एमएल और एआई के इतिहास में कौन सी अन्य तिथियाँ महत्वपूर्ण हैं? + +--- +## 1950: सोचने वाली मशीनें + +एलन ट्यूरिंग, एक वास्तव में उल्लेखनीय व्यक्ति जिन्हें [2019 में जनता द्वारा](https://wikipedia.org/wiki/Icons:_The_Greatest_Person_of_the_20th_Century) 20वीं सदी के सबसे महान वैज्ञानिक के रूप में वोट दिया गया, को 'सोचने वाली मशीन' की अवधारणा की नींव रखने में मदद करने का श्रेय दिया जाता है। उन्होंने इस अवधारणा के लिए ठोस प्रमाण की आवश्यकता और नकारात्मक विचारों से निपटने के लिए [ट्यूरिंग टेस्ट](https://www.bbc.com/news/technology-18475646) बनाया, जिसे आप हमारे एनएलपी पाठों में अन्वेषित करेंगे। + +--- +## 1956: डार्टमाउथ समर रिसर्च प्रोजेक्ट + +"कृत्रिम बुद्धिमत्ता पर डार्टमाउथ समर रिसर्च प्रोजेक्ट कृत्रिम बुद्धिमत्ता के क्षेत्र के लिए एक महत्वपूर्ण घटना थी," और यहीं पर 'कृत्रिम बुद्धिमत्ता' शब्द गढ़ा गया ([स्रोत](https://250.dartmouth.edu/highlights/artificial-intelligence-ai-coined-dartmouth))। + +> सीखने या बुद्धिमत्ता की किसी भी अन्य विशेषता के हर पहलू को सैद्धांतिक रूप से इतनी सटीकता से वर्णित किया जा सकता है कि एक मशीन को इसे अनुकरण करने के लिए बनाया जा सकता है। + +--- + +मुख्य शोधकर्ता, गणित के प्रोफेसर जॉन मैकार्थी ने "इस अनुमान के आधार पर आगे बढ़ने की उम्मीद की कि सीखने या बुद्धिमत्ता की किसी भी अन्य विशेषता के हर पहलू को सैद्धांतिक रूप से इतनी सटीकता से वर्णित किया जा सकता है कि एक मशीन को इसे अनुकरण करने के लिए बनाया जा सकता है।" प्रतिभागियों में इस क्षेत्र के एक अन्य प्रमुख व्यक्ति, मार्विन मिंस्की भी शामिल थे। + +इस कार्यशाला का श्रेय कई चर्चाओं को शुरू करने और प्रोत्साहित करने के लिए दिया जाता है, जिसमें "प्रतीकात्मक तरीकों का उदय, सीमित डोमेन पर केंद्रित सिस्टम (प्रारंभिक विशेषज्ञ सिस्टम), और डिडक्टिव सिस्टम बनाम इंडक्टिव सिस्टम" शामिल हैं। ([स्रोत](https://wikipedia.org/wiki/Dartmouth_workshop))। + +--- +## 1956 - 1974: "स्वर्णिम वर्ष" + +1950 के दशक से लेकर 70 के दशक के मध्य तक, एआई से कई समस्याओं को हल करने की उम्मीद में बहुत आशावाद था। 1967 में, मार्विन मिंस्की ने आत्मविश्वास से कहा कि "एक पीढ़ी के भीतर ... 'कृत्रिम बुद्धिमत्ता' बनाने की समस्या काफी हद तक हल हो जाएगी।" (मिंस्की, मार्विन (1967), कम्प्यूटेशन: फाइनाइट और इनफिनाइट मशीनें, एंगलवुड क्लिफ्स, एन.जे.: प्रेंटिस-हॉल) + +प्राकृतिक भाषा प्रसंस्करण अनुसंधान फल-फूल रहा था, खोज को परिष्कृत और अधिक शक्तिशाली बनाया गया, और 'माइक्रो-वर्ल्ड्स' की अवधारणा बनाई गई, जहां साधारण कार्यों को सादा भाषा निर्देशों का उपयोग करके पूरा किया गया। + +--- + +अनुसंधान को सरकारी एजेंसियों द्वारा अच्छी तरह से वित्त पोषित किया गया था, कम्प्यूटेशन और एल्गोरिदम में प्रगति हुई, और बुद्धिमान मशीनों के प्रोटोटाइप बनाए गए। इनमें से कुछ मशीनें शामिल हैं: + +* [शेकी द रोबोट](https://wikipedia.org/wiki/Shakey_the_robot), जो कार्यों को 'बुद्धिमानी से' करने के लिए निर्णय ले सकता था। + +  + > 1972 में शेकी + +--- + +* एलिजा, एक प्रारंभिक 'चैटरबॉट', लोगों से बात कर सकता था और एक आदिम 'चिकित्सक' के रूप में कार्य कर सकता था। आप एनएलपी पाठों में एलिजा के बारे में और जानेंगे। + +  + > एलिजा का एक संस्करण, एक चैटबॉट + +--- + +* "ब्लॉक्स वर्ल्ड" एक माइक्रो-वर्ल्ड का उदाहरण था जहां ब्लॉक्स को स्टैक और सॉर्ट किया जा सकता था, और मशीनों को निर्णय लेना सिखाने के प्रयोग किए जा सकते थे। [SHRDLU](https://wikipedia.org/wiki/SHRDLU) जैसी लाइब्रेरी के साथ निर्मित प्रगति ने भाषा प्रसंस्करण को आगे बढ़ाने में मदद की। + + [](https://www.youtube.com/watch?v=QAJz4YKUwqw "SHRDLU के साथ ब्लॉक्स वर्ल्ड") + + > 🎥 वीडियो के लिए ऊपर दी गई छवि पर क्लिक करें: SHRDLU के साथ ब्लॉक्स वर्ल्ड + +--- +## 1974 - 1980: "एआई विंटर" + +1970 के दशक के मध्य तक, यह स्पष्ट हो गया था कि 'बुद्धिमान मशीनें' बनाने की जटिलता को कम करके आंका गया था और उपलब्ध कम्प्यूट पावर को देखते हुए इसकी संभावनाओं को बढ़ा-चढ़ा कर पेश किया गया था। वित्त पोषण सूख गया और क्षेत्र में विश्वास धीमा हो गया। कुछ मुद्दे जिन्होंने विश्वास को प्रभावित किया उनमें शामिल थे: +--- +- **सीमाएँ**. कम्प्यूट पावर बहुत सीमित थी। +- **कॉम्बिनेटोरियल विस्फोट**. कंप्यूटरों से अधिक मांग की जाने पर प्रशिक्षित किए जाने वाले मापदंडों की मात्रा तेजी से बढ़ गई, बिना कम्प्यूट पावर और क्षमता के समानांतर विकास के। +- **डेटा की कमी**. परीक्षण, विकास और एल्गोरिदम को परिष्कृत करने की प्रक्रिया में डेटा की कमी बाधा उत्पन्न कर रही थी। +- **क्या हम सही प्रश्न पूछ रहे हैं?**. जिन प्रश्नों को पूछा जा रहा था, वे ही सवालों के घेरे में आने लगे। शोधकर्ताओं ने अपने दृष्टिकोणों के बारे में आलोचना का सामना करना शुरू किया: + - ट्यूरिंग परीक्षणों पर 'चीनी कक्ष सिद्धांत' के माध्यम से प्रश्न उठाए गए, जिसमें कहा गया था कि, "एक डिजिटल कंप्यूटर को प्रोग्राम करना भाषा को समझने का आभास दे सकता है, लेकिन वास्तविक समझ उत्पन्न नहीं कर सकता।" ([स्रोत](https://plato.stanford.edu/entries/chinese-room/)) + - समाज में "चिकित्सक" एलिजा जैसी कृत्रिम बुद्धिमत्ता को पेश करने के नैतिकता पर सवाल उठाया गया। + +--- + +इसी समय, विभिन्न एआई विचारधाराओं का गठन होने लगा। ["स्क्रफी" बनाम "नीट एआई"](https://wikipedia.org/wiki/Neats_and_scruffies) प्रथाओं के बीच एक द्वैतता स्थापित की गई। _स्क्रफी_ प्रयोगशालाएं घंटों तक प्रोग्रामों को तब तक समायोजित करती रहीं जब तक उन्हें वांछित परिणाम नहीं मिल गए। _नीट_ प्रयोगशालाएं "तर्क और औपचारिक समस्या समाधान पर केंद्रित थीं"। एलिजा और SHRDLU प्रसिद्ध _स्क्रफी_ सिस्टम थे। 1980 के दशक में, जब एमएल सिस्टम को पुनरुत्पादन योग्य बनाने की मांग उभरी, तो _नीट_ दृष्टिकोण ने धीरे-धीरे प्रमुखता प्राप्त की क्योंकि इसके परिणाम अधिक व्याख्यात्मक हैं। + +--- +## 1980 के दशक के विशेषज्ञ सिस्टम + +जैसे-जैसे क्षेत्र बढ़ता गया, इसका व्यवसाय के लिए लाभ स्पष्ट होता गया, और 1980 के दशक में 'विशेषज्ञ सिस्टम' का प्रसार भी हुआ। "विशेषज्ञ सिस्टम कृत्रिम बुद्धिमत्ता (एआई) सॉफ़्टवेयर के पहले वास्तव में सफल रूपों में से थे।" ([स्रोत](https://wikipedia.org/wiki/Expert_system))। + +इस प्रकार की प्रणाली वास्तव में _हाइब्रिड_ है, जिसमें आंशिक रूप से व्यापार आवश्यकताओं को परिभाषित करने वाला एक नियम इंजन, और एक अनुमान इंजन शामिल है जो नए तथ्यों को निष्कर्षित करने के लिए नियम प्रणाली का लाभ उठाता है। + +इस युग में न्यूरल नेटवर्क पर भी बढ़ती ध्यान दी गई। + +--- +## 1987 - 1993: एआई 'चिल' + +विशिष्ट विशेषज्ञ सिस्टम हार्डवेयर का प्रसार दुर्भाग्यवश बहुत विशिष्ट हो जाने का प्रभाव था। व्यक्तिगत कंप्यूटरों का उदय भी इन बड़े, विशिष्ट, केंद्रीकृत प्रणालियों के साथ प्रतिस्पर्धा कर रहा था। कंप्यूटिंग का लोकतंत्रीकरण शुरू हो गया था, और इसने अंततः बड़े डेटा के आधुनिक विस्फोट का मार्ग प्रशस्त किया। + +--- +## 1993 - 2011 + +इस युग ने एमएल और एआई के लिए उन समस्याओं को हल करने के लिए एक नए युग की शुरुआत की जो पहले डेटा और कम्प्यूट पावर की कमी के कारण उत्पन्न हुई थीं। डेटा की मात्रा तेजी से बढ़ने लगी और अधिक व्यापक रूप से उपलब्ध होने लगी, बेहतर और बदतर दोनों के लिए, विशेष रूप से 2007 के आसपास स्मार्टफोन के आगमन के साथ। कम्प्यूट पावर तेजी से बढ़ी, और एल्गोरिदम के साथ विकसित हुई। क्षेत्र ने परिपक्वता प्राप्त करना शुरू किया क्योंकि पिछले दिनों की स्वतंत्रता एक सच्चे अनुशासन में क्रिस्टलाइज होने लगी। + +--- +## अब + +आज मशीन लर्निंग और एआई हमारे जीवन के लगभग हर हिस्से को छूते हैं। यह युग इन एल्गोरिदम के मानव जीवन पर संभावित प्रभावों और जोखिमों की सावधानीपूर्वक समझ की मांग करता है। जैसा कि माइक्रोसॉफ्ट के ब्रैड स्मिथ ने कहा है, "सूचना प्रौद्योगिकी ऐसे मुद्दे उठाती है जो गोपनीयता और अभिव्यक्ति की स्वतंत्रता जैसे मौलिक मानवाधिकारों के संरक्षण के मूल में जाते हैं। ये मुद्दे उन तकनीकी कंपनियों के लिए जिम्मेदारी बढ़ाते हैं जो इन उत्पादों का निर्माण करती हैं। हमारे विचार में, वे विचारशील सरकारी विनियमन और स्वीकार्य उपयोगों के आसपास मानदंडों के विकास के लिए भी कहते हैं" ([स्रोत](https://www.technologyreview.com/2019/12/18/102365/the-future-of-ais-impact-on-society/))। + +--- + +यह देखना बाकी है कि भविष्य क्या रखता है, लेकिन इन कंप्यूटर सिस्टम और वे सॉफ़्टवेयर और एल्गोरिदम को समझना महत्वपूर्ण है जो वे चलाते हैं। हमें उम्मीद है कि यह पाठ्यक्रम आपको बेहतर समझ हासिल करने में मदद करेगा ताकि आप स्वयं निर्णय ले सकें। + +[](https://www.youtube.com/watch?v=mTtDfKgLm54 "डीप लर्निंग का इतिहास") +> 🎥 वीडियो के लिए ऊपर दी गई छवि पर क्लिक करें: यान लेकुन इस व्याख्यान में डीप लर्निंग के इतिहास पर चर्चा करते हैं + +--- +## 🚀चुनौती + +इन ऐतिहासिक क्षणों में से किसी एक में गहराई से अध्ययन करें और उनके पीछे के लोगों के बारे में अधिक जानें। वहाँ दिलचस्प पात्र हैं, और कोई भी वैज्ञानिक खोज कभी भी सांस्कृतिक निर्वात में नहीं बनाई गई थी। आप क्या खोजते हैं? + +## [व्याख्यान के बाद का क्विज़](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/4/) + +--- +## समीक्षा और स्व-अध्ययन + +यहां देखने और सुनने के लिए आइटम हैं: + +[यह पॉडकास्ट जहां एमी बॉयड एआई के विकास पर चर्चा करती हैं](http://runasradio.com/Shows/Show/739) +[](https://www.youtube.com/watch?v=EJt3_bFYKss "The history of AI by Amy Boyd") + +--- + +## असाइनमेंट + +[एक टाइमलाइन बनाएं](assignment.md) + +**अस्वीकरण**: +यह दस्तावेज़ मशीन आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या गलतियाँ हो सकती हैं। अपनी मूल भाषा में मूल दस्तावेज़ को आधिकारिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/1-Introduction/2-history-of-ML/assignment.md b/translations/hi/1-Introduction/2-history-of-ML/assignment.md new file mode 100644 index 000000000..8673c31cf --- /dev/null +++ b/translations/hi/1-Introduction/2-history-of-ML/assignment.md @@ -0,0 +1,14 @@ +# एक टाइमलाइन बनाएँ + +## निर्देश + +[इस रिपॉजिटरी](https://github.com/Digital-Humanities-Toolkit/timeline-builder) का उपयोग करके, एल्गोरिदम, गणित, सांख्यिकी, एआई, या एमएल के इतिहास के किसी पहलू की एक टाइमलाइन बनाएँ, या इनका संयोजन करें। आप एक व्यक्ति, एक विचार, या विचारों के लंबे समयावधि पर ध्यान केंद्रित कर सकते हैं। सुनिश्चित करें कि आप मल्टीमीडिया तत्व जोड़ें। + +## मूल्यांकन मापदंड + +| मापदंड | उत्कृष्ट | पर्याप्त | सुधार की आवश्यकता है | +| -------- | ------------------------------------------------- | --------------------------------------- | ------------------------------------------------------------ | +| | एक प्रकाशित टाइमलाइन GitHub पेज के रूप में प्रस्तुत की गई है | कोड अधूरा है और प्रकाशित नहीं है | टाइमलाइन अधूरी है, अच्छी तरह से शोध नहीं की गई है और प्रकाशित नहीं है | + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयासरत हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में अधिकारिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम जिम्मेदार नहीं हैं। \ No newline at end of file diff --git a/translations/hi/1-Introduction/3-fairness/README.md b/translations/hi/1-Introduction/3-fairness/README.md new file mode 100644 index 000000000..a2330cff2 --- /dev/null +++ b/translations/hi/1-Introduction/3-fairness/README.md @@ -0,0 +1,131 @@ +# जिम्मेदार AI के साथ मशीन लर्निंग समाधान बनाना + + +> स्केच नोट द्वारा [Tomomi Imura](https://www.twitter.com/girlie_mac) + +## [पूर्व-व्याख्यान क्विज़](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/5/) + +## परिचय + +इस पाठ्यक्रम में, आप जानेंगे कि मशीन लर्निंग कैसे और किस प्रकार हमारे दैनिक जीवन को प्रभावित कर रही है। आज भी, सिस्टम और मॉडल स्वास्थ्य देखभाल निदान, ऋण स्वीकृति या धोखाधड़ी का पता लगाने जैसे दैनिक निर्णय लेने के कार्यों में शामिल हैं। इसलिए, यह महत्वपूर्ण है कि ये मॉडल अच्छे से काम करें और विश्वसनीय परिणाम प्रदान करें। जैसे किसी भी सॉफ्टवेयर एप्लिकेशन में, AI सिस्टम भी उम्मीदों को पूरा करने में असफल हो सकते हैं या अवांछित परिणाम दे सकते हैं। यही कारण है कि AI मॉडल के व्यवहार को समझना और समझाना आवश्यक है। + +कल्पना करें कि जब आप इन मॉडलों को बनाने के लिए जिस डेटा का उपयोग कर रहे हैं उसमें कुछ जनसांख्यिकी की कमी हो, जैसे कि जाति, लिंग, राजनीतिक दृष्टिकोण, धर्म, या अनुपातहीन रूप से कुछ जनसांख्यिकी का प्रतिनिधित्व करता हो। क्या होगा जब मॉडल के आउटपुट को किसी जनसांख्यिकी के पक्ष में व्याख्या की जाती है? एप्लिकेशन के लिए इसका परिणाम क्या होगा? इसके अलावा, जब मॉडल का प्रतिकूल परिणाम होता है और यह लोगों के लिए हानिकारक होता है, तो क्या होता है? AI सिस्टम के व्यवहार के लिए कौन जिम्मेदार है? ये कुछ सवाल हैं जिन्हें हम इस पाठ्यक्रम में खोजेंगे। + +इस पाठ में, आप: + +- मशीन लर्निंग में निष्पक्षता और निष्पक्षता-संबंधित हानियों के महत्व के बारे में जागरूकता बढ़ाएंगे। +- विश्वसनीयता और सुरक्षा सुनिश्चित करने के लिए अपवादों और असामान्य परिदृश्यों की जांच करने के अभ्यास से परिचित होंगे। +- समावेशी सिस्टम डिज़ाइन करके सभी को सशक्त बनाने की आवश्यकता को समझेंगे। +- डेटा और लोगों की गोपनीयता और सुरक्षा की रक्षा करने के महत्व का अन्वेषण करेंगे। +- AI मॉडल के व्यवहार को समझाने के लिए एक ग्लास बॉक्स दृष्टिकोण के महत्व को देखेंगे। +- यह समझेंगे कि AI सिस्टम में विश्वास बनाने के लिए जवाबदेही कैसे महत्वपूर्ण है। + +## आवश्यकताएं + +एक आवश्यकतानुसार, कृपया "जिम्मेदार AI सिद्धांत" सीख पथ को पूरा करें और नीचे दिए गए वीडियो को देखें: + +जिम्मेदार AI के बारे में अधिक जानने के लिए इस [लर्निंग पाथ](https://docs.microsoft.com/learn/modules/responsible-ai-principles/?WT.mc_id=academic-77952-leestott) का अनुसरण करें। + +[](https://youtu.be/dnC8-uUZXSc "Microsoft का जिम्मेदार AI के प्रति दृष्टिकोण") + +> 🎥 ऊपर की छवि पर क्लिक करें एक वीडियो के लिए: Microsoft का जिम्मेदार AI के प्रति दृष्टिकोण + +## निष्पक्षता + +AI सिस्टम को सभी के साथ निष्पक्षता से पेश आना चाहिए और समान समूहों के लोगों को अलग-अलग तरीके से प्रभावित करने से बचना चाहिए। उदाहरण के लिए, जब AI सिस्टम चिकित्सा उपचार, ऋण आवेदन या रोजगार पर मार्गदर्शन प्रदान करते हैं, तो उन्हें समान लक्षणों, वित्तीय परिस्थितियों या पेशेवर योग्यताओं वाले सभी लोगों को समान सिफारिशें देनी चाहिए। हम में से प्रत्येक व्यक्ति के पास विरासत में मिली पूर्वाग्रह होती है जो हमारे निर्णयों और कार्यों को प्रभावित करती है। ये पूर्वाग्रह उस डेटा में स्पष्ट हो सकते हैं जिसका हम AI सिस्टम को प्रशिक्षित करने के लिए उपयोग करते हैं। ऐसा हेरफेर कभी-कभी अनजाने में हो सकता है। डेटा में पूर्वाग्रह कब प्रस्तुत कर रहे हैं, इसे जानबूझकर समझना अक्सर कठिन होता है। + +**“अन्याय”** में एक समूह के लोगों के लिए नकारात्मक प्रभाव, या “हानियां” शामिल हैं, जैसे कि जाति, लिंग, आयु या विकलांगता स्थिति के संदर्भ में परिभाषित। मुख्य निष्पक्षता-संबंधित हानियों को निम्नलिखित प्रकारों में वर्गीकृत किया जा सकता है: + +- **आवंटन**, यदि उदाहरण के लिए एक लिंग या जातीयता को दूसरे पर प्राथमिकता दी जाती है। +- **सेवा की गुणवत्ता**। यदि आप डेटा को एक विशिष्ट परिदृश्य के लिए प्रशिक्षित करते हैं लेकिन वास्तविकता बहुत अधिक जटिल है, तो यह खराब प्रदर्शन करने वाली सेवा की ओर ले जाता है। उदाहरण के लिए, एक हाथ साबुन डिस्पेंसर जो गहरे रंग की त्वचा वाले लोगों को पहचानने में सक्षम नहीं लगता था। [संदर्भ](https://gizmodo.com/why-cant-this-soap-dispenser-identify-dark-skin-1797931773) +- **निंदा**। किसी चीज़ या किसी को अनुचित तरीके से आलोचना और लेबल करना। उदाहरण के लिए, एक छवि लेबलिंग तकनीक ने कुख्यात रूप से गहरे रंग की त्वचा वाले लोगों की छवियों को गोरिल्ला के रूप में गलत लेबल किया। +- **अधिक या कम प्रतिनिधित्व**। विचार यह है कि एक निश्चित समूह को एक निश्चित पेशे में नहीं देखा जाता है, और कोई भी सेवा या कार्य जो इसे बढ़ावा देना जारी रखता है, वह हानि में योगदान दे रहा है। +- **रूढ़िवादिता**। एक दिए गए समूह को पूर्व-निर्धारित गुणों के साथ जोड़ना। उदाहरण के लिए, अंग्रेजी और तुर्की के बीच एक भाषा अनुवाद प्रणाली में लिंग से जुड़े शब्दों के कारण गलतियाँ हो सकती हैं। + + +> तुर्की में अनुवाद + + +> अंग्रेजी में अनुवाद + +AI सिस्टम को डिजाइन और परीक्षण करते समय, हमें यह सुनिश्चित करने की आवश्यकता है कि AI निष्पक्ष है और पूर्वाग्रहपूर्ण या भेदभावपूर्ण निर्णय लेने के लिए प्रोग्राम नहीं किया गया है, जिन्हें मनुष्यों को भी लेने की अनुमति नहीं है। AI और मशीन लर्निंग में निष्पक्षता सुनिश्चित करना एक जटिल सामाजिक-तकनीकी चुनौती बनी हुई है। + +### विश्वसनीयता और सुरक्षा + +विश्वास बनाने के लिए, AI सिस्टम को सामान्य और अप्रत्याशित परिस्थितियों में विश्वसनीय, सुरक्षित और सुसंगत होना चाहिए। यह जानना महत्वपूर्ण है कि AI सिस्टम विभिन्न स्थितियों में कैसे व्यवहार करेंगे, विशेष रूप से जब वे अपवाद होते हैं। AI समाधान बनाते समय, उन परिस्थितियों की एक विस्तृत विविधता को संभालने पर ध्यान केंद्रित करने की आवश्यकता होती है जिनका AI समाधान सामना करेगा। उदाहरण के लिए, एक स्व-चालित कार को लोगों की सुरक्षा को शीर्ष प्राथमिकता के रूप में रखना चाहिए। परिणामस्वरूप, कार को शक्ति देने वाले AI को सभी संभावित परिदृश्यों पर विचार करना चाहिए जिनका कार सामना कर सकती है, जैसे रात, तूफान या बर्फबारी, सड़क पर दौड़ते हुए बच्चे, पालतू जानवर, सड़क निर्माण आदि। AI सिस्टम कितनी अच्छी तरह से एक विस्तृत श्रृंखला की स्थितियों को विश्वसनीय और सुरक्षित तरीके से संभाल सकता है, यह उस स्तर को दर्शाता है जिसे डेटा वैज्ञानिक या AI डेवलपर ने सिस्टम के डिजाइन या परीक्षण के दौरान विचार किया था। + +> [🎥 वीडियो के लिए यहां क्लिक करें: ](https://www.microsoft.com/videoplayer/embed/RE4vvIl) + +### समावेशिता + +AI सिस्टम को सभी को संलग्न और सशक्त बनाने के लिए डिज़ाइन किया जाना चाहिए। AI सिस्टम को डिजाइन और कार्यान्वित करते समय, डेटा वैज्ञानिक और AI डेवलपर्स सिस्टम में संभावित बाधाओं की पहचान करते हैं और उन्हें संबोधित करते हैं जो अनजाने में लोगों को बाहर कर सकते हैं। उदाहरण के लिए, दुनिया भर में 1 बिलियन लोग विकलांगता के साथ हैं। AI की प्रगति के साथ, वे अपनी दैनिक जिंदगी में अधिक आसानी से विभिन्न प्रकार की जानकारी और अवसरों तक पहुंच सकते हैं। बाधाओं को संबोधित करके, यह नवाचार और बेहतर अनुभवों के साथ AI उत्पादों के विकास के अवसर पैदा करता है जो सभी के लिए लाभकारी होते हैं। + +> [🎥 वीडियो के लिए यहां क्लिक करें: AI में समावेशिता](https://www.microsoft.com/videoplayer/embed/RE4vl9v) + +### सुरक्षा और गोपनीयता + +AI सिस्टम को सुरक्षित और लोगों की गोपनीयता का सम्मान करना चाहिए। लोग उन सिस्टमों पर कम विश्वास करते हैं जो उनकी गोपनीयता, जानकारी या जीवन को जोखिम में डालते हैं। मशीन लर्निंग मॉडल को प्रशिक्षित करते समय, हम सबसे अच्छे परिणाम प्राप्त करने के लिए डेटा पर निर्भर होते हैं। ऐसा करते समय, डेटा की उत्पत्ति और अखंडता पर विचार करना आवश्यक है। उदाहरण के लिए, क्या डेटा उपयोगकर्ता द्वारा प्रस्तुत किया गया था या सार्वजनिक रूप से उपलब्ध था? इसके बाद, डेटा के साथ काम करते समय, यह महत्वपूर्ण है कि AI सिस्टम को गोपनीय जानकारी की रक्षा करने और हमलों का प्रतिरोध करने के लिए विकसित किया जाए। जैसे-जैसे AI अधिक प्रचलित हो रहा है, गोपनीयता की रक्षा और महत्वपूर्ण व्यक्तिगत और व्यावसायिक जानकारी की सुरक्षा अधिक महत्वपूर्ण और जटिल हो रही है। गोपनीयता और डेटा सुरक्षा के मुद्दों को AI के लिए विशेष रूप से करीब ध्यान देने की आवश्यकता होती है क्योंकि डेटा तक पहुंच AI सिस्टम के लिए लोगों के बारे में सटीक और सूचित पूर्वानुमान और निर्णय लेने के लिए आवश्यक होती है। + +> [🎥 वीडियो के लिए यहां क्लिक करें: AI में सुरक्षा](https://www.microsoft.com/videoplayer/embed/RE4voJF) + +- उद्योग के रूप में हमने गोपनीयता और सुरक्षा में महत्वपूर्ण प्रगति की है, जिसे GDPR (जनरल डेटा प्रोटेक्शन रेगुलेशन) जैसी विनियमों द्वारा काफी हद तक प्रेरित किया गया है। +- फिर भी AI सिस्टम के साथ हमें व्यक्तिगत डेटा की अधिक आवश्यकता को स्वीकार करना चाहिए ताकि सिस्टम अधिक व्यक्तिगत और प्रभावी हो सकें – और गोपनीयता। +- जैसे इंटरनेट के साथ जुड़े कंप्यूटरों के जन्म के साथ, हम AI से संबंधित सुरक्षा मुद्दों की संख्या में भी भारी वृद्धि देख रहे हैं। +- साथ ही, हमने देखा है कि सुरक्षा में सुधार के लिए AI का उपयोग किया जा रहा है। उदाहरण के लिए, अधिकांश आधुनिक एंटी-वायरस स्कैनर आज AI ह्यूरिस्टिक्स द्वारा संचालित होते हैं। +- हमें यह सुनिश्चित करने की आवश्यकता है कि हमारे डेटा विज्ञान प्रक्रियाएं नवीनतम गोपनीयता और सुरक्षा प्रथाओं के साथ सामंजस्यपूर्ण रूप से मिश्रित हों। + +### पारदर्शिता + +AI सिस्टम को समझने योग्य होना चाहिए। पारदर्शिता का एक महत्वपूर्ण हिस्सा AI सिस्टम और उनके घटकों के व्यवहार को समझाना है। AI सिस्टम की समझ में सुधार के लिए यह आवश्यक है कि हितधारक यह समझें कि वे कैसे और क्यों काम करते हैं ताकि वे संभावित प्रदर्शन मुद्दों, सुरक्षा और गोपनीयता चिंताओं, पूर्वाग्रहों, बहिष्करण प्रथाओं, या अनपेक्षित परिणामों की पहचान कर सकें। हम यह भी मानते हैं कि जो लोग AI सिस्टम का उपयोग करते हैं उन्हें यह ईमानदारी और स्पष्टता से बताना चाहिए कि वे कब, क्यों, और कैसे उनका उपयोग करते हैं। साथ ही उन सिस्टमों की सीमाओं को भी स्पष्ट करना चाहिए जो वे उपयोग करते हैं। उदाहरण के लिए, यदि एक बैंक अपने उपभोक्ता ऋण निर्णयों का समर्थन करने के लिए AI सिस्टम का उपयोग करता है, तो यह महत्वपूर्ण है कि परिणामों की जांच की जाए और यह समझा जाए कि कौन सा डेटा सिस्टम की सिफारिशों को प्रभावित करता है। सरकारें उद्योगों में AI को विनियमित करना शुरू कर रही हैं, इसलिए डेटा वैज्ञानिकों और संगठनों को यह बताना चाहिए कि क्या AI सिस्टम नियामक आवश्यकताओं को पूरा करता है, विशेष रूप से जब एक अवांछनीय परिणाम होता है। + +> [🎥 वीडियो के लिए यहां क्लिक करें: AI में पारदर्शिता](https://www.microsoft.com/videoplayer/embed/RE4voJF) + +- क्योंकि AI सिस्टम इतने जटिल हैं, यह समझना मुश्किल है कि वे कैसे काम करते हैं और परिणामों की व्याख्या कैसे करें। +- इस समझ की कमी इन सिस्टमों के प्रबंधन, संचालन, और दस्तावेज़ीकरण को प्रभावित करती है। +- इस समझ की कमी सबसे महत्वपूर्ण रूप से उन निर्णयों को प्रभावित करती है जो इन सिस्टमों द्वारा उत्पन्न परिणामों का उपयोग करके किए जाते हैं। + +### जवाबदेही + +AI सिस्टम को डिजाइन और तैनात करने वाले लोगों को अपने सिस्टम के संचालन के लिए जवाबदेह होना चाहिए। जवाबदेही की आवश्यकता विशेष रूप से संवेदनशील उपयोग तकनीकों जैसे चेहरे की पहचान के साथ महत्वपूर्ण है। हाल ही में, चेहरे की पहचान तकनीक की मांग बढ़ रही है, विशेष रूप से कानून प्रवर्तन संगठनों से जो इस तकनीक की संभावनाओं को लापता बच्चों को खोजने जैसे उपयोगों में देखते हैं। हालांकि, ये तकनीकें संभावित रूप से एक सरकार द्वारा अपने नागरिकों की मौलिक स्वतंत्रताओं को खतरे में डाल सकती हैं, जैसे कि विशिष्ट व्यक्तियों की निरंतर निगरानी को सक्षम करना। इसलिए, डेटा वैज्ञानिकों और संगठनों को अपने AI सिस्टम के व्यक्तियों या समाज पर प्रभाव के लिए जिम्मेदार होना चाहिए। + +[](https://www.youtube.com/watch?v=Wldt8P5V6D0 "Microsoft का जिम्मेदार AI के प्रति दृष्टिकोण") + +> 🎥 ऊपर की छवि पर क्लिक करें एक वीडियो के लिए: चेहरे की पहचान के माध्यम से बड़े पैमाने पर निगरानी की चेतावनी + +अंततः हमारी पीढ़ी के लिए सबसे बड़े सवालों में से एक, जो AI को समाज में ला रही है, यह है कि कैसे यह सुनिश्चित किया जाए कि कंप्यूटर लोगों के प्रति जवाबदेह बने रहेंगे और यह सुनिश्चित किया जाए कि कंप्यूटर डिजाइन करने वाले लोग सभी के प्रति जवाबदेह बने रहें। + +## प्रभाव मूल्यांकन + +मशीन लर्निंग मॉडल को प्रशिक्षित करने से पहले, यह समझने के लिए एक प्रभाव मूल्यांकन करना महत्वपूर्ण है कि AI सिस्टम का उद्देश्य क्या है; इसका इरादा उपयोग क्या है; यह कहां तैनात किया जाएगा; और सिस्टम के साथ कौन बातचीत करेगा। ये समीक्षक या परीक्षकों के लिए सहायक होते हैं जो सिस्टम का मूल्यांकन करते समय संभावित जोखिमों और अपेक्षित परिणामों की पहचान करने के लिए विचार करने वाले कारकों को जानने में सहायक होते हैं। + +प्रभाव मूल्यांकन करते समय निम्नलिखित क्षेत्रों पर ध्यान केंद्रित करें: + +* **व्यक्तियों पर प्रतिकूल प्रभाव**। किसी भी प्रतिबंध या आवश्यकताओं, असमर्थित उपयोग या किसी भी ज्ञात सीमाओं से अवगत होना जो सिस्टम के प्रदर्शन को बाधित कर सकते हैं, यह सुनिश्चित करने के लिए महत्वपूर्ण है कि सिस्टम का उपयोग इस तरह से नहीं किया जाए जिससे व्यक्तियों को नुकसान हो। +* **डेटा आवश्यकताएं**। सिस्टम डेटा का उपयोग कैसे और कहां करेगा, इसे समझने से समीक्षकों को किसी भी डेटा आवश्यकताओं का पता लगाने में मदद मिलती है जिनके प्रति आपको सावधान रहना चाहिए (जैसे, GDPR या HIPPA डेटा विनियम)। इसके अलावा, यह जांचें कि प्रशिक्षण के लिए डेटा का स्रोत या मात्रा पर्याप्त है या नहीं। +* **प्रभाव का सारांश**। सिस्टम का उपयोग करने से उत्पन्न होने वाली संभावित हानियों की सूची एकत्र करें। ML जीवनचक्र के दौरान, यह समीक्षा करें कि पहचानी गई समस्याओं को कम किया गया है या संबोधित किया गया है। +* **छह मुख्य सिद्धांतों के लिए लागू लक्ष्य**। प्रत्येक सिद्धांत के लक्ष्यों का आकलन करें कि क्या वे मिले हैं और यदि कोई अंतराल हैं। + +## जिम्मेदार AI के साथ डीबगिंग + +किसी सॉफ्टवेयर एप्लिकेशन को डीबग करने की तरह, AI सिस्टम को डीबग करना सिस्टम में समस्याओं की पहचान करने और उन्हें हल करने की एक आवश्यक प्रक्रिया है। कई कारक हो सकते हैं जो मॉडल के अपेक्षित या जिम्मेदार तरीके से प्रदर्शन न करने को प्रभावित करते हैं। अधिकांश पारंपरिक मॉडल प्रदर्शन मेट्रिक्स मॉडल के प्रदर्शन के मात्रात्मक समुच्चय होते हैं, जो जिम्मेदार AI सिद्धांतों का उल्लंघन कैसे करते हैं, इसका विश्लेषण करने के लिए पर्याप्त नहीं होते। इसके अलावा, एक मशीन लर्निंग मॉडल एक ब्लैक बॉक्स है जो यह समझना मुश्किल बनाता है कि इसके परिणामों को क्या प्रेरित करता है या जब यह गलती करता है तो स्पष्टीकरण प्रदान करता है। इस पाठ्यक्रम में आगे, हम जिम्मेदार AI डैशबोर्ड का उपयोग करके AI सिस्टम को डीबग करना सीखेंगे। डैशबोर्ड डेटा वैज्ञानिकों और AI डेवलपर्स के लिए एक समग्र उपकरण प्रदान करता है: + +* **त्रुटि विश्लेषण**। मॉडल की त्रुटि वितरण की पहचान करने के लिए जो सिस्टम की निष्पक्षता या विश्वसनीयता को प्रभावित कर सकता है। +* **मॉडल अवलोकन**। यह पता लगाने के लिए कि डेटा समूहों के प्रदर्शन में कहां असमानताएं हैं। +* **डेटा विश्लेषण**। डेटा वितरण को समझने के लिए और डेटा में किसी भी संभावित पूर्वाग्रह की पहचान करने के लिए जो निष्पक्षता, समावेशिता और विश्वसनीयता मुद्दों का कारण बन सकता है। +* **मॉडल व्याख्या**। यह समझने के लिए कि मॉडल की भविष्यवाणियों को क्या प्रभावित करता है। यह मॉडल के व्यवहार को समझाने में मदद करता है, जो पारदर्शिता और जवाबदेही के लिए महत्वपूर्ण है। + +## 🚀 चुनौती + +हानियों को पहले स्थान पर प्रस्तुत होने से रोकने के लिए, हमें: + +- सिस्टम पर काम करने वाले लोगों के बीच विविध पृष्ठभूमि और दृष्टिकोण होने चाहिए। +- हमारे समाज की विविधता को दर्शाने वाले डेटा सेटों में निवेश करना चाहिए। +- मशीन लर्निंग जीवनचक्र के दौरान जिम्मेदार AI का पता लगाने और सुधारने के लिए बेहतर तरीकों का विकास करना चाहिए। + +वास्तविक जीवन के परिदृश्यों के बारे में सोचें जहां मॉडल की अविश्वसनीयता मॉडल-निर्माण और उपयोग में स्पष्ट है। और क्या विचार करना चाहिए? + +## [पोस्ट-व्याख्यान क्विज़](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/6/) +## समीक्षा और स्व + +**अस्वीकरण**: +इस दस्तावेज़ का अनुवाद मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/1-Introduction/3-fairness/assignment.md b/translations/hi/1-Introduction/3-fairness/assignment.md new file mode 100644 index 000000000..4eb3725d5 --- /dev/null +++ b/translations/hi/1-Introduction/3-fairness/assignment.md @@ -0,0 +1,14 @@ +# जिम्मेदार AI टूलबॉक्स का अन्वेषण करें + +## निर्देश + +इस पाठ में आपने जिम्मेदार AI टूलबॉक्स के बारे में सीखा, जो "डेटा वैज्ञानिकों को AI सिस्टम का विश्लेषण और सुधार करने में मदद करने के लिए एक ओपन-सोर्स, समुदाय-संचालित परियोजना है।" इस असाइनमेंट के लिए, RAI टूलबॉक्स के [notebooks](https://github.com/microsoft/responsible-ai-toolbox/blob/main/notebooks/responsibleaidashboard/getting-started.ipynb) में से एक का अन्वेषण करें और अपने निष्कर्षों को एक पेपर या प्रस्तुति में रिपोर्ट करें। + +## मूल्यांकन + +| मानदंड | उत्कृष्ट | पर्याप्त | सुधार की आवश्यकता | +| ------ | -------- | -------- | ----------------- | +| | एक पेपर या पॉवरपॉइंट प्रस्तुति प्रस्तुत की जाती है जिसमें Fairlearn के सिस्टम, चलाए गए नोटबुक, और इसे चलाने से प्राप्त निष्कर्षों पर चर्चा की जाती है | निष्कर्षों के बिना एक पेपर प्रस्तुत किया जाता है | कोई पेपर प्रस्तुत नहीं किया गया है | + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवाद में त्रुटियाँ या गलतियाँ हो सकती हैं। मूल भाषा में दस्तावेज़ को आधिकारिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम जिम्मेदार नहीं हैं। \ No newline at end of file diff --git a/translations/hi/1-Introduction/4-techniques-of-ML/README.md b/translations/hi/1-Introduction/4-techniques-of-ML/README.md new file mode 100644 index 000000000..09d445769 --- /dev/null +++ b/translations/hi/1-Introduction/4-techniques-of-ML/README.md @@ -0,0 +1,121 @@ +# मशीन लर्निंग की तकनीकें + +मशीन लर्निंग मॉडल और उनके डेटा को बनाने, उपयोग करने और बनाए रखने की प्रक्रिया कई अन्य विकास वर्कफ़्लो से बहुत अलग है। इस पाठ में, हम इस प्रक्रिया को सरल बनाएंगे, और मुख्य तकनीकों का वर्णन करेंगे जिन्हें आपको जानने की आवश्यकता है। आप: + +- उच्च स्तर पर मशीन लर्निंग के अंतर्निहित प्रक्रियाओं को समझेंगे। +- 'मॉडल', 'प्रेडिक्शन', और 'ट्रेनिंग डेटा' जैसे आधारभूत अवधारणाओं का अन्वेषण करेंगे। + +## [पाठ से पहले की क्विज़](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/7/) + +[](https://youtu.be/4NGM0U2ZSHU "शुरुआती लोगों के लिए मशीन लर्निंग - मशीन लर्निंग की तकनीकें") + +> 🎥 इस पाठ के माध्यम से काम करने के लिए ऊपर दी गई छवि पर क्लिक करें। + +## परिचय + +उच्च स्तर पर, मशीन लर्निंग (एमएल) प्रक्रियाओं को बनाने की कला कई चरणों में विभाजित होती है: + +1. **प्रश्न तय करें**। अधिकांश एमएल प्रक्रियाएं एक प्रश्न पूछने से शुरू होती हैं जिसे एक साधारण कंडीशनल प्रोग्राम या नियम-आधारित इंजन द्वारा उत्तर नहीं दिया जा सकता। ये प्रश्न अक्सर डेटा के संग्रह के आधार पर भविष्यवाणियों के इर्द-गिर्द घूमते हैं। +2. **डेटा एकत्र करें और तैयार करें**। अपने प्रश्न का उत्तर देने के लिए, आपको डेटा की आवश्यकता होती है। आपके डेटा की गुणवत्ता और, कभी-कभी, मात्रा यह निर्धारित करेगी कि आप अपने प्रारंभिक प्रश्न का उत्तर कितनी अच्छी तरह दे सकते हैं। डेटा का विज़ुअलाइज़ेशन इस चरण का एक महत्वपूर्ण पहलू है। इस चरण में डेटा को प्रशिक्षण और परीक्षण समूह में विभाजित करना भी शामिल है ताकि एक मॉडल बनाया जा सके। +3. **प्रशिक्षण विधि चुनें**। आपके प्रश्न और आपके डेटा की प्रकृति के आधार पर, आपको यह चुनना होगा कि आप अपने डेटा को सर्वोत्तम रूप से प्रतिबिंबित करने और इसके खिलाफ सटीक भविष्यवाणी करने के लिए एक मॉडल को कैसे प्रशिक्षित करना चाहते हैं। यह आपके एमएल प्रक्रिया का वह हिस्सा है जिसके लिए विशिष्ट विशेषज्ञता की आवश्यकता होती है और अक्सर, काफी मात्रा में प्रयोग की आवश्यकता होती है। +4. **मॉडल को प्रशिक्षित करें**। अपने प्रशिक्षण डेटा का उपयोग करके, आप डेटा में पैटर्न को पहचानने के लिए विभिन्न एल्गोरिदम का उपयोग करके एक मॉडल को प्रशिक्षित करेंगे। मॉडल आंतरिक वज़नों का लाभ उठा सकता है जिन्हें डेटा के कुछ हिस्सों को दूसरों पर प्राथमिकता देने के लिए समायोजित किया जा सकता है ताकि एक बेहतर मॉडल बनाया जा सके। +5. **मॉडल का मूल्यांकन करें**। आप अपने एकत्र किए गए सेट से पहले कभी नहीं देखे गए डेटा (अपने परीक्षण डेटा) का उपयोग करके देखेंगे कि मॉडल कैसे प्रदर्शन कर रहा है। +6. **पैरामीटर ट्यूनिंग**। आपके मॉडल के प्रदर्शन के आधार पर, आप विभिन्न पैरामीटर या वेरिएबल का उपयोग करके प्रक्रिया को दोबारा कर सकते हैं जो मॉडल को प्रशिक्षित करने के लिए उपयोग किए गए एल्गोरिदम के व्यवहार को नियंत्रित करते हैं। +7. **भविष्यवाणी करें**। अपने मॉडल की सटीकता का परीक्षण करने के लिए नए इनपुट का उपयोग करें। + +## कौन सा प्रश्न पूछना है + +कंप्यूटर डेटा में छिपे पैटर्न की खोज करने में विशेष रूप से कुशल होते हैं। यह उपयोगिता उन शोधकर्ताओं के लिए बहुत सहायक होती है जिनके पास किसी दिए गए डोमेन के बारे में प्रश्न होते हैं जिन्हें एक शर्त-आधारित नियम इंजन बनाकर आसानी से उत्तर नहीं दिया जा सकता। उदाहरण के लिए, एक एक्चुरियल कार्य को देखते हुए, एक डेटा वैज्ञानिक धूम्रपान करने वालों बनाम गैर-धूम्रपान करने वालों की मृत्यु दर के आसपास हस्तनिर्मित नियम बना सकता है। + +हालांकि, जब कई अन्य वेरिएबल को समीकरण में लाया जाता है, तो एक एमएल मॉडल पिछले स्वास्थ्य इतिहास के आधार पर भविष्य की मृत्यु दर की भविष्यवाणी करने में अधिक कुशल साबित हो सकता है। एक अधिक प्रसन्नता भरा उदाहरण हो सकता है कि किसी दिए गए स्थान में अप्रैल महीने के लिए मौसम की भविष्यवाणी करना जिसमें अक्षांश, देशांतर, जलवायु परिवर्तन, महासागर की निकटता, जेट स्ट्रीम के पैटर्न और अन्य डेटा शामिल हो। + +✅ मौसम मॉडल पर यह [स्लाइड डेक](https://www2.cisl.ucar.edu/sites/default/files/2021-10/0900%20June%2024%20Haupt_0.pdf) मौसम विश्लेषण में एमएल के उपयोग के लिए एक ऐतिहासिक परिप्रेक्ष्य प्रदान करता है। + +## मॉडल बनाने से पहले के कार्य + +अपने मॉडल को बनाना शुरू करने से पहले, आपको कई कार्यों को पूरा करना होगा। अपने प्रश्न का परीक्षण करने और एक मॉडल की भविष्यवाणियों के आधार पर एक परिकल्पना बनाने के लिए, आपको कई तत्वों की पहचान और कॉन्फ़िगर करने की आवश्यकता है। + +### डेटा + +किसी भी प्रकार की निश्चितता के साथ अपने प्रश्न का उत्तर देने के लिए, आपको सही प्रकार के पर्याप्त डेटा की आवश्यकता होती है। इस समय आपको दो चीजें करनी होंगी: + +- **डेटा एकत्र करें**। डेटा विश्लेषण में निष्पक्षता पर पिछले पाठ को ध्यान में रखते हुए, अपने डेटा को सावधानी से एकत्र करें। इस डेटा के स्रोतों, इसके अंतर्निहित पूर्वाग्रहों के बारे में जागरूक रहें और इसके स्रोत का दस्तावेज़ीकरण करें। +- **डेटा तैयार करें**। डेटा तैयारी प्रक्रिया में कई चरण होते हैं। यदि डेटा विविध स्रोतों से आता है, तो आपको डेटा को संकलित और सामान्यीकृत करने की आवश्यकता हो सकती है। आप विभिन्न तरीकों से डेटा की गुणवत्ता और मात्रा में सुधार कर सकते हैं जैसे कि स्ट्रिंग्स को नंबरों में बदलना (जैसा कि हम [क्लस्टरिंग](../../5-Clustering/1-Visualize/README.md) में करते हैं)। आप मूल डेटा के आधार पर नया डेटा भी उत्पन्न कर सकते हैं (जैसा कि हम [क्लासिफिकेशन](../../4-Classification/1-Introduction/README.md) में करते हैं)। आप डेटा को साफ और संपादित कर सकते हैं (जैसा कि हम [वेब ऐप](../../3-Web-App/README.md) पाठ से पहले करेंगे)। अंत में, आप इसे यादृच्छिक और शफल भी कर सकते हैं, आपके प्रशिक्षण तकनीकों के आधार पर। + +✅ अपने डेटा को एकत्र और संसाधित करने के बाद, यह देखने के लिए एक क्षण लें कि क्या इसका आकार आपको अपने इच्छित प्रश्न को संबोधित करने की अनुमति देगा। यह हो सकता है कि डेटा आपके दिए गए कार्य में अच्छा प्रदर्शन न करे, जैसा कि हम अपने [क्लस्टरिंग](../../5-Clustering/1-Visualize/README.md) पाठों में खोजते हैं! + +### फीचर्स और टारगेट + +एक [फीचर](https://www.datasciencecentral.com/profiles/blogs/an-introduction-to-variable-and-feature-selection) आपके डेटा की एक मापने योग्य संपत्ति है। कई डेटा सेट में इसे 'तारीख', 'आकार' या 'रंग' जैसे कॉलम हेडिंग के रूप में व्यक्त किया जाता है। आपका फीचर वेरिएबल, जिसे आमतौर पर कोड में `X` के रूप में दर्शाया जाता है, इनपुट वेरिएबल का प्रतिनिधित्व करता है जिसका उपयोग मॉडल को प्रशिक्षित करने के लिए किया जाएगा। + +एक टारगेट वह चीज़ है जिसे आप भविष्यवाणी करने की कोशिश कर रहे हैं। टारगेट, जिसे आमतौर पर कोड में `y` के रूप में दर्शाया जाता है, उस प्रश्न का उत्तर दर्शाता है जिसे आप अपने डेटा से पूछने की कोशिश कर रहे हैं: दिसंबर में कौन से **रंग** के कद्दू सबसे सस्ते होंगे? सैन फ्रांसिस्को में, कौन से पड़ोस में सबसे अच्छी रियल एस्टेट **कीमत** होगी? कभी-कभी टारगेट को लेबल एट्रिब्यूट के रूप में भी संदर्भित किया जाता है। + +### अपने फीचर वेरिएबल का चयन करना + +🎓 **फीचर चयन और फीचर एक्सट्रैक्शन** जब आप एक मॉडल बना रहे होते हैं तो आप कैसे जानते हैं कि कौन सा वेरिएबल चुनना है? आप शायद फीचर चयन या फीचर एक्सट्रैक्शन की प्रक्रिया से गुजरेंगे ताकि सबसे प्रदर्शनकारी मॉडल के लिए सही वेरिएबल चुने जा सकें। हालांकि, वे एक ही चीज़ नहीं हैं: "फीचर एक्सट्रैक्शन मूल फीचर्स के फ़ंक्शन्स से नए फीचर्स बनाता है, जबकि फीचर चयन फीचर्स का एक उपसमूह लौटाता है।" ([स्रोत](https://wikipedia.org/wiki/Feature_selection)) + +### अपने डेटा को विज़ुअलाइज़ करें + +डेटा वैज्ञानिक के टूलकिट का एक महत्वपूर्ण पहलू डेटा को विज़ुअलाइज़ करने की शक्ति है, जिसमें कई उत्कृष्ट लाइब्रेरी जैसे Seaborn या MatPlotLib शामिल हैं। अपने डेटा को दृश्य रूप में प्रस्तुत करने से आपको छिपे हुए संबंधों का पता लगाने में मदद मिल सकती है जिन्हें आप लाभ उठा सकते हैं। आपके विज़ुअलाइज़ेशन आपको पूर्वाग्रह या असंतुलित डेटा का भी पता लगाने में मदद कर सकते हैं (जैसा कि हम [क्लासिफिकेशन](../../4-Classification/2-Classifiers-1/README.md) में खोजते हैं)। + +### अपने डेटासेट को विभाजित करें + +प्रशिक्षण से पहले, आपको अपने डेटासेट को असमान आकार के दो या अधिक भागों में विभाजित करने की आवश्यकता है जो डेटा का अच्छी तरह से प्रतिनिधित्व करते हैं। + +- **प्रशिक्षण**। डेटासेट का यह हिस्सा आपके मॉडल को प्रशिक्षित करने के लिए फिट होता है। यह सेट मूल डेटासेट का अधिकांश भाग बनाता है। +- **परीक्षण**। एक परीक्षण डेटासेट डेटा का एक स्वतंत्र समूह है, जो अक्सर मूल डेटा से एकत्र किया जाता है, जिसे आप निर्मित मॉडल के प्रदर्शन की पुष्टि करने के लिए उपयोग करते हैं। +- **मान्यकरण**। एक मान्यकरण सेट उदाहरणों का एक छोटा स्वतंत्र समूह है जिसका उपयोग आप मॉडल के हाइपरपैरामीटर्स या आर्किटेक्चर को ट्यून करने के लिए करते हैं ताकि मॉडल में सुधार किया जा सके। आपके डेटा के आकार और आपके पूछे गए प्रश्न के आधार पर, आपको इस तीसरे सेट को बनाने की आवश्यकता नहीं हो सकती (जैसा कि हम [टाइम सीरीज़ फोरकास्टिंग](../../7-TimeSeries/1-Introduction/README.md) में नोट करते हैं)। + +## एक मॉडल बनाना + +अपने प्रशिक्षण डेटा का उपयोग करके, आपका लक्ष्य विभिन्न एल्गोरिदम का उपयोग करके एक मॉडल या आपके डेटा का एक सांख्यिकीय प्रतिनिधित्व बनाना है ताकि इसे **प्रशिक्षित** किया जा सके। एक मॉडल को प्रशिक्षण देना इसे डेटा के संपर्क में लाता है और इसे खोजे गए पैटर्न के बारे में धारणाएं बनाने, मान्य करने और स्वीकार करने या अस्वीकार करने की अनुमति देता है। + +### एक प्रशिक्षण विधि तय करें + +आपके प्रश्न और आपके डेटा की प्रकृति के आधार पर, आप इसे प्रशिक्षित करने के लिए एक विधि चुनेंगे। [Scikit-learn के दस्तावेज़](https://scikit-learn.org/stable/user_guide.html) के माध्यम से कदम बढ़ाते हुए - जिसका हम इस कोर्स में उपयोग करते हैं - आप एक मॉडल को प्रशिक्षित करने के कई तरीके खोज सकते हैं। आपके अनुभव के आधार पर, आपको सबसे अच्छा मॉडल बनाने के लिए कई अलग-अलग तरीकों को आज़माना पड़ सकता है। आप एक ऐसी प्रक्रिया से गुजरने की संभावना रखते हैं जिसमें डेटा वैज्ञानिक मॉडल के प्रदर्शन का मूल्यांकन करते हैं, इसे अनदेखे डेटा को खिलाते हैं, सटीकता, पूर्वाग्रह और अन्य गुणवत्ता-घटाने वाले मुद्दों की जांच करते हैं, और हाथ में कार्य के लिए सबसे उपयुक्त प्रशिक्षण विधि का चयन करते हैं। + +### एक मॉडल को प्रशिक्षित करें + +अपने प्रशिक्षण डेटा के साथ सशस्त्र, आप इसे 'फिट' करने के लिए तैयार हैं ताकि एक मॉडल बनाया जा सके। आप देखेंगे कि कई एमएल लाइब्रेरी में आप कोड 'model.fit' पाएंगे - यह उस समय है जब आप अपने फीचर वेरिएबल को मानों की एक सरणी (आमतौर पर 'X') और एक टारगेट वेरिएबल (आमतौर पर 'y') के रूप में भेजते हैं। + +### मॉडल का मूल्यांकन करें + +एक बार प्रशिक्षण प्रक्रिया पूरी हो जाने के बाद (एक बड़े मॉडल को प्रशिक्षित करने के लिए कई पुनरावृत्तियों, या 'एपोक्स' लग सकते हैं), आप परीक्षण डेटा का उपयोग करके मॉडल की गुणवत्ता का मूल्यांकन करने में सक्षम होंगे ताकि इसके प्रदर्शन का मूल्यांकन किया जा सके। यह डेटा मूल डेटा का एक उपसमूह है जिसे मॉडल ने पहले कभी विश्लेषण नहीं किया है। आप अपने मॉडल की गुणवत्ता के बारे में मेट्रिक्स की एक तालिका प्रिंट कर सकते हैं। + +🎓 **मॉडल फिटिंग** + +मशीन लर्निंग के संदर्भ में, मॉडल फिटिंग उस मॉडल के अंतर्निहित फ़ंक्शन की सटीकता को संदर्भित करता है क्योंकि यह डेटा का विश्लेषण करने का प्रयास करता है जिससे यह परिचित नहीं है। + +🎓 **अंडरफिटिंग** और **ओवरफिटिंग** सामान्य समस्याएं हैं जो मॉडल की गुणवत्ता को घटाती हैं, क्योंकि मॉडल या तो पर्याप्त रूप से फिट नहीं होता है या बहुत अच्छी तरह से फिट होता है। यह मॉडल को या तो अपने प्रशिक्षण डेटा के साथ बहुत अधिक या बहुत ढीले तरीके से संरेखित भविष्यवाणियां करने का कारण बनता है। एक ओवरफिट मॉडल प्रशिक्षण डेटा को बहुत अच्छी तरह से भविष्यवाणी करता है क्योंकि इसने डेटा के विवरण और शोर को बहुत अच्छी तरह से सीखा है। एक अंडरफिट मॉडल सटीक नहीं है क्योंकि यह न तो अपने प्रशिक्षण डेटा का सही तरीके से विश्लेषण कर सकता है और न ही डेटा जिसे इसने अभी तक 'देखा' नहीं है। + + +> [Jen Looper](https://twitter.com/jenlooper) द्वारा इन्फोग्राफिक + +## पैरामीटर ट्यूनिंग + +एक बार आपका प्रारंभिक प्रशिक्षण पूरा हो जाने के बाद, मॉडल की गुणवत्ता का अवलोकन करें और इसके 'हाइपरपैरामीटर्स' को ट्वीक करके इसे सुधारने पर विचार करें। इस प्रक्रिया के बारे में और पढ़ें [दस्तावेज़ में](https://docs.microsoft.com/en-us/azure/machine-learning/how-to-tune-hyperparameters?WT.mc_id=academic-77952-leestott)। + +## भविष्यवाणी + +यह वह क्षण है जब आप अपने मॉडल की सटीकता का परीक्षण करने के लिए पूरी तरह से नए डेटा का उपयोग कर सकते हैं। एक 'एप्लाइड' एमएल सेटिंग में, जहां आप उत्पादन में मॉडल का उपयोग करने के लिए वेब संपत्तियों का निर्माण कर रहे हैं, इस प्रक्रिया में एक वेरिएबल सेट करने और मॉडल को इन्फेरेंस या मूल्यांकन के लिए भेजने के लिए उपयोगकर्ता इनपुट (उदाहरण के लिए एक बटन दबाना) एकत्र करना शामिल हो सकता है। + +इन पाठों में, आप यह जानेंगे कि इन चरणों का उपयोग कैसे करें - डेटा वैज्ञानिक के सभी इशारों और अधिक के रूप में तैयार करने, बनाने, परीक्षण करने, मूल्यांकन करने और भविष्यवाणी करने के लिए, जैसे-जैसे आप 'फुल स्टैक' एमएल इंजीनियर बनने की अपनी यात्रा में आगे बढ़ते हैं। + +--- + +## 🚀चुनौती + +एक फ्लो चार्ट बनाएं जो एक एमएल प्रैक्टिशनर के चरणों को दर्शाता है। आप इस प्रक्रिया में अभी खुद को कहां देखते हैं? आपको कहां कठिनाई का सामना करने की संभावना है? आपको क्या आसान लगता है? + +## [पाठ के बाद की क्विज़](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/8/) + +## समीक्षा और स्व-अध्ययन + +ऑनलाइन खोजें डेटा वैज्ञानिकों के साक्षात्कार जो अपने दैनिक कार्य पर चर्चा करते हैं। यहाँ एक [साक्षात्कार](https://www.youtube.com/watch?v=Z3IjgbbCEfs) है। + +## असाइनमेंट + +[एक डेटा वैज्ञानिक का साक्षात्कार लें](assignment.md) + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवाद में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। इसकी मूल भाषा में मूल दस्तावेज़ को आधिकारिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/1-Introduction/4-techniques-of-ML/assignment.md b/translations/hi/1-Introduction/4-techniques-of-ML/assignment.md new file mode 100644 index 000000000..f15b66a07 --- /dev/null +++ b/translations/hi/1-Introduction/4-techniques-of-ML/assignment.md @@ -0,0 +1,14 @@ +# एक डेटा वैज्ञानिक का साक्षात्कार + +## निर्देश + +अपनी कंपनी में, किसी यूजर ग्रुप में, या अपने दोस्तों या सहपाठियों के बीच, किसी ऐसे व्यक्ति से बात करें जो पेशेवर रूप से डेटा वैज्ञानिक के रूप में काम करता हो। उनके दैनिक कार्यों के बारे में एक छोटा पेपर (500 शब्द) लिखें। क्या वे विशेषज्ञ हैं, या वे 'फुल स्टैक' काम करते हैं? + +## मूल्यांकन मानदंड + +| मापदंड | उत्कृष्टता | पर्याप्त | सुधार की आवश्यकता | +| -------| ------------------------------------------------------------------------------------ | ------------------------------------------------------------------ | --------------------- | +| | सही लंबाई का एक निबंध, जिसमें उद्धृत स्रोत शामिल हैं, एक .doc फ़ाइल के रूप में प्रस्तुत किया गया है | निबंध खराब तरीके से उद्धृत किया गया है या आवश्यक लंबाई से छोटा है | कोई निबंध प्रस्तुत नहीं किया गया | + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। अपनी मूल भाषा में मूल दस्तावेज़ को प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/1-Introduction/README.md b/translations/hi/1-Introduction/README.md new file mode 100644 index 000000000..5b1de7d30 --- /dev/null +++ b/translations/hi/1-Introduction/README.md @@ -0,0 +1,26 @@ +# मशीन लर्निंग का परिचय + +इस पाठ्यक्रम के इस भाग में, आपको मशीन लर्निंग के क्षेत्र के आधारभूत सिद्धांतों से परिचित कराया जाएगा, यह क्या है, और इसके इतिहास और शोधकर्ता इसके साथ काम करने के लिए किन तकनीकों का उपयोग करते हैं, इसके बारे में जानेंगे। चलिए साथ मिलकर इस नए ML की दुनिया की खोज करते हैं! + + +> Photo by Bill Oxford on Unsplash + +### पाठ + +1. [मशीन लर्निंग का परिचय](1-intro-to-ML/README.md) +1. [मशीन लर्निंग और AI का इतिहास](2-history-of-ML/README.md) +1. [न्याय और मशीन लर्निंग](3-fairness/README.md) +1. [मशीन लर्निंग की तकनीकें](4-techniques-of-ML/README.md) + +### श्रेय + +"Introduction to Machine Learning" को ♥️ के साथ [Muhammad Sakib Khan Inan](https://twitter.com/Sakibinan), [Ornella Altunyan](https://twitter.com/ornelladotcom) और [Jen Looper](https://twitter.com/jenlooper) सहित कई लोगों की टीम द्वारा लिखा गया है। + +"The History of Machine Learning" को ♥️ के साथ [Jen Looper](https://twitter.com/jenlooper) और [Amy Boyd](https://twitter.com/AmyKateNicho) द्वारा लिखा गया है। + +"Fairness and Machine Learning" को ♥️ के साथ [Tomomi Imura](https://twitter.com/girliemac) द्वारा लिखा गया है। + +"Techniques of Machine Learning" को ♥️ के साथ [Jen Looper](https://twitter.com/jenlooper) और [Chris Noring](https://twitter.com/softchris) द्वारा लिखा गया है। + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित AI अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियां या अशुद्धियां हो सकती हैं। अपनी मूल भाषा में मूल दस्तावेज़ को आधिकारिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/2-Regression/1-Tools/README.md b/translations/hi/2-Regression/1-Tools/README.md new file mode 100644 index 000000000..8259ba233 --- /dev/null +++ b/translations/hi/2-Regression/1-Tools/README.md @@ -0,0 +1,228 @@ +# Python और Scikit-learn के साथ Regression Models की शुरुआत करें + + + +> Sketchnote [Tomomi Imura](https://www.twitter.com/girlie_mac) द्वारा + +## [Pre-lecture quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/9/) + +> ### [यह पाठ R में उपलब्ध है!](../../../../2-Regression/1-Tools/solution/R/lesson_1.html) + +## परिचय + +इन चार पाठों में, आप जानेंगे कि regression models कैसे बनाते हैं। हम जल्द ही चर्चा करेंगे कि ये क्या होते हैं। लेकिन इससे पहले कि आप कुछ भी करें, यह सुनिश्चित करें कि आपके पास सही उपकरण हैं ताकि आप प्रक्रिया शुरू कर सकें! + +इस पाठ में, आप सीखेंगे कि कैसे: + +- अपने कंप्यूटर को स्थानीय मशीन लर्निंग कार्यों के लिए कॉन्फ़िगर करें। +- Jupyter notebooks के साथ काम करें। +- Scikit-learn का उपयोग करें, जिसमें इंस्टॉलेशन भी शामिल है। +- एक hands-on exercise के साथ linear regression का अन्वेषण करें। + +## इंस्टॉलेशन और कॉन्फ़िगरेशन + +[](https://youtu.be/-DfeD2k2Kj0 "ML for beginners - मशीन लर्निंग मॉडल बनाने के लिए अपने उपकरण सेट करें") + +> 🎥 ऊपर दी गई छवि पर क्लिक करें अपने कंप्यूटर को ML के लिए कॉन्फ़िगर करने के लिए एक छोटे वीडियो के लिए। + +1. **Python इंस्टॉल करें**। सुनिश्चित करें कि [Python](https://www.python.org/downloads/) आपके कंप्यूटर पर इंस्टॉल है। आप Python का उपयोग कई डेटा विज्ञान और मशीन लर्निंग कार्यों के लिए करेंगे। अधिकांश कंप्यूटर सिस्टम पहले से ही एक Python इंस्टॉलेशन शामिल करते हैं। कुछ उपयोगकर्ताओं के लिए सेटअप को आसान बनाने के लिए उपयोगी [Python Coding Packs](https://code.visualstudio.com/learn/educators/installers?WT.mc_id=academic-77952-leestott) भी उपलब्ध हैं। + + हालांकि, Python के कुछ उपयोगों के लिए सॉफ़्टवेयर का एक संस्करण आवश्यक होता है, जबकि अन्य के लिए एक अलग संस्करण की आवश्यकता होती है। इस कारण से, एक [virtual environment](https://docs.python.org/3/library/venv.html) में काम करना उपयोगी है। + +2. **Visual Studio Code इंस्टॉल करें**। सुनिश्चित करें कि Visual Studio Code आपके कंप्यूटर पर इंस्टॉल है। [Visual Studio Code इंस्टॉल करने के लिए](https://code.visualstudio.com/) इन निर्देशों का पालन करें। आप इस कोर्स में Visual Studio Code में Python का उपयोग करने जा रहे हैं, इसलिए आपको [Visual Studio Code को Python विकास के लिए कॉन्फ़िगर करने](https://docs.microsoft.com/learn/modules/python-install-vscode?WT.mc_id=academic-77952-leestott) के बारे में जानकारी होनी चाहिए। + + > Python के साथ आरामदायक होने के लिए इस [Learn modules](https://docs.microsoft.com/users/jenlooper-2911/collections/mp1pagggd5qrq7?WT.mc_id=academic-77952-leestott) संग्रह को काम करके देखें + > + > [](https://youtu.be/yyQM70vi7V8 "Visual Studio Code के साथ Python सेटअप करें") + > + > 🎥 ऊपर दी गई छवि पर क्लिक करें: VS Code में Python का उपयोग करने के लिए एक वीडियो। + +3. **Scikit-learn इंस्टॉल करें**, इन [निर्देशों](https://scikit-learn.org/stable/install.html) का पालन करके। चूंकि आपको यह सुनिश्चित करने की आवश्यकता है कि आप Python 3 का उपयोग कर रहे हैं, यह अनुशंसा की जाती है कि आप एक virtual environment का उपयोग करें। ध्यान दें, यदि आप इस लाइब्रेरी को M1 Mac पर इंस्टॉल कर रहे हैं, तो ऊपर दिए गए पेज पर विशेष निर्देश हैं। + +1. **Jupyter Notebook इंस्टॉल करें**। आपको [Jupyter package इंस्टॉल करना](https://pypi.org/project/jupyter/) होगा। + +## आपका ML लेखन वातावरण + +आप अपने Python कोड को विकसित करने और मशीन लर्निंग मॉडल बनाने के लिए **notebooks** का उपयोग करेंगे। इस प्रकार की फ़ाइल डेटा वैज्ञानिकों के लिए एक सामान्य उपकरण है, और इन्हें उनके प्रत्यय या एक्सटेंशन `.ipynb` द्वारा पहचाना जा सकता है। + +Notebooks एक इंटरैक्टिव वातावरण हैं जो डेवलपर को कोड और नोट्स दोनों जोड़ने और कोड के चारों ओर दस्तावेज़ लिखने की अनुमति देते हैं, जो प्रयोगात्मक या अनुसंधान-उन्मुख परियोजनाओं के लिए काफी सहायक होता है। + +[](https://youtu.be/7E-jC8FLA2E "ML for beginners - Jupyter Notebooks सेट करें ताकि regression models बनाना शुरू कर सकें") + +> 🎥 ऊपर दी गई छवि पर क्लिक करें इस अभ्यास को करने के लिए एक छोटे वीडियो के लिए। + +### अभ्यास - एक notebook के साथ काम करें + +इस फ़ोल्डर में, आपको _notebook.ipynb_ फ़ाइल मिलेगी। + +1. Visual Studio Code में _notebook.ipynb_ खोलें। + + एक Jupyter सर्वर Python 3+ के साथ शुरू होगा। आपको notebook के क्षेत्रों में `run` कोड के टुकड़े मिलेंगे। आप एक कोड ब्लॉक चला सकते हैं, प्ले बटन जैसे दिखने वाले आइकन का चयन करके। + +1. `md` आइकन का चयन करें और थोड़ा मार्कडाउन जोड़ें, और निम्नलिखित पाठ **# Welcome to your notebook** जोड़ें। + + अगला, कुछ Python कोड जोड़ें। + +1. कोड ब्लॉक में **print('hello notebook')** टाइप करें। +1. कोड चलाने के लिए तीर का चयन करें। + + आपको प्रिंट किया हुआ बयान देखना चाहिए: + + ```output + hello notebook + ``` + + + +आप अपने कोड को टिप्पणियों के साथ इंटरलीफ कर सकते हैं ताकि notebook को स्वयं-प्रलेखित किया जा सके। + +✅ एक मिनट के लिए सोचें कि एक वेब डेवलपर का कार्य वातावरण डेटा वैज्ञानिक के कार्य वातावरण से कितना अलग है। + +## Scikit-learn के साथ शुरू करें + +अब जब Python आपके स्थानीय वातावरण में सेट हो गया है, और आप Jupyter notebooks के साथ सहज हैं, तो चलिए Scikit-learn के साथ भी उतने ही सहज होते हैं (इसे `sci` as in `science` उच्चारित करें)। Scikit-learn आपको ML कार्य करने में मदद करने के लिए एक [विस्तृत API](https://scikit-learn.org/stable/modules/classes.html#api-ref) प्रदान करता है। + +उनकी [वेबसाइट](https://scikit-learn.org/stable/getting_started.html) के अनुसार, "Scikit-learn एक ओपन सोर्स मशीन लर्निंग लाइब्रेरी है जो सुपरवाइज्ड और अनसुपरवाइज्ड लर्निंग का समर्थन करती है। यह मॉडल फिटिंग, डेटा प्रीप्रोसेसिंग, मॉडल चयन और मूल्यांकन के लिए विभिन्न उपकरण भी प्रदान करती है, और कई अन्य उपयोगिताओं।" + +इस कोर्स में, आप Scikit-learn और अन्य उपकरणों का उपयोग करेंगे ताकि आप मशीन लर्निंग मॉडल बना सकें जिन्हें हम 'पारंपरिक मशीन लर्निंग' कार्य कहते हैं। हमने जानबूझकर न्यूरल नेटवर्क और डीप लर्निंग से परहेज किया है, क्योंकि उन्हें हमारे आगामी 'AI for Beginners' पाठ्यक्रम में बेहतर कवर किया गया है। + +Scikit-learn मॉडल बनाना और उनका मूल्यांकन करना सरल बनाता है। यह मुख्य रूप से संख्यात्मक डेटा का उपयोग करने पर केंद्रित है और कई तैयार किए गए डेटासेट प्रदान करता है जो सीखने के उपकरण के रूप में उपयोग किए जा सकते हैं। इसमें छात्रों के लिए आज़माने के लिए प्री-बिल्ट मॉडल भी शामिल हैं। चलिए प्रीपैकेज्ड डेटा को लोड करने की प्रक्रिया का अन्वेषण करते हैं और कुछ बुनियादी डेटा के साथ Scikit-learn के पहले ML मॉडल का उपयोग करते हैं। + +## अभ्यास - आपका पहला Scikit-learn notebook + +> यह ट्यूटोरियल Scikit-learn की वेबसाइट पर [linear regression example](https://scikit-learn.org/stable/auto_examples/linear_model/plot_ols.html#sphx-glr-auto-examples-linear-model-plot-ols-py) से प्रेरित था। + +[](https://youtu.be/2xkXL5EUpS0 "ML for beginners - Python में आपका पहला Linear Regression प्रोजेक्ट") + +> 🎥 ऊपर दी गई छवि पर क्लिक करें इस अभ्यास को करने के लिए एक छोटे वीडियो के लिए। + +इस पाठ से संबंधित _notebook.ipynb_ फ़ाइल में, सभी सेल्स को 'trash can' आइकन दबाकर साफ़ करें। + +इस खंड में, आप एक छोटे डेटासेट के साथ काम करेंगे जो Scikit-learn में सीखने के उद्देश्यों के लिए बनाया गया है। कल्पना करें कि आप मधुमेह रोगियों के लिए एक उपचार का परीक्षण करना चाहते थे। मशीन लर्निंग मॉडल आपको यह निर्धारित करने में मदद कर सकते हैं कि कौन से रोगी उपचार का बेहतर उत्तर देंगे, चर के संयोजन के आधार पर। यहां तक कि एक बहुत ही बुनियादी regression model, जब दृश्यीकृत किया जाता है, तो चर के बारे में जानकारी दिखा सकता है जो आपको अपने सैद्धांतिक क्लिनिकल परीक्षणों को व्यवस्थित करने में मदद कर सकता है। + +✅ कई प्रकार के regression methods होते हैं, और आप किसे चुनते हैं यह आपके उत्तर पर निर्भर करता है। यदि आप किसी दिए गए उम्र के व्यक्ति के लिए संभावित ऊंचाई की भविष्यवाणी करना चाहते हैं, तो आप linear regression का उपयोग करेंगे, क्योंकि आप एक **संख्यात्मक मान** की तलाश कर रहे हैं। यदि आप यह जानने में रुचि रखते हैं कि किसी प्रकार के भोजन को शाकाहारी माना जाना चाहिए या नहीं, तो आप एक **श्रेणी असाइनमेंट** की तलाश कर रहे हैं, इसलिए आप logistic regression का उपयोग करेंगे। आप बाद में logistic regression के बारे में अधिक जानेंगे। कुछ प्रश्नों के बारे में सोचें जो आप डेटा से पूछ सकते हैं, और इनमें से कौन सी विधियाँ अधिक उपयुक्त होंगी। + +आइए इस कार्य पर शुरुआत करें। + +### लाइब्रेरीज़ इंपोर्ट करें + +इस कार्य के लिए हम कुछ लाइब्रेरीज़ इंपोर्ट करेंगे: + +- **matplotlib**। यह एक उपयोगी [ग्राफिंग टूल](https://matplotlib.org/) है और हम इसका उपयोग एक लाइन प्लॉट बनाने के लिए करेंगे। +- **numpy**। [numpy](https://numpy.org/doc/stable/user/whatisnumpy.html) Python में संख्यात्मक डेटा को संभालने के लिए एक उपयोगी लाइब्रेरी है। +- **sklearn**। यह [Scikit-learn](https://scikit-learn.org/stable/user_guide.html) लाइब्रेरी है। + +अपने कार्यों में मदद के लिए कुछ लाइब्रेरीज़ इंपोर्ट करें। + +1. निम्नलिखित कोड टाइप करके इंपोर्ट जोड़ें: + + ```python + import matplotlib.pyplot as plt + import numpy as np + from sklearn import datasets, linear_model, model_selection + ``` + + ऊपर आप `matplotlib`, `numpy` and you are importing `datasets`, `linear_model` and `model_selection` from `sklearn`. `model_selection` is used for splitting data into training and test sets. + +### The diabetes dataset + +The built-in [diabetes dataset](https://scikit-learn.org/stable/datasets/toy_dataset.html#diabetes-dataset) includes 442 samples of data around diabetes, with 10 feature variables, some of which include: + +- age: age in years +- bmi: body mass index +- bp: average blood pressure +- s1 tc: T-Cells (a type of white blood cells) + +✅ This dataset includes the concept of 'sex' as a feature variable important to research around diabetes. Many medical datasets include this type of binary classification. Think a bit about how categorizations such as this might exclude certain parts of a population from treatments. + +Now, load up the X and y data. + +> 🎓 Remember, this is supervised learning, and we need a named 'y' target. + +In a new code cell, load the diabetes dataset by calling `load_diabetes()`. The input `return_X_y=True` signals that `X` will be a data matrix, and `y` को इंपोर्ट कर रहे हैं जो regression target होगा। + +1. डेटा मैट्रिक्स के आकार और इसके पहले तत्व को दिखाने के लिए कुछ प्रिंट कमांड जोड़ें: + + ```python + X, y = datasets.load_diabetes(return_X_y=True) + print(X.shape) + print(X[0]) + ``` + + जो प्रतिक्रिया आपको मिल रही है, वह एक टपल है। आप जो कर रहे हैं वह टपल के पहले दो मानों को `X` and `y` को सौंपना है। [टपल्स के बारे में](https://wikipedia.org/wiki/Tuple) और जानें। + + आप देख सकते हैं कि इस डेटा में 442 आइटम हैं जो 10 तत्वों की सरणियों में आकारित हैं: + + ```text + (442, 10) + [ 0.03807591 0.05068012 0.06169621 0.02187235 -0.0442235 -0.03482076 + -0.04340085 -0.00259226 0.01990842 -0.01764613] + ``` + + ✅ डेटा और regression target के बीच के संबंध के बारे में सोचें। Linear regression फीचर X और टारगेट वेरिएबल y के बीच संबंधों की भविष्यवाणी करता है। क्या आप दस्तावेज़ में मधुमेह डेटासेट के लिए [target](https://scikit-learn.org/stable/datasets/toy_dataset.html#diabetes-dataset) पा सकते हैं? इस डेटासेट का लक्ष्य क्या है, यह डेटा क्या प्रदर्शित कर रहा है? + +2. इसके बाद, इस डेटासेट के एक हिस्से का चयन करें जिसे तीसरे कॉलम का चयन करके प्लॉट किया जा सकता है। आप `:` operator to select all rows, and then selecting the 3rd column using the index (2). You can also reshape the data to be a 2D array - as required for plotting - by using `reshape(n_rows, n_columns)` का उपयोग करके ऐसा कर सकते हैं। यदि पैरामीटर में से एक -1 है, तो संबंधित आयाम स्वचालित रूप से गणना किया जाता है। + + ```python + X = X[:, 2] + X = X.reshape((-1,1)) + ``` + + ✅ किसी भी समय, डेटा का आकार जांचने के लिए इसे प्रिंट करें। + +3. अब जब आपके पास प्लॉट करने के लिए डेटा तैयार है, तो आप देख सकते हैं कि क्या एक मशीन इस डेटासेट में संख्याओं के बीच एक तार्किक विभाजन निर्धारित करने में मदद कर सकती है। ऐसा करने के लिए, आपको डेटा (X) और टारगेट (y) दोनों को परीक्षण और प्रशिक्षण सेटों में विभाजित करना होगा। Scikit-learn में इसे करने का एक सरल तरीका है; आप अपने परीक्षण डेटा को एक दिए गए बिंदु पर विभाजित कर सकते हैं। + + ```python + X_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=0.33) + ``` + +4. अब आप अपने मॉडल को प्रशिक्षित करने के लिए तैयार हैं! Linear regression मॉडल लोड करें और अपने X और y प्रशिक्षण सेटों के साथ इसे `model.fit()` का उपयोग करके प्रशिक्षित करें: + + ```python + model = linear_model.LinearRegression() + model.fit(X_train, y_train) + ``` + + ✅ `model.fit()` is a function you'll see in many ML libraries such as TensorFlow + +5. Then, create a prediction using test data, using the function `predict()`। इसका उपयोग डेटा समूहों के बीच लाइन खींचने के लिए किया जाएगा + + ```python + y_pred = model.predict(X_test) + ``` + +6. अब डेटा को एक प्लॉट में दिखाने का समय है। Matplotlib इस कार्य के लिए एक बहुत उपयोगी उपकरण है। सभी X और y परीक्षण डेटा का एक scatterplot बनाएं, और मॉडल के डेटा समूहों के बीच सबसे उपयुक्त स्थान पर एक लाइन खींचने के लिए भविष्यवाणी का उपयोग करें। + + ```python + plt.scatter(X_test, y_test, color='black') + plt.plot(X_test, y_pred, color='blue', linewidth=3) + plt.xlabel('Scaled BMIs') + plt.ylabel('Disease Progression') + plt.title('A Graph Plot Showing Diabetes Progression Against BMI') + plt.show() + ``` + +  + + ✅ यहाँ क्या हो रहा है इसके बारे में सोचें। कई छोटे डेटा बिंदुओं के माध्यम से एक सीधी रेखा चल रही है, लेकिन यह वास्तव में क्या कर रही है? क्या आप देख सकते हैं कि आपको इस रेखा का उपयोग करके एक नया, अनदेखा डेटा बिंदु प्लॉट के y अक्ष के संबंध में कहां फिट होना चाहिए, यह भविष्यवाणी करने में सक्षम होना चाहिए? इस मॉडल के व्यावहारिक उपयोग को शब्दों में डालने का प्रयास करें। + +बधाई हो, आपने अपना पहला linear regression model बनाया, इसके साथ एक भविष्यवाणी बनाई, और इसे एक प्लॉट में प्रदर्शित किया! + +--- +## 🚀चुनौती + +इस डेटासेट से एक अलग वेरिएबल को प्लॉट करें। संकेत: इस पंक्ति को संपादित करें: `X = X[:,2]`। इस डेटासेट के लक्ष्य को देखते हुए, आप मधुमेह के एक रोग के रूप में प्रगति के बारे में क्या खोज सकते हैं? +## [Post-lecture quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/10/) + +## समीक्षा और आत्म-अध्ययन + +इस ट्यूटोरियल में, आपने सरल linear regression के साथ काम किया, बजाय univariate या multiple linear regression के। इन तरीकों के बीच के अंतर के बारे में थोड़ा पढ़ें, या [इस वीडियो](https://www.coursera.org/lecture/quantifying-relationships-regression-models/linear-vs-nonlinear-categorical-variables-ai2Ef) को देखें + +regression की अवधारणा के बारे में और पढ़ें और सोचें कि इस तकनीक द्वारा किन प्रकार के प्रश्नों का उत्तर दिया जा सकता है। अपनी समझ को गहरा करने के लिए इस [ट्यूटोरियल](https://docs.microsoft.com/learn/modules/train-evaluate-regression-models?WT.mc_id=academic-77952-leestott) को लें। + +## असाइनमेंट + +[एक अलग डेटासेट](assignment.md) + +**अस्वीकरण**: +यह दस्तावेज़ मशीन आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या गलतियाँ हो सकती हैं। मूल भाषा में मूल दस्तावेज़ को प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/2-Regression/1-Tools/assignment.md b/translations/hi/2-Regression/1-Tools/assignment.md new file mode 100644 index 000000000..f56134fca --- /dev/null +++ b/translations/hi/2-Regression/1-Tools/assignment.md @@ -0,0 +1,16 @@ +# स्किकिट-लर्न के साथ प्रतिगमन + +## निर्देश + +स्किकिट-लर्न में [लिनेरुड डेटासेट](https://scikit-learn.org/stable/modules/generated/sklearn.datasets.load_linnerud.html#sklearn.datasets.load_linnerud) पर एक नज़र डालें। इस डेटासेट में कई [लक्ष्य](https://scikit-learn.org/stable/datasets/toy_dataset.html#linnerrud-dataset) हैं: 'यह बीस मध्यम आयु वर्ग के पुरुषों से एक फिटनेस क्लब में एकत्र किए गए तीन व्यायाम (डेटा) और तीन शारीरिक (लक्ष्य) चर से बना है।' + +अपने शब्दों में, एक प्रतिगमन मॉडल बनाने का वर्णन करें जो कमर और कितने सिटअप्स किए गए हैं के बीच संबंध को दर्शाए। इस डेटासेट में अन्य डेटा पॉइंट्स के लिए भी ऐसा ही करें। + +## मूल्यांकन + +| मानदंड | उत्कृष्ट | पर्याप्त | सुधार की आवश्यकता | +| ------------------------------ | ------------------------------------ | ------------------------------ | ----------------------------- | +| एक वर्णनात्मक पैराग्राफ सबमिट करें | अच्छी तरह से लिखा गया पैराग्राफ सबमिट किया गया है | कुछ वाक्य सबमिट किए गए हैं | कोई विवरण नहीं दिया गया है | + +**अस्वीकरण**: +इस दस्तावेज़ का अनुवाद मशीन-आधारित AI अनुवाद सेवाओं का उपयोग करके किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल भाषा में दस्तावेज़ को प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/2-Regression/1-Tools/solution/Julia/README.md b/translations/hi/2-Regression/1-Tools/solution/Julia/README.md new file mode 100644 index 000000000..633bb77e0 --- /dev/null +++ b/translations/hi/2-Regression/1-Tools/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**अस्वीकरण**: +यह दस्तावेज़ मशीन आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या गलतियाँ हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में आधिकारिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम जिम्मेदार नहीं हैं। \ No newline at end of file diff --git a/translations/hi/2-Regression/2-Data/README.md b/translations/hi/2-Regression/2-Data/README.md new file mode 100644 index 000000000..7cd770f6e --- /dev/null +++ b/translations/hi/2-Regression/2-Data/README.md @@ -0,0 +1,215 @@ +# Scikit-learn का उपयोग करके एक रिग्रेशन मॉडल बनाएं: डेटा तैयार करें और विज़ुअलाइज़ करें + + + +इंफोग्राफिक द्वारा [Dasani Madipalli](https://twitter.com/dasani_decoded) + +## [Pre-lecture quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/11/) + +> ### [यह पाठ R में उपलब्ध है!](../../../../2-Regression/2-Data/solution/R/lesson_2.html) + +## परिचय + +अब जब आपके पास Scikit-learn के साथ मशीन लर्निंग मॉडल बनाने के लिए आवश्यक उपकरण हैं, तो आप अपने डेटा से सवाल पूछने के लिए तैयार हैं। जब आप डेटा के साथ काम करते हैं और एमएल समाधान लागू करते हैं, तो सही सवाल पूछना बहुत महत्वपूर्ण होता है ताकि आप अपने डेटा सेट की संभावनाओं को सही ढंग से खोल सकें। + +इस पाठ में, आप सीखेंगे: + +- अपने डेटा को मॉडल-बिल्डिंग के लिए कैसे तैयार करें। +- डेटा विज़ुअलाइज़ेशन के लिए Matplotlib का उपयोग कैसे करें। + +## अपने डेटा से सही सवाल पूछना + +आपको किस सवाल का जवाब चाहिए, यह निर्धारित करेगा कि आप किस प्रकार के एमएल एल्गोरिदम का उपयोग करेंगे। और आपको जो उत्तर मिलेगा, उसकी गुणवत्ता काफी हद तक आपके डेटा की प्रकृति पर निर्भर करेगी। + +इस पाठ के लिए प्रदान किए गए [डेटा](https://github.com/microsoft/ML-For-Beginners/blob/main/2-Regression/data/US-pumpkins.csv) को देखें। आप इस .csv फ़ाइल को VS Code में खोल सकते हैं। एक त्वरित नज़र से तुरंत पता चलता है कि इसमें खाली स्थान और स्ट्रिंग और न्यूमेरिक डेटा का मिश्रण है। इसमें 'Package' नाम का एक अजीब कॉलम भी है जहाँ डेटा 'sacks', 'bins' और अन्य मानों के बीच का मिश्रण है। वास्तव में, डेटा थोड़ा बिखरा हुआ है। + +[](https://youtu.be/5qGjczWTrDQ "ML for beginners - How to Analyze and Clean a Dataset") + +> 🎥 इस पाठ के लिए डेटा तैयार करने के लिए ऊपर की छवि पर क्लिक करें। + +वास्तव में, ऐसा बहुत कम होता है कि आपको एक ऐसा डेटा सेट मिलता है जो पूरी तरह से तैयार हो ताकि आप तुरंत एक एमएल मॉडल बना सकें। इस पाठ में, आप मानक पायथन लाइब्रेरी का उपयोग करके एक कच्चे डेटा सेट को तैयार करना सीखेंगे। आप डेटा को विज़ुअलाइज़ करने की विभिन्न तकनीकों को भी सीखेंगे। + +## केस स्टडी: 'कद्दू का बाजार' + +इस फोल्डर में आपको रूट `data` फोल्डर में एक .csv फ़ाइल मिलेगी जिसका नाम [US-pumpkins.csv](https://github.com/microsoft/ML-For-Beginners/blob/main/2-Regression/data/US-pumpkins.csv) है जिसमें कद्दू के बाजार के बारे में 1757 लाइनें डेटा शामिल हैं, जो शहर के अनुसार समूहित हैं। यह डेटा संयुक्त राज्य अमेरिका के कृषि विभाग द्वारा वितरित [Specialty Crops Terminal Markets Standard Reports](https://www.marketnews.usda.gov/mnp/fv-report-config-step1?type=termPrice) से निकाला गया कच्चा डेटा है। + +### डेटा तैयार करना + +यह डेटा सार्वजनिक डोमेन में है। इसे USDA वेबसाइट से कई अलग-अलग फाइलों में, प्रति शहर, डाउनलोड किया जा सकता है। बहुत अधिक अलग-अलग फाइलों से बचने के लिए, हमने सभी शहरों के डेटा को एक स्प्रेडशीट में संयोजित कर दिया है, इस प्रकार हमने पहले ही डेटा को थोड़ा _तैयार_ कर लिया है। अब, आइए डेटा पर करीब से नज़र डालें। + +### कद्दू डेटा - प्रारंभिक निष्कर्ष + +आप इस डेटा के बारे में क्या देखते हैं? आपने पहले ही देखा कि इसमें स्ट्रिंग, नंबर, खाली स्थान और अजीब मानों का मिश्रण है जिसे आपको समझना होगा। + +आप रिग्रेशन तकनीक का उपयोग करके इस डेटा से कौन सा सवाल पूछ सकते हैं? "एक दिए गए महीने के दौरान बिक्री के लिए कद्दू की कीमत की भविष्यवाणी करें" के बारे में क्या? डेटा को फिर से देखते हुए, डेटा संरचना बनाने के लिए कुछ परिवर्तन करने की आवश्यकता है। + +## अभ्यास - कद्दू डेटा का विश्लेषण करें + +आइए [Pandas](https://pandas.pydata.org/) का उपयोग करें, (जिसका नाम `Python Data Analysis` है) एक उपकरण जो डेटा को आकार देने के लिए बहुत उपयोगी है, कद्दू डेटा का विश्लेषण और तैयारी करने के लिए। + +### सबसे पहले, गायब तारीखों की जाँच करें + +आपको पहले गायब तारीखों की जाँच करने के लिए कदम उठाने होंगे: + +1. तारीखों को महीने के प्रारूप में बदलें (ये अमेरिकी तारीखें हैं, इसलिए प्रारूप `MM/DD/YYYY` है)। +2. महीने को एक नए कॉलम में निकालें। + +Visual Studio Code में _notebook.ipynb_ फ़ाइल खोलें और स्प्रेडशीट को एक नए Pandas डेटा फ्रेम में इंपोर्ट करें। + +1. पहले पाँच पंक्तियों को देखने के लिए `head()` फ़ंक्शन का उपयोग करें। + + ```python + import pandas as pd + pumpkins = pd.read_csv('../data/US-pumpkins.csv') + pumpkins.head() + ``` + + ✅ अंतिम पाँच पंक्तियों को देखने के लिए आप किस फ़ंक्शन का उपयोग करेंगे? + +1. जाँच करें कि वर्तमान डेटा फ्रेम में कोई गायब डेटा है या नहीं: + + ```python + pumpkins.isnull().sum() + ``` + + गायब डेटा है, लेकिन शायद यह वर्तमान कार्य के लिए महत्वपूर्ण नहीं है। + +1. अपने डेटा फ्रेम को काम करने के लिए आसान बनाने के लिए, केवल उन कॉलमों का चयन करें जिनकी आपको आवश्यकता है, `loc` function which extracts from the original dataframe a group of rows (passed as first parameter) and columns (passed as second parameter). The expression `:` का उपयोग करके। नीचे दिए गए मामले में इसका अर्थ है "सभी पंक्तियाँ"। + + ```python + columns_to_select = ['Package', 'Low Price', 'High Price', 'Date'] + pumpkins = pumpkins.loc[:, columns_to_select] + ``` + +### दूसरा, कद्दू की औसत कीमत निर्धारित करें + +सोचें कि एक दिए गए महीने में कद्दू की औसत कीमत कैसे निर्धारित करें। इस कार्य के लिए आप कौन से कॉलम चुनेंगे? संकेत: आपको 3 कॉलमों की आवश्यकता होगी। + +समाधान: `Low Price` and `High Price` कॉलमों का औसत लें और नए Price कॉलम को पॉप्युलेट करें, और Date कॉलम को केवल महीने दिखाने के लिए बदलें। सौभाग्य से, ऊपर की जाँच के अनुसार, तारीखों या कीमतों के लिए कोई गायब डेटा नहीं है। + +1. औसत की गणना करने के लिए, निम्न कोड जोड़ें: + + ```python + price = (pumpkins['Low Price'] + pumpkins['High Price']) / 2 + + month = pd.DatetimeIndex(pumpkins['Date']).month + + ``` + + ✅ `print(month)` का उपयोग करके किसी भी डेटा को चेक करने के लिए स्वतंत्र महसूस करें। + +2. अब, अपने कनवर्टेड डेटा को एक नए Pandas डेटा फ्रेम में कॉपी करें: + + ```python + new_pumpkins = pd.DataFrame({'Month': month, 'Package': pumpkins['Package'], 'Low Price': pumpkins['Low Price'],'High Price': pumpkins['High Price'], 'Price': price}) + ``` + + अपने डेटा फ्रेम को प्रिंट करने से आपको एक साफ, व्यवस्थित डेटा सेट दिखाई देगा जिस पर आप अपना नया रिग्रेशन मॉडल बना सकते हैं। + +### लेकिन रुको! यहाँ कुछ अजीब है + +यदि आप `Package` column, pumpkins are sold in many different configurations. Some are sold in '1 1/9 bushel' measures, and some in '1/2 bushel' measures, some per pumpkin, some per pound, and some in big boxes with varying widths. + +> Pumpkins seem very hard to weigh consistently + +Digging into the original data, it's interesting that anything with `Unit of Sale` equalling 'EACH' or 'PER BIN' also have the `Package` type per inch, per bin, or 'each'. Pumpkins seem to be very hard to weigh consistently, so let's filter them by selecting only pumpkins with the string 'bushel' in their `Package` कॉलम को देखते हैं। + +1. फ़ाइल के शीर्ष पर, प्रारंभिक .csv इंपोर्ट के तहत एक फ़िल्टर जोड़ें: + + ```python + pumpkins = pumpkins[pumpkins['Package'].str.contains('bushel', case=True, regex=True)] + ``` + + यदि आप अब डेटा प्रिंट करते हैं, तो आप देख सकते हैं कि आपको केवल 415 या इतने डेटा पंक्तियाँ मिल रही हैं जिनमें कद्दू बाय द बसल है। + +### लेकिन रुको! एक और चीज़ करनी है + +क्या आपने देखा कि बसल राशि प्रति पंक्ति भिन्न होती है? आपको मूल्य निर्धारण को सामान्य करने की आवश्यकता है ताकि आप बसल के अनुसार मूल्य दिखा सकें, इसलिए इसे मानकीकृत करने के लिए कुछ गणना करें। + +1. नई_pumpkins डेटा फ्रेम बनाने वाले ब्लॉक के बाद इन पंक्तियों को जोड़ें: + + ```python + new_pumpkins.loc[new_pumpkins['Package'].str.contains('1 1/9'), 'Price'] = price/(1 + 1/9) + + new_pumpkins.loc[new_pumpkins['Package'].str.contains('1/2'), 'Price'] = price/(1/2) + ``` + +✅ [The Spruce Eats](https://www.thespruceeats.com/how-much-is-a-bushel-1389308) के अनुसार, एक बसल का वजन उत्पाद के प्रकार पर निर्भर करता है, क्योंकि यह एक मात्रा माप है। "उदाहरण के लिए, टमाटरों का एक बसल 56 पाउंड का होता है... पत्तियां और साग अधिक जगह लेते हैं और वजन कम होता है, इसलिए पालक का एक बसल केवल 20 पाउंड का होता है।" यह सब काफी जटिल है! चलिए बसल-टू-पाउंड रूपांतरण के साथ परेशान नहीं होते हैं, और इसके बजाय बसल के हिसाब से मूल्य निर्धारण करते हैं। हालांकि, कद्दू के बसल का यह अध्ययन दिखाता है कि आपके डेटा की प्रकृति को समझना कितना महत्वपूर्ण है! + +अब, आप उनके बसल माप के आधार पर प्रति यूनिट मूल्य का विश्लेषण कर सकते हैं। यदि आप डेटा को एक बार फिर से प्रिंट करते हैं, तो आप देख सकते हैं कि यह कैसे मानकीकृत है। + +✅ क्या आपने देखा कि आधे बसल के हिसाब से बेचे जाने वाले कद्दू बहुत महंगे हैं? क्या आप इसका कारण समझ सकते हैं? संकेत: छोटे कद्दू बड़े कद्दू की तुलना में बहुत महंगे होते हैं, शायद इसलिए कि एक बसल में इतने अधिक छोटे कद्दू होते हैं, एक बड़े खोखले पाई कद्दू द्वारा लिए गए खाली स्थान को देखते हुए। + +## विज़ुअलाइज़ेशन रणनीतियाँ + +डेटा वैज्ञानिक का एक हिस्सा यह दिखाना होता है कि वे जिस डेटा के साथ काम कर रहे हैं उसकी गुणवत्ता और प्रकृति क्या है। ऐसा करने के लिए, वे अक्सर दिलचस्प विज़ुअलाइज़ेशन, या प्लॉट्स, ग्राफ़, और चार्ट बनाते हैं, जो डेटा के विभिन्न पहलुओं को दिखाते हैं। इस तरह, वे दृश्य रूप से संबंधों और अंतरालों को दिखा सकते हैं जो अन्यथा खोजने में कठिन होते हैं। + +[](https://youtu.be/SbUkxH6IJo0 "ML for beginners - How to Visualize Data with Matplotlib") + +> 🎥 इस पाठ के डेटा को विज़ुअलाइज़ करने के लिए ऊपर की छवि पर क्लिक करें। + +विज़ुअलाइज़ेशन यह निर्धारित करने में भी मदद कर सकते हैं कि कौन सी मशीन लर्निंग तकनीक डेटा के लिए सबसे उपयुक्त है। उदाहरण के लिए, एक स्कैटरप्लॉट जो एक रेखा का अनुसरण करता हुआ प्रतीत होता है, यह इंगित करता है कि डेटा एक रैखिक रिग्रेशन अभ्यास के लिए एक अच्छा उम्मीदवार है। + +एक डेटा विज़ुअलाइज़ेशन लाइब्रेरी जो Jupyter नोटबुक में अच्छी तरह से काम करती है वह है [Matplotlib](https://matplotlib.org/) (जो आपने पिछले पाठ में भी देखा था)। + +> डेटा विज़ुअलाइज़ेशन के साथ और अधिक अनुभव प्राप्त करें [इन ट्यूटोरियल्स](https://docs.microsoft.com/learn/modules/explore-analyze-data-with-python?WT.mc_id=academic-77952-leestott) में। + +## अभ्यास - Matplotlib के साथ प्रयोग करें + +कुछ बुनियादी प्लॉट्स बनाने का प्रयास करें ताकि आप नए डेटा फ्रेम को प्रदर्शित कर सकें जो आपने अभी बनाया है। एक बुनियादी लाइन प्लॉट क्या दिखाएगा? + +1. फ़ाइल के शीर्ष पर, Pandas इंपोर्ट के तहत Matplotlib इंपोर्ट करें: + + ```python + import matplotlib.pyplot as plt + ``` + +1. पूरे नोटबुक को रीफ्रेश करने के लिए पुनः चलाएँ। +1. नोटबुक के नीचे, डेटा को बॉक्स के रूप में प्लॉट करने के लिए एक सेल जोड़ें: + + ```python + price = new_pumpkins.Price + month = new_pumpkins.Month + plt.scatter(price, month) + plt.show() + ``` + +  + + क्या यह एक उपयोगी प्लॉट है? क्या इसके बारे में कुछ आपको आश्चर्यचकित करता है? + + यह विशेष रूप से उपयोगी नहीं है क्योंकि यह केवल आपके डेटा को एक दिए गए महीने में बिंदुओं के प्रसार के रूप में प्रदर्शित करता है। + +### इसे उपयोगी बनाएं + +उपयोगी डेटा प्रदर्शित करने के लिए चार्ट्स को आमतौर पर किसी न किसी तरह से डेटा को समूहबद्ध करने की आवश्यकता होती है। आइए एक ऐसा प्लॉट बनाते हैं जहाँ y अक्ष महीनों को दिखाता है और डेटा वितरण को प्रदर्शित करता है। + +1. एक सेल जोड़ें ताकि एक समूहित बार चार्ट बनाया जा सके: + + ```python + new_pumpkins.groupby(['Month'])['Price'].mean().plot(kind='bar') + plt.ylabel("Pumpkin Price") + ``` + +  + + यह एक अधिक उपयोगी डेटा विज़ुअलाइज़ेशन है! ऐसा लगता है कि कद्दू की सबसे अधिक कीमत सितंबर और अक्टूबर में होती है। क्या यह आपकी अपेक्षा के अनुरूप है? क्यों या क्यों नहीं? + +--- + +## 🚀चुनौती + +Matplotlib द्वारा पेश किए गए विभिन्न प्रकार के विज़ुअलाइज़ेशन का अन्वेषण करें। कौन से प्रकार रिग्रेशन समस्याओं के लिए सबसे उपयुक्त हैं? + +## [Post-lecture quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/12/) + +## समीक्षा और स्व-अध्ययन + +डेटा को विज़ुअलाइज़ करने के कई तरीकों पर एक नज़र डालें। उपलब्ध विभिन्न लाइब्रेरी की एक सूची बनाएं और ध्यान दें कि कौन से प्रकार के कार्यों के लिए सबसे अच्छे हैं, उदाहरण के लिए 2D विज़ुअलाइज़ेशन बनाम 3D विज़ुअलाइज़ेशन। आप क्या खोजते हैं? + +## असाइनमेंट + +[विज़ुअलाइज़ेशन का अन्वेषण](assignment.md) + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/2-Regression/2-Data/assignment.md b/translations/hi/2-Regression/2-Data/assignment.md new file mode 100644 index 000000000..489d8ba4b --- /dev/null +++ b/translations/hi/2-Regression/2-Data/assignment.md @@ -0,0 +1,11 @@ +# विज़ुअलाइज़ेशन का अन्वेषण + +डेटा विज़ुअलाइज़ेशन के लिए कई अलग-अलग लाइब्रेरी उपलब्ध हैं। इस पाठ में कद्दू डेटा का उपयोग करके matplotlib और seaborn के साथ एक नमूना नोटबुक में कुछ विज़ुअलाइज़ेशन बनाएं। किन लाइब्रेरियों के साथ काम करना आसान है? +## मूल्यांकन + +| मानदंड | उत्कृष्ट | पर्याप्त | सुधार की आवश्यकता | +| -------- | --------- | -------- | ----------------- | +| | दो अन्वेषण/विज़ुअलाइज़ेशन के साथ एक नोटबुक सबमिट की गई है | एक अन्वेषण/विज़ुअलाइज़ेशन के साथ एक नोटबुक सबमिट की गई है | एक नोटबुक सबमिट नहीं की गई है | + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। इसकी मूल भाषा में मूल दस्तावेज़ को प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/2-Regression/2-Data/solution/Julia/README.md b/translations/hi/2-Regression/2-Data/solution/Julia/README.md new file mode 100644 index 000000000..065a31c72 --- /dev/null +++ b/translations/hi/2-Regression/2-Data/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**अस्वीकरण**: +यह दस्तावेज़ मशीन आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियां या गलतियाँ हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/2-Regression/3-Linear/README.md b/translations/hi/2-Regression/3-Linear/README.md new file mode 100644 index 000000000..9212f5202 --- /dev/null +++ b/translations/hi/2-Regression/3-Linear/README.md @@ -0,0 +1,349 @@ +# Scikit-learn का उपयोग करके एक रिग्रेशन मॉडल बनाएं: रिग्रेशन के चार तरीके + + +> Infographic by [Dasani Madipalli](https://twitter.com/dasani_decoded) +## [Pre-lecture quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/13/) + +> ### [यह पाठ R में उपलब्ध है!](../../../../2-Regression/3-Linear/solution/R/lesson_3.html) +### परिचय + +अब तक आपने इस पाठ में उपयोग किए जाने वाले कद्दू मूल्य निर्धारण डेटासेट से एकत्र किए गए नमूना डेटा के साथ रिग्रेशन क्या है, इसका पता लगाया है। आपने इसे Matplotlib का उपयोग करके भी विज़ुअलाइज़ किया है। + +अब आप एमएल के लिए रिग्रेशन में गहराई से गोता लगाने के लिए तैयार हैं। जबकि विज़ुअलाइज़ेशन आपको डेटा को समझने की अनुमति देता है, मशीन लर्निंग की वास्तविक शक्ति _मॉडल प्रशिक्षण_ से आती है। मॉडल ऐतिहासिक डेटा पर प्रशिक्षित होते हैं ताकि डेटा निर्भरताओं को स्वचालित रूप से कैप्चर किया जा सके, और वे आपको नए डेटा के लिए परिणामों की भविष्यवाणी करने की अनुमति देते हैं, जिसे मॉडल ने पहले नहीं देखा है। + +इस पाठ में, आप दो प्रकार के रिग्रेशन के बारे में अधिक जानेंगे: _बेसिक लीनियर रिग्रेशन_ और _पोलिनोमियल रिग्रेशन_, साथ ही इन तकनीकों के अंतर्निहित गणित के कुछ पहलू। ये मॉडल हमें विभिन्न इनपुट डेटा के आधार पर कद्दू की कीमतों की भविष्यवाणी करने की अनुमति देंगे। + +[](https://youtu.be/CRxFT8oTDMg "ML for beginners - Understanding Linear Regression") + +> 🎥 ऊपर दी गई छवि पर क्लिक करें लीनियर रिग्रेशन का एक संक्षिप्त वीडियो अवलोकन देखने के लिए। + +> इस पाठ्यक्रम के दौरान, हम गणित का न्यूनतम ज्ञान मानते हैं और अन्य क्षेत्रों से आने वाले छात्रों के लिए इसे सुलभ बनाने का प्रयास करते हैं, इसलिए समझ में सहायता के लिए नोट्स, 🧮 कॉलआउट्स, आरेख और अन्य शिक्षण उपकरण देखें। + +### आवश्यकताएँ + +अब तक आपको कद्दू डेटा की संरचना से परिचित होना चाहिए जिसे हम जांच रहे हैं। आप इसे इस पाठ के _notebook.ipynb_ फ़ाइल में पहले से लोड और पहले से साफ़ कर सकते हैं। फ़ाइल में, कद्दू की कीमत एक नए डेटा फ्रेम में प्रति बुशल प्रदर्शित होती है। सुनिश्चित करें कि आप इन नोटबुक्स को Visual Studio Code के कर्नेल्स में चला सकते हैं। + +### तैयारी + +याद दिलाने के लिए, आप इस डेटा को लोड कर रहे हैं ताकि इससे सवाल पूछ सकें। + +- कद्दू खरीदने का सबसे अच्छा समय कब है? +- एक मिनिएचर कद्दू के केस की कीमत कितनी हो सकती है? +- क्या मुझे उन्हें आधे-बुशल बास्केट में खरीदना चाहिए या 1 1/9 बुशल बॉक्स में? +आइए इस डेटा में और गहराई से जांच करें। + +पिछले पाठ में, आपने एक Pandas डेटा फ्रेम बनाया और इसे मूल डेटासेट के एक हिस्से से आबाद किया, बुशल द्वारा मूल्य निर्धारण को मानकीकृत किया। ऐसा करने से, हालांकि, आप केवल लगभग 400 डेटा पॉइंट्स एकत्र करने में सक्षम थे और केवल पतझड़ के महीनों के लिए। + +इस पाठ के साथ आने वाली नोटबुक में हमने जो डेटा पहले से लोड किया है, उस पर एक नज़र डालें। डेटा पहले से लोड है और एक प्रारंभिक बिखराव प्लॉट महीने के डेटा को दिखाने के लिए चार्ट किया गया है। हो सकता है कि हम इसे और अधिक साफ करके डेटा की प्रकृति के बारे में थोड़ी अधिक जानकारी प्राप्त कर सकें। + +## एक लीनियर रिग्रेशन रेखा + +जैसा कि आपने पाठ 1 में सीखा, लीनियर रिग्रेशन अभ्यास का लक्ष्य एक रेखा को प्लॉट करने में सक्षम होना है: + +- **चर संबंध दिखाएं**। चर के बीच संबंध दिखाएं +- **भविष्यवाणियाँ करें**। यह भविष्यवाणी करें कि एक नया डेटा पॉइंट उस रेखा के संबंध में कहाँ गिर सकता है। + +इस प्रकार की रेखा खींचने के लिए **लीस्ट-स्क्वेर्स रिग्रेशन** का उपयोग किया जाता है। 'लीस्ट-स्क्वेर्स' शब्द का अर्थ है कि रिग्रेशन रेखा के चारों ओर के सभी डेटा पॉइंट्स को वर्गाकार किया जाता है और फिर जोड़ा जाता है। आदर्श रूप से, वह अंतिम योग जितना संभव हो उतना छोटा होता है, क्योंकि हम कम संख्या में त्रुटियों, या `least-squares` चाहते हैं। + +हम ऐसा इसलिए करते हैं क्योंकि हम एक ऐसी रेखा को मॉडल बनाना चाहते हैं जिसमें हमारे सभी डेटा पॉइंट्स से सबसे कम संचयी दूरी हो। हम उन्हें जोड़ने से पहले शब्दों को वर्गाकार भी करते हैं क्योंकि हम इसकी दिशा के बजाय इसके परिमाण से चिंतित हैं। + +> **🧮 गणित दिखाएं** +> +> इस रेखा को, जिसे _सबसे अच्छा फिट_ कहा जाता है, [एक समीकरण](https://en.wikipedia.org/wiki/Simple_linear_regression) द्वारा व्यक्त किया जा सकता है: +> +> ``` +> Y = a + bX +> ``` +> +> `X` is the 'explanatory variable'. `Y` is the 'dependent variable'. The slope of the line is `b` and `a` is the y-intercept, which refers to the value of `Y` when `X = 0`. +> +> +> +> First, calculate the slope `b`. Infographic by [Jen Looper](https://twitter.com/jenlooper) +> +> In other words, and referring to our pumpkin data's original question: "predict the price of a pumpkin per bushel by month", `X` would refer to the price and `Y` would refer to the month of sale. +> +> +> +> Calculate the value of Y. If you're paying around $4, it must be April! Infographic by [Jen Looper](https://twitter.com/jenlooper) +> +> The math that calculates the line must demonstrate the slope of the line, which is also dependent on the intercept, or where `Y` is situated when `X = 0`. +> +> You can observe the method of calculation for these values on the [Math is Fun](https://www.mathsisfun.com/data/least-squares-regression.html) web site. Also visit [this Least-squares calculator](https://www.mathsisfun.com/data/least-squares-calculator.html) to watch how the numbers' values impact the line. + +## Correlation + +One more term to understand is the **Correlation Coefficient** between given X and Y variables. Using a scatterplot, you can quickly visualize this coefficient. A plot with datapoints scattered in a neat line have high correlation, but a plot with datapoints scattered everywhere between X and Y have a low correlation. + +A good linear regression model will be one that has a high (nearer to 1 than 0) Correlation Coefficient using the Least-Squares Regression method with a line of regression. + +✅ Run the notebook accompanying this lesson and look at the Month to Price scatterplot. Does the data associating Month to Price for pumpkin sales seem to have high or low correlation, according to your visual interpretation of the scatterplot? Does that change if you use more fine-grained measure instead of `Month`, eg. *day of the year* (i.e. number of days since the beginning of the year)? + +In the code below, we will assume that we have cleaned up the data, and obtained a data frame called `new_pumpkins`, similar to the following: + +ID | Month | DayOfYear | Variety | City | Package | Low Price | High Price | Price +---|-------|-----------|---------|------|---------|-----------|------------|------- +70 | 9 | 267 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 15.0 | 15.0 | 13.636364 +71 | 9 | 267 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 18.0 | 18.0 | 16.363636 +72 | 10 | 274 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 18.0 | 18.0 | 16.363636 +73 | 10 | 274 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 17.0 | 17.0 | 15.454545 +74 | 10 | 281 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 15.0 | 15.0 | 13.636364 + +> The code to clean the data is available in [`notebook.ipynb`](../../../../2-Regression/3-Linear/notebook.ipynb). We have performed the same cleaning steps as in the previous lesson, and have calculated `DayOfYear` कॉलम का उपयोग करके निम्नलिखित अभिव्यक्ति के साथ: + +```python +day_of_year = pd.to_datetime(pumpkins['Date']).apply(lambda dt: (dt-datetime(dt.year,1,1)).days) +``` + +अब जब आपके पास लीनियर रिग्रेशन के पीछे के गणित की समझ है, तो आइए एक रिग्रेशन मॉडल बनाएं यह देखने के लिए कि हम कौन सा कद्दू पैकेज सबसे अच्छी कद्दू कीमतों के साथ भविष्यवाणी कर सकते हैं। कोई व्यक्ति जो छुट्टी के कद्दू पैच के लिए कद्दू खरीद रहा है, वह इस जानकारी को कद्दू पैच के लिए कद्दू पैकेजों की खरीद को अनुकूलित करने के लिए उपयोग करना चाह सकता है। + +## सहसंबंध की तलाश में + +[](https://youtu.be/uoRq-lW2eQo "ML for beginners - Looking for Correlation: The Key to Linear Regression") + +> 🎥 ऊपर दी गई छवि पर क्लिक करें सहसंबंध का एक संक्षिप्त वीडियो अवलोकन देखने के लिए। + +पिछले पाठ से आपने शायद देखा है कि विभिन्न महीनों के लिए औसत कीमत इस प्रकार दिखती है: + + 
+
+यह सुझाव देता है कि कुछ सहसंबंध होना चाहिए, और हम `Month` and `Price`, or between `DayOfYear` and `Price`. Here is the scatter plot that shows the latter relationship:
+
+
+
+Let's see if there is a correlation using the `corr` फ़ंक्शन का उपयोग करके `Month` and `Price` के बीच संबंध की भविष्यवाणी करने के लिए लीनियर रिग्रेशन मॉडल को प्रशिक्षित करने का प्रयास कर सकते हैं:
+
+```python
+print(new_pumpkins['Month'].corr(new_pumpkins['Price']))
+print(new_pumpkins['DayOfYear'].corr(new_pumpkins['Price']))
+```
+
+ऐसा लगता है कि सहसंबंध काफी छोटा है, -0.15 `Month` and -0.17 by the `DayOfMonth`, but there could be another important relationship. It looks like there are different clusters of prices corresponding to different pumpkin varieties. To confirm this hypothesis, let's plot each pumpkin category using a different color. By passing an `ax` parameter to the `scatter` प्लॉटिंग फ़ंक्शन का उपयोग करके हम सभी पॉइंट्स को एक ही ग्राफ पर प्लॉट कर सकते हैं:
+
+```python
+ax=None
+colors = ['red','blue','green','yellow']
+for i,var in enumerate(new_pumpkins['Variety'].unique()):
+ df = new_pumpkins[new_pumpkins['Variety']==var]
+ ax = df.plot.scatter('DayOfYear','Price',ax=ax,c=colors[i],label=var)
+```
+
+
+
+हमारी जांच से पता चलता है कि विविधता का वास्तविक बिक्री तिथि की तुलना में समग्र मूल्य पर अधिक प्रभाव है। हम इसे एक बार ग्राफ के साथ देख सकते हैं:
+
+```python
+new_pumpkins.groupby('Variety')['Price'].mean().plot(kind='bar')
+```
+
+
+
+आइए फिलहाल केवल एक कद्दू की किस्म, 'पाई प्रकार', पर ध्यान केंद्रित करें और देखें कि तारीख का मूल्य पर क्या प्रभाव पड़ता है:
+
+```python
+pie_pumpkins = new_pumpkins[new_pumpkins['Variety']=='PIE TYPE']
+pie_pumpkins.plot.scatter('DayOfYear','Price')
+```
+
+
+यदि हम अब `Price` and `DayOfYear` using `corr` function, we will get something like `-0.27` के बीच सहसंबंध की गणना करते हैं - जिसका अर्थ है कि भविष्यवाणी मॉडल को प्रशिक्षित करना समझ में आता है।
+
+> एक लीनियर रिग्रेशन मॉडल को प्रशिक्षित करने से पहले, यह सुनिश्चित करना महत्वपूर्ण है कि हमारा डेटा साफ़ है। लीनियर रिग्रेशन लापता मूल्यों के साथ अच्छी तरह से काम नहीं करता है, इसलिए सभी खाली कोशिकाओं से छुटकारा पाना समझ में आता है:
+
+```python
+pie_pumpkins.dropna(inplace=True)
+pie_pumpkins.info()
+```
+
+एक और दृष्टिकोण यह होगा कि उन खाली मूल्यों को संबंधित कॉलम से औसत मानों से भर दिया जाए।
+
+## सरल लीनियर रिग्रेशन
+
+[](https://youtu.be/e4c_UP2fSjg "ML for beginners - Linear and Polynomial Regression using Scikit-learn")
+
+> 🎥 ऊपर दी गई छवि पर क्लिक करें लीनियर और पोलिनोमियल रिग्रेशन का एक संक्षिप्त वीडियो अवलोकन देखने के लिए।
+
+हमारे लीनियर रिग्रेशन मॉडल को प्रशिक्षित करने के लिए, हम **Scikit-learn** लाइब्रेरी का उपयोग करेंगे।
+
+```python
+from sklearn.linear_model import LinearRegression
+from sklearn.metrics import mean_squared_error
+from sklearn.model_selection import train_test_split
+```
+
+हम इनपुट मानों (फीचर्स) और अपेक्षित आउटपुट (लेबल) को अलग-अलग numpy arrays में अलग करके शुरू करते हैं:
+
+```python
+X = pie_pumpkins['DayOfYear'].to_numpy().reshape(-1,1)
+y = pie_pumpkins['Price']
+```
+
+> ध्यान दें कि हमें इनपुट डेटा पर `reshape` करना पड़ा ताकि लीनियर रिग्रेशन पैकेज इसे सही ढंग से समझ सके। लीनियर रिग्रेशन एक इनपुट के रूप में 2D-array की अपेक्षा करता है, जहां array की प्रत्येक पंक्ति इनपुट फीचर्स के वेक्टर के अनुरूप होती है। हमारे मामले में, चूंकि हमारे पास केवल एक इनपुट है - हमें आकार N×1 के साथ एक array की आवश्यकता है, जहां N डेटासेट का आकार है।
+
+फिर, हमें डेटा को ट्रेन और टेस्ट डेटासेट्स में विभाजित करने की आवश्यकता है, ताकि हम प्रशिक्षण के बाद अपने मॉडल को मान्य कर सकें:
+
+```python
+X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+```
+
+अंत में, वास्तविक लीनियर रिग्रेशन मॉडल को प्रशिक्षित करना केवल दो पंक्तियों का कोड लेता है। हम `LinearRegression` object, and fit it to our data using the `fit` मेथड को परिभाषित करते हैं:
+
+```python
+lin_reg = LinearRegression()
+lin_reg.fit(X_train,y_train)
+```
+
+`LinearRegression` object after `fit`-ting contains all the coefficients of the regression, which can be accessed using `.coef_` property. In our case, there is just one coefficient, which should be around `-0.017`. It means that prices seem to drop a bit with time, but not too much, around 2 cents per day. We can also access the intersection point of the regression with Y-axis using `lin_reg.intercept_` - it will be around `21` हमारे मामले में, वर्ष की शुरुआत में कीमत को इंगित करता है।
+
+यह देखने के लिए कि हमारा मॉडल कितना सटीक है, हम एक टेस्ट डेटासेट पर कीमतों की भविष्यवाणी कर सकते हैं, और फिर यह माप सकते हैं कि हमारी भविष्यवाणियाँ अपेक्षित मानों के कितने करीब हैं। यह मीन स्क्वायर एरर (MSE) मेट्रिक्स का उपयोग करके किया जा सकता है, जो अपेक्षित और भविष्यवाणी किए गए मूल्य के बीच सभी वर्गाकार अंतरों का औसत है।
+
+```python
+pred = lin_reg.predict(X_test)
+
+mse = np.sqrt(mean_squared_error(y_test,pred))
+print(f'Mean error: {mse:3.3} ({mse/np.mean(pred)*100:3.3}%)')
+```
+
+हमारी त्रुटि लगभग 2 अंक के आसपास लगती है, जो ~17% है। मॉडल गुणवत्ता का एक और संकेतक **निर्धारण का गुणांक** है, जिसे इस तरह से प्राप्त किया जा सकता है:
+
+```python
+score = lin_reg.score(X_train,y_train)
+print('Model determination: ', score)
+```
+यदि मान 0 है, तो इसका मतलब है कि मॉडल इनपुट डेटा को ध्यान में नहीं रखता है, और *सबसे खराब लीनियर प्रेडिक्टर* के रूप में कार्य करता है, जो परिणाम का केवल एक औसत मान है। मान 1 का अर्थ है कि हम सभी अपेक्षित आउटपुट को पूरी तरह से भविष्यवाणी कर सकते हैं। हमारे मामले में, गुणांक लगभग 0.06 है, जो काफी कम है।
+
+हम परीक्षण डेटा को रिग्रेशन लाइन के साथ प्लॉट भी कर सकते हैं ताकि यह बेहतर तरीके से देखा जा सके कि हमारे मामले में रिग्रेशन कैसे काम करता है:
+
+```python
+plt.scatter(X_test,y_test)
+plt.plot(X_test,pred)
+```
+
+
+
+## पोलिनोमियल रिग्रेशन
+
+लीनियर रिग्रेशन का एक और प्रकार पोलिनोमियल रिग्रेशन है। जबकि कभी-कभी चर के बीच एक लीनियर संबंध होता है - कद्दू का आकार जितना बड़ा होता है, कीमत उतनी ही अधिक होती है - कभी-कभी इन संबंधों को एक विमान या सीधी रेखा के रूप में प्लॉट नहीं किया जा सकता है।
+
+✅ यहां [कुछ और उदाहरण](https://online.stat.psu.edu/stat501/lesson/9/9.8) हैं जिनमें पोलिनोमियल रिग्रेशन का उपयोग किया जा सकता है।
+
+डेट और कीमत के बीच संबंध पर फिर से एक नज़र डालें। क्या यह बिखराव प्लॉट ऐसा लगता है कि इसे सीधे रेखा द्वारा विश्लेषित किया जाना चाहिए? क्या कीमतें नहीं बदल सकतीं? इस मामले में, आप पोलिनोमियल रिग्रेशन का प्रयास कर सकते हैं।
+
+✅ पोलिनोमियल गणितीय अभिव्यक्तियाँ हैं जिनमें एक या अधिक चर और गुणांक शामिल हो सकते हैं
+
+पोलिनोमियल रिग्रेशन एक घुमावदार रेखा बनाता है ताकि गैर-लीनियर डेटा को बेहतर तरीके से फिट किया जा सके। हमारे मामले में, यदि हम इनपुट डेटा में एक वर्गीय `DayOfYear` चर शामिल करते हैं, तो हमें अपने डेटा को एक परवलयिक वक्र के साथ फिट करने में सक्षम होना चाहिए, जिसमें वर्ष के एक निश्चित बिंदु पर न्यूनतम होगा।
+
+Scikit-learn में विभिन्न डेटा प्रोसेसिंग चरणों को एक साथ संयोजित करने के लिए एक उपयोगी [pipeline API](https://scikit-learn.org/stable/modules/generated/sklearn.pipeline.make_pipeline.html?highlight=pipeline#sklearn.pipeline.make_pipeline) शामिल है। एक **pipeline** **अनुमानकों** की एक श्रृंखला है। हमारे मामले में, हम एक pipeline बनाएंगे जो पहले हमारे मॉडल में पोलिनोमियल फीचर्स जोड़ता है, और फिर रिग्रेशन को प्रशिक्षित करता है:
+
+```python
+from sklearn.preprocessing import PolynomialFeatures
+from sklearn.pipeline import make_pipeline
+
+pipeline = make_pipeline(PolynomialFeatures(2), LinearRegression())
+
+pipeline.fit(X_train,y_train)
+```
+
+`PolynomialFeatures(2)` means that we will include all second-degree polynomials from the input data. In our case it will just mean `DayOfYear`2, but given two input variables X and Y, this will add X2, XY and Y2. We may also use higher degree polynomials if we want.
+
+Pipelines can be used in the same manner as the original `LinearRegression` object, i.e. we can `fit` the pipeline, and then use `predict` to get the prediction results. Here is the graph showing test data, and the approximation curve:
+
+
+
+Using Polynomial Regression, we can get slightly lower MSE and higher determination, but not significantly. We need to take into account other features!
+
+> You can see that the minimal pumpkin prices are observed somewhere around Halloween. How can you explain this?
+
+🎃 Congratulations, you just created a model that can help predict the price of pie pumpkins. You can probably repeat the same procedure for all pumpkin types, but that would be tedious. Let's learn now how to take pumpkin variety into account in our model!
+
+## Categorical Features
+
+In the ideal world, we want to be able to predict prices for different pumpkin varieties using the same model. However, the `Variety` column is somewhat different from columns like `Month`, because it contains non-numeric values. Such columns are called **categorical**.
+
+[](https://youtu.be/DYGliioIAE0 "ML for beginners - Categorical Feature Predictions with Linear Regression")
+
+> 🎥 Click the image above for a short video overview of using categorical features.
+
+Here you can see how average price depends on variety:
+
+
+
+To take variety into account, we first need to convert it to numeric form, or **encode** it. There are several way we can do it:
+
+* Simple **numeric encoding** will build a table of different varieties, and then replace the variety name by an index in that table. This is not the best idea for linear regression, because linear regression takes the actual numeric value of the index, and adds it to the result, multiplying by some coefficient. In our case, the relationship between the index number and the price is clearly non-linear, even if we make sure that indices are ordered in some specific way.
+* **One-hot encoding** will replace the `Variety` column by 4 different columns, one for each variety. Each column will contain `1` if the corresponding row is of a given variety, and `0` अन्यथा। इसका मतलब है कि लीनियर रिग्रेशन में चार गुणांक होंगे, प्रत्येक कद्दू की किस्म के लिए एक, जो उस विशेष किस्म के लिए "शुरुआती कीमत" (या बल्कि "अतिरिक्त कीमत") के लिए जिम्मेदार है।
+
+नीचे दिया गया कोड दिखाता है कि हम एक वेराइटी को कैसे वन-हॉट एन्कोड कर सकते हैं:
+
+```python
+pd.get_dummies(new_pumpkins['Variety'])
+```
+
+ ID | FAIRYTALE | MINIATURE | MIXED HEIRLOOM VARIETIES | PIE TYPE
+----|-----------|-----------|--------------------------|----------
+70 | 0 | 0 | 0 | 1
+71 | 0 | 0 | 0 | 1
+... | ... | ... | ... | ...
+1738 | 0 | 1 | 0 | 0
+1739 | 0 | 1 | 0 | 0
+1740 | 0 | 1 | 0 | 0
+1741 | 0 | 1 | 0 | 0
+1742 | 0 | 1 | 0 | 0
+
+वन-हॉट एन्कोड वेराइटी का उपयोग करके लीनियर रिग्रेशन को प्रशिक्षित करने के लिए, हमें बस `X` and `y` डेटा को सही ढंग से प्रारंभ करने की आवश्यकता है:
+
+```python
+X = pd.get_dummies(new_pumpkins['Variety'])
+y = new_pumpkins['Price']
+```
+
+बाकी कोड वही है जो हमने लीनियर रिग्रेशन को प्रशिक्षित करने के लिए ऊपर उपयोग किया था। यदि आप इसे आजमाते हैं, तो आप देखेंगे कि मीन स्क्वायर एरर लगभग समान है, लेकिन हमें बहुत अधिक निर्धारण गुणांक (~77%) मिलता है। और अधिक सटीक भविष्यवाणियाँ प्राप्त करने के लिए, हम अधिक श्रेणीबद्ध फीचर्स को ध्यान में रख सकते हैं, साथ ही संख्यात्मक फीचर्स, जैसे `Month` or `DayOfYear`. To get one large array of features, we can use `join`:
+
+```python
+X = pd.get_dummies(new_pumpkins['Variety']) \
+ .join(new_pumpkins['Month']) \
+ .join(pd.get_dummies(new_pumpkins['City'])) \
+ .join(pd.get_dummies(new_pumpkins['Package']))
+y = new_pumpkins['Price']
+```
+
+यहां हम `City` and `Package` प्रकार को भी ध्यान में रखते हैं, जो हमें MSE 2.84 (10%) और निर्धारण 0.94 देता है!
+
+## सब कुछ एक साथ रखना
+
+सर्वश्रेष्ठ मॉडल बनाने के लिए, हम ऊपर दिए गए उदाहरण से संयुक्त (वन-हॉट एन्कोड श्रेणीबद्ध + संख्यात्मक) डेटा का उपयोग पोलिनोमियल रिग्रेशन के साथ कर सकते हैं। आपकी सुविधा के लिए यहां पूरा कोड दिया गया है:
+
+```python
+# set up training data
+X = pd.get_dummies(new_pumpkins['Variety']) \
+ .join(new_pumpkins['Month']) \
+ .join(pd.get_dummies(new_pumpkins['City'])) \
+ .join(pd.get_dummies(new_pumpkins['Package']))
+y = new_pumpkins['Price']
+
+# make train-test split
+X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+
+# setup and train the pipeline
+pipeline = make_pipeline(PolynomialFeatures(2), LinearRegression())
+pipeline.fit(X_train,y_train)
+
+# predict results for test data
+pred = pipeline.predict(X_test)
+
+# calculate MSE and determination
+mse = np.sqrt(mean_squared_error(y_test,pred))
+print(f'Mean error: {mse:3.3} ({mse/np.mean(pred)*100:3.3}%)')
+
+score = pipeline.score(X_train,y_train)
+print('Model determination: ', score)
+```
+
+यह हमें लगभग 97% का सर्वोत्तम निर्धारण गुणांक और MSE=2.23 (~8% भविष्यवाणी त्रुटि) देना चाहिए।
+
+| मॉडल | MSE | निर्धारण |
+|-------|-----|---------------|
+| `DayOfYear@@INLINE_CODE
+
+**अस्वीकरण**:
+यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयासरत हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। इसकी मूल भाषा में मूल दस्तावेज़ को प्राधिकृत स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं।
\ No newline at end of file
diff --git a/translations/hi/2-Regression/3-Linear/assignment.md b/translations/hi/2-Regression/3-Linear/assignment.md
new file mode 100644
index 000000000..c20edc514
--- /dev/null
+++ b/translations/hi/2-Regression/3-Linear/assignment.md
@@ -0,0 +1,14 @@
+# एक रिग्रेशन मॉडल बनाएं
+
+## निर्देश
+
+इस पाठ में आपको लीनियर और पॉलीनोमियल रिग्रेशन दोनों का उपयोग करके एक मॉडल बनाने का तरीका दिखाया गया था। इस ज्ञान का उपयोग करते हुए, एक डेटासेट खोजें या Scikit-learn के अंतर्निर्मित सेटों में से एक का उपयोग करके एक नया मॉडल बनाएं। अपने नोटबुक में समझाएं कि आपने जिस तकनीक को चुना है, वह क्यों चुनी, और अपने मॉडल की सटीकता का प्रदर्शन करें। यदि यह सटीक नहीं है, तो समझाएं क्यों।
+
+## मूल्यांकन मापदंड
+
+| मापदंड | उत्कृष्ट | पर्याप्त | सुधार की आवश्यकता |
+| ------- | ----------------------------------------------------------- | ------------------------- | ------------------------------- |
+| | अच्छी तरह से दस्तावेज़ित समाधान के साथ एक पूरा नोटबुक प्रस्तुत करता है | समाधान अधूरा है | समाधान त्रुटिपूर्ण या बग्गी है |
+
+**अस्वीकरण**:
+यह दस्तावेज़ मशीन आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या गलतियाँ हो सकती हैं। इसकी मूल भाषा में मूल दस्तावेज़ को आधिकारिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम जिम्मेदार नहीं हैं।
\ No newline at end of file
diff --git a/translations/hi/2-Regression/3-Linear/solution/Julia/README.md b/translations/hi/2-Regression/3-Linear/solution/Julia/README.md
new file mode 100644
index 000000000..ccba6ad62
--- /dev/null
+++ b/translations/hi/2-Regression/3-Linear/solution/Julia/README.md
@@ -0,0 +1,4 @@
+
+
+**अस्वीकरण**:
+यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियां या अशुद्धियाँ हो सकती हैं। मूल भाषा में मूल दस्तावेज़ को प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं।
\ No newline at end of file
diff --git a/translations/hi/2-Regression/4-Logistic/README.md b/translations/hi/2-Regression/4-Logistic/README.md
new file mode 100644
index 000000000..41325c82a
--- /dev/null
+++ b/translations/hi/2-Regression/4-Logistic/README.md
@@ -0,0 +1,314 @@
+# श्रेणियों की भविष्यवाणी के लिए लॉजिस्टिक रिग्रेशन
+
+
+
+## [प्री-लेक्चर क्विज़](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/15/)
+
+> ### [यह पाठ R में उपलब्ध है!](../../../../2-Regression/4-Logistic/solution/R/lesson_4.html)
+
+## परिचय
+
+रिग्रेशन पर इस अंतिम पाठ में, जो कि एक बुनियादी _क्लासिक_ एमएल तकनीक है, हम लॉजिस्टिक रिग्रेशन पर नज़र डालेंगे। आप इस तकनीक का उपयोग बाइनरी श्रेणियों की भविष्यवाणी के लिए पैटर्न खोजने के लिए करेंगे। क्या यह कैंडी चॉकलेट है या नहीं? क्या यह बीमारी संक्रामक है या नहीं? क्या यह ग्राहक इस उत्पाद को चुनेगा या नहीं?
+
+इस पाठ में, आप सीखेंगे:
+
+- डेटा विज़ुअलाइज़ेशन के लिए एक नई लाइब्रेरी
+- लॉजिस्टिक रिग्रेशन के तकनीकें
+
+✅ इस प्रकार के रिग्रेशन के साथ काम करने की अपनी समझ को गहरा करें इस [Learn module](https://docs.microsoft.com/learn/modules/train-evaluate-classification-models?WT.mc_id=academic-77952-leestott) में
+
+## पूर्वापेक्षा
+
+कद्दू के डेटा के साथ काम करने के बाद, हम अब इस बात से परिचित हैं कि इसमें एक बाइनरी श्रेणी है जिसके साथ हम काम कर सकते हैं: `Color`.
+
+आइए एक लॉजिस्टिक रिग्रेशन मॉडल बनाएं ताकि यह भविष्यवाणी की जा सके कि दिए गए कुछ वेरिएबल्स के आधार पर, _एक दिए गए कद्दू का रंग क्या होगा_ (नारंगी 🎃 या सफेद 👻)।
+
+> हम रिग्रेशन के बारे में एक पाठ में बाइनरी क्लासिफिकेशन के बारे में क्यों बात कर रहे हैं? केवल भाषाई सुविधा के लिए, क्योंकि लॉजिस्टिक रिग्रेशन [वास्तव में एक क्लासिफिकेशन विधि](https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression) है, हालांकि यह एक रैखिक आधारित है। डेटा को क्लासिफाई करने के अन्य तरीकों के बारे में जानें अगले पाठ समूह में।
+
+## प्रश्न को परिभाषित करें
+
+हमारे उद्देश्यों के लिए, हम इसे एक बाइनरी के रूप में व्यक्त करेंगे: 'सफेद' या 'न सफेद'। हमारे डेटा सेट में एक 'धारीदार' श्रेणी भी है लेकिन इसके कुछ उदाहरण ही हैं, इसलिए हम इसका उपयोग नहीं करेंगे। यह वैसे भी तब गायब हो जाता है जब हम डेटा सेट से शून्य मानों को हटा देते हैं।
+
+> 🎃 मजेदार तथ्य, हम कभी-कभी सफेद कद्दुओं को 'भूत' कद्दू कहते हैं। इन्हें तराशना बहुत आसान नहीं होता, इसलिए ये नारंगी वाले जितने लोकप्रिय नहीं होते लेकिन ये देखने में बहुत अच्छे लगते हैं! तो हम अपने प्रश्न को इस प्रकार भी पुनःप्रारूपित कर सकते हैं: 'भूत' या 'न भूत'। 👻
+
+## लॉजिस्टिक रिग्रेशन के बारे में
+
+लॉजिस्टिक रिग्रेशन कुछ महत्वपूर्ण तरीकों से रैखिक रिग्रेशन से भिन्न है, जिसे आपने पहले सीखा था।
+
+[](https://youtu.be/KpeCT6nEpBY "शुरुआती लोगों के लिए एमएल - मशीन लर्निंग क्लासिफिकेशन के लिए लॉजिस्टिक रिग्रेशन को समझना")
+
+> 🎥 लॉजिस्टिक रिग्रेशन का संक्षिप्त वीडियो अवलोकन देखने के लिए ऊपर की छवि पर क्लिक करें।
+
+### बाइनरी क्लासिफिकेशन
+
+लॉजिस्टिक रिग्रेशन रैखिक रिग्रेशन जैसी विशेषताएं प्रदान नहीं करता। पूर्ववर्ती बाइनरी श्रेणी ("सफेद या न सफेद") के बारे में एक भविष्यवाणी प्रदान करता है जबकि बाद वाला निरंतर मानों की भविष्यवाणी करने में सक्षम है, उदाहरण के लिए, कद्दू की उत्पत्ति और कटाई के समय को देखते हुए, _इसकी कीमत कितनी बढ़ेगी_।
+
+
+> इन्फोग्राफिक [दसानी मदीपल्ली](https://twitter.com/dasani_decoded) द्वारा
+
+### अन्य क्लासिफिकेशन
+
+लॉजिस्टिक रिग्रेशन के अन्य प्रकार भी हैं, जिनमें मल्टीनोमियल और ऑर्डिनल शामिल हैं:
+
+- **मल्टीनोमियल**, जिसमें एक से अधिक श्रेणियां होती हैं - "नारंगी, सफेद, और धारीदार"।
+- **ऑर्डिनल**, जिसमें क्रमबद्ध श्रेणियां होती हैं, उपयोगी होती हैं यदि हम अपने परिणामों को तार्किक रूप से क्रमबद्ध करना चाहते हैं, जैसे हमारे कद्दू जो एक सीमित संख्या में आकारों (मिनी, स्मॉल, मीडियम, लार्ज, एक्सएल, एक्सएक्सएल) द्वारा क्रमबद्ध होते हैं।
+
+
+
+### वेरिएबल्स का सहसंबंध होना जरूरी नहीं है
+
+याद रखें कि रैखिक रिग्रेशन अधिक सहसंबद्ध वेरिएबल्स के साथ बेहतर काम करता है? लॉजिस्टिक रिग्रेशन इसके विपरीत है - वेरिएबल्स का सहसंबंध होना जरूरी नहीं है। यह इस डेटा के लिए काम करता है जिसमें कुछ हद तक कमजोर सहसंबंध हैं।
+
+### आपको बहुत सारा साफ डेटा चाहिए
+
+लॉजिस्टिक रिग्रेशन अधिक डेटा का उपयोग करने पर अधिक सटीक परिणाम देगा; हमारा छोटा डेटा सेट इस कार्य के लिए आदर्श नहीं है, इसलिए इसे ध्यान में रखें।
+
+[](https://youtu.be/B2X4H9vcXTs "शुरुआती लोगों के लिए एमएल - लॉजिस्टिक रिग्रेशन के लिए डेटा विश्लेषण और तैयारी")
+
+> 🎥 लॉजिस्टिक रिग्रेशन के लिए डेटा तैयार करने का संक्षिप्त वीडियो अवलोकन देखने के लिए ऊपर की छवि पर क्लिक करें
+
+✅ उन डेटा प्रकारों के बारे में सोचें जो लॉजिस्टिक रिग्रेशन के लिए उपयुक्त होंगे
+
+## व्यायाम - डेटा को साफ करें
+
+पहले, डेटा को थोड़ा साफ करें, शून्य मानों को हटाएं और केवल कुछ कॉलम चुनें:
+
+1. निम्नलिखित कोड जोड़ें:
+
+ ```python
+
+ columns_to_select = ['City Name','Package','Variety', 'Origin','Item Size', 'Color']
+ pumpkins = full_pumpkins.loc[:, columns_to_select]
+
+ pumpkins.dropna(inplace=True)
+ ```
+
+ आप हमेशा अपने नए डेटा फ्रेम पर एक नज़र डाल सकते हैं:
+
+ ```python
+ pumpkins.info
+ ```
+
+### विज़ुअलाइज़ेशन - श्रेणीबद्ध प्लॉट
+
+अब तक आपने [स्टार्टर नोटबुक](../../../../2-Regression/4-Logistic/notebook.ipynb) को कद्दू डेटा के साथ फिर से लोड कर लिया है और इसे इस प्रकार साफ कर लिया है कि इसमें कुछ वेरिएबल्स सहित एक डेटा सेट संरक्षित हो। आइए नोटबुक में डेटा फ्रेम को एक अलग लाइब्रेरी का उपयोग करके विज़ुअलाइज़ करें: [Seaborn](https://seaborn.pydata.org/index.html), जो पहले उपयोग की गई Matplotlib पर आधारित है।
+
+Seaborn आपके डेटा को विज़ुअलाइज़ करने के कुछ शानदार तरीके प्रदान करता है। उदाहरण के लिए, आप श्रेणीबद्ध प्लॉट में `Variety` और `Color` के लिए डेटा के वितरण की तुलना कर सकते हैं।
+
+1. एक श्रेणीबद्ध प्लॉट बनाएं `catplot` function, using our pumpkin data `pumpkins` का उपयोग करके, और प्रत्येक कद्दू श्रेणी (नारंगी या सफेद) के लिए एक रंग मैपिंग निर्दिष्ट करें:
+
+ ```python
+ import seaborn as sns
+
+ palette = {
+ 'ORANGE': 'orange',
+ 'WHITE': 'wheat',
+ }
+
+ sns.catplot(
+ data=pumpkins, y="Variety", hue="Color", kind="count",
+ palette=palette,
+ )
+ ```
+
+ 
+
+ डेटा का अवलोकन करके, आप देख सकते हैं कि रंग डेटा का संबंध Variety से कैसा है।
+
+ ✅ इस श्रेणीबद्ध प्लॉट को देखते हुए, आप कौन से दिलचस्प अन्वेषणों की कल्पना कर सकते हैं?
+
+### डेटा पूर्व-प्रसंस्करण: फीचर और लेबल एन्कोडिंग
+हमारे कद्दू डेटा सेट में इसके सभी कॉलम के लिए स्ट्रिंग मान होते हैं। श्रेणीबद्ध डेटा के साथ काम करना मनुष्यों के लिए सहज है लेकिन मशीनों के लिए नहीं। मशीन लर्निंग एल्गोरिदम संख्याओं के साथ अच्छा काम करते हैं। इसलिए एन्कोडिंग डेटा पूर्व-प्रसंस्करण चरण में एक बहुत महत्वपूर्ण कदम है, क्योंकि यह हमें श्रेणीबद्ध डेटा को संख्यात्मक डेटा में बदलने में सक्षम बनाता है, बिना किसी जानकारी को खोए। अच्छी एन्कोडिंग एक अच्छे मॉडल के निर्माण की ओर ले जाती है।
+
+फीचर एन्कोडिंग के लिए दो मुख्य प्रकार के एन्कोडर होते हैं:
+
+1. ऑर्डिनल एन्कोडर: यह ऑर्डिनल वेरिएबल्स के लिए अच्छी तरह से अनुकूल है, जो श्रेणीबद्ध वेरिएबल्स हैं जहां उनके डेटा का तार्किक क्रम होता है, जैसे हमारे डेटा सेट में `Item Size` कॉलम। यह एक मैपिंग बनाता है ताकि प्रत्येक श्रेणी को एक संख्या द्वारा दर्शाया जाए, जो कॉलम में श्रेणी का क्रम है।
+
+ ```python
+ from sklearn.preprocessing import OrdinalEncoder
+
+ item_size_categories = [['sml', 'med', 'med-lge', 'lge', 'xlge', 'jbo', 'exjbo']]
+ ordinal_features = ['Item Size']
+ ordinal_encoder = OrdinalEncoder(categories=item_size_categories)
+ ```
+
+2. श्रेणीबद्ध एन्कोडर: यह नाममात्र वेरिएबल्स के लिए अच्छी तरह से अनुकूल है, जो श्रेणीबद्ध वेरिएबल्स हैं जहां उनके डेटा का तार्किक क्रम नहीं होता है, जैसे हमारे डेटा सेट में `Item Size` से भिन्न सभी फीचर्स। यह एक हॉट एन्कोडिंग है, जिसका अर्थ है कि प्रत्येक श्रेणी को एक बाइनरी कॉलम द्वारा दर्शाया जाता है: एन्कोडेड वेरिएबल उस Variety से संबंधित होने पर 1 के बराबर होता है और अन्यथा 0।
+
+ ```python
+ from sklearn.preprocessing import OneHotEncoder
+
+ categorical_features = ['City Name', 'Package', 'Variety', 'Origin']
+ categorical_encoder = OneHotEncoder(sparse_output=False)
+ ```
+फिर, `ColumnTransformer` का उपयोग कई एन्कोडर को एकल चरण में संयोजित करने और उन्हें उपयुक्त कॉलम पर लागू करने के लिए किया जाता है।
+
+```python
+ from sklearn.compose import ColumnTransformer
+
+ ct = ColumnTransformer(transformers=[
+ ('ord', ordinal_encoder, ordinal_features),
+ ('cat', categorical_encoder, categorical_features)
+ ])
+
+ ct.set_output(transform='pandas')
+ encoded_features = ct.fit_transform(pumpkins)
+```
+दूसरी ओर, लेबल को एन्कोड करने के लिए, हम scikit-learn `LabelEncoder` क्लास का उपयोग करते हैं, जो एक उपयोगिता क्लास है जो लेबल को सामान्यीकृत करने में मदद करता है ताकि उनमें केवल 0 और n_classes-1 (यहां, 0 और 1) के बीच मान हों।
+
+```python
+ from sklearn.preprocessing import LabelEncoder
+
+ label_encoder = LabelEncoder()
+ encoded_label = label_encoder.fit_transform(pumpkins['Color'])
+```
+एक बार जब हमने फीचर्स और लेबल को एन्कोड कर लिया, तो हम उन्हें एक नए डेटा फ्रेम `encoded_pumpkins` में मर्ज कर सकते हैं।
+
+```python
+ encoded_pumpkins = encoded_features.assign(Color=encoded_label)
+```
+✅ `Item Size` column?
+
+### Analyse relationships between variables
+
+Now that we have pre-processed our data, we can analyse the relationships between the features and the label to grasp an idea of how well the model will be able to predict the label given the features.
+The best way to perform this kind of analysis is plotting the data. We'll be using again the Seaborn `catplot` function, to visualize the relationships between `Item Size`, `Variety` और `Color` को श्रेणीबद्ध प्लॉट में बेहतर तरीके से प्लॉट करने के लिए एन्कोडेड `Item Size` column and the unencoded `Variety` कॉलम का उपयोग करेंगे।
+
+```python
+ palette = {
+ 'ORANGE': 'orange',
+ 'WHITE': 'wheat',
+ }
+ pumpkins['Item Size'] = encoded_pumpkins['ord__Item Size']
+
+ g = sns.catplot(
+ data=pumpkins,
+ x="Item Size", y="Color", row='Variety',
+ kind="box", orient="h",
+ sharex=False, margin_titles=True,
+ height=1.8, aspect=4, palette=palette,
+ )
+ g.set(xlabel="Item Size", ylabel="").set(xlim=(0,6))
+ g.set_titles(row_template="{row_name}")
+```
+
+
+### स्वार्म प्लॉट का उपयोग करें
+
+चूंकि रंग एक बाइनरी श्रेणी (सफेद या न) है, इसे विज़ुअलाइज़ेशन के लिए 'एक [विशेष दृष्टिकोण](https://seaborn.pydata.org/tutorial/categorical.html?highlight=bar)' की आवश्यकता होती है। इस श्रेणी के अन्य वेरिएबल्स के साथ संबंध को विज़ुअलाइज़ करने के अन्य तरीके भी हैं।
+
+आप Seaborn प्लॉट्स के साथ वेरिएबल्स को साइड-बाय-साइड विज़ुअलाइज़ कर सकते हैं।
+
+1. मानों के वितरण को दिखाने के लिए एक 'स्वार्म' प्लॉट का प्रयास करें:
+
+ ```python
+ palette = {
+ 0: 'orange',
+ 1: 'wheat'
+ }
+ sns.swarmplot(x="Color", y="ord__Item Size", data=encoded_pumpkins, palette=palette)
+ ```
+
+ 
+
+**सावधान रहें**: ऊपर का कोड एक चेतावनी उत्पन्न कर सकता है, क्योंकि seaborn इतनी मात्रा में डेटा पॉइंट्स को स्वार्म प्लॉट में प्रदर्शित करने में विफल हो सकता है। एक संभावित समाधान मार्कर के आकार को कम करना है, 'size' पैरामीटर का उपयोग करके। हालांकि, ध्यान दें कि यह प्लॉट की पठनीयता को प्रभावित करता है।
+
+> **🧮 मुझे गणित दिखाओ**
+>
+> लॉजिस्टिक रिग्रेशन 'अधिकतम संभावना' की अवधारणा पर निर्भर करता है, [सिग्मॉइड फंक्शन्स](https://wikipedia.org/wiki/Sigmoid_function) का उपयोग करके। एक 'सिग्मॉइड फंक्शन' एक प्लॉट पर 'S' आकार की तरह दिखता है। यह एक मान लेता है और इसे 0 और 1 के बीच कहीं मैप करता है। इसका कर्व भी 'लॉजिस्टिक कर्व' कहलाता है। इसका सूत्र इस प्रकार दिखता है:
+>
+> 
+>
+> जहां सिग्मॉइड का मध्यबिंदु x के 0 बिंदु पर होता है, L कर्व का अधिकतम मान होता है, और k कर्व की तीव्रता होती है। यदि फंक्शन का परिणाम 0.5 से अधिक होता है, तो संबंधित लेबल को बाइनरी विकल्प के '1' वर्ग में दिया जाएगा। यदि नहीं, तो इसे '0' के रूप में वर्गीकृत किया जाएगा।
+
+## अपना मॉडल बनाएं
+
+Scikit-learn में इन बाइनरी क्लासिफिकेशन्स को खोजने के लिए एक मॉडल बनाना आश्चर्यजनक रूप से सीधा है।
+
+[](https://youtu.be/MmZS2otPrQ8 "शुरुआती लोगों के लिए एमएल - डेटा के क्लासिफिकेशन के लिए लॉजिस्टिक रिग्रेशन")
+
+> 🎥 एक रैखिक रिग्रेशन मॉडल बनाने का संक्षिप्त वीडियो अवलोकन देखने के लिए ऊपर की छवि पर क्लिक करें
+
+1. उन वेरिएबल्स का चयन करें जिन्हें आप अपने क्लासिफिकेशन मॉडल में उपयोग करना चाहते हैं और `train_test_split()` को कॉल करके प्रशिक्षण और परीक्षण सेट को विभाजित करें:
+
+ ```python
+ from sklearn.model_selection import train_test_split
+
+ X = encoded_pumpkins[encoded_pumpkins.columns.difference(['Color'])]
+ y = encoded_pumpkins['Color']
+
+ X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+
+ ```
+
+2. अब आप अपने मॉडल को प्रशिक्षित कर सकते हैं, अपने प्रशिक्षण डेटा के साथ `fit()` को कॉल करके, और इसके परिणाम को प्रिंट कर सकते हैं:
+
+ ```python
+ from sklearn.metrics import f1_score, classification_report
+ from sklearn.linear_model import LogisticRegression
+
+ model = LogisticRegression()
+ model.fit(X_train, y_train)
+ predictions = model.predict(X_test)
+
+ print(classification_report(y_test, predictions))
+ print('Predicted labels: ', predictions)
+ print('F1-score: ', f1_score(y_test, predictions))
+ ```
+
+ अपने मॉडल के स्कोरबोर्ड पर एक नज़र डालें। यह बुरा नहीं है, यह देखते हुए कि आपके पास केवल लगभग 1000 पंक्तियों का डेटा है:
+
+ ```output
+ precision recall f1-score support
+
+ 0 0.94 0.98 0.96 166
+ 1 0.85 0.67 0.75 33
+
+ accuracy 0.92 199
+ macro avg 0.89 0.82 0.85 199
+ weighted avg 0.92 0.92 0.92 199
+
+ Predicted labels: [0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 0
+ 0 0 0 0 0 1 0 1 0 0 1 0 0 0 0 0 1 0 1 0 1 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0
+ 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 1 0 0 0 0 0 0 0 1 0
+ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 1 1 0
+ 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1
+ 0 0 0 1 0 0 0 0 0 0 0 0 1 1]
+ F1-score: 0.7457627118644068
+ ```
+
+## एक भ्रम मैट्रिक्स के माध्यम से बेहतर समझ
+
+जबकि आप ऊपर दिए गए आइटम्स को प्रिंट करके एक स्कोरबोर्ड रिपोर्ट [शर्तें](https://scikit-learn.org/stable/modules/generated/sklearn.metrics.classification_report.html?highlight=classification_report#sklearn.metrics.classification_report) प्राप्त कर सकते हैं, आप अपने मॉडल को एक [भ्रम मैट्रिक्स](https://scikit-learn.org/stable/modules/model_evaluation.html#confusion-matrix) का उपयोग करके अधिक आसानी से समझ सकते हैं जो हमें यह समझने में मदद करता है कि मॉडल कैसा प्रदर्शन कर रहा है।
+
+> 🎓 एक '[भ्रम मैट्रिक्स](https://wikipedia.org/wiki/Confusion_matrix)' (या 'त्रुटि मैट्रिक्स') एक तालिका है जो आपके मॉडल के वास्तविक बनाम झूठे सकारात्मक और नकारात्मक को व्यक्त करती है, इस प्रकार भविष्यवाणियों की सटीकता का आकलन करती है।
+
+1. एक भ्रम मैट्रिक्स का उपयोग करने के लिए, `confusion_matrix()` को कॉल करें:
+
+ ```python
+ from sklearn.metrics import confusion_matrix
+ confusion_matrix(y_test, predictions)
+ ```
+
+ अपने मॉडल के भ्रम मैट्रिक्स पर एक नज़र डालें:
+
+ ```output
+ array([[162, 4],
+ [ 11, 22]])
+ ```
+
+Scikit-learn में, भ्रम मैट्रिक्स की पंक्तियाँ (अक्ष 0) वास्तविक लेबल हैं और कॉलम (अक्ष 1) भविष्यवाणी किए गए लेबल हैं।
+
+| | 0 | 1 |
+| :---: | :---: | :---: |
+| 0 | TN | FP |
+| 1 | FN | TP |
+
+यहाँ क्या हो रहा है? मान लें कि हमारे मॉडल से कद्दू को दो बाइनरी श्रेणियों के बीच वर्गीकृत करने के लिए कहा जाता है, श्रेणी 'सफेद' और श्रेणी 'न-सफेद'।
+
+- यदि आपका मॉडल कद्दू को न-सफेद के रूप में भविष्यवाणी करता है और यह वास्तव में श्रेणी 'न-सफेद' से संबंधित है, तो हम इसे एक सच्चा नकारात्मक कहते हैं, जो शीर्ष बाएँ संख्या द्वारा दिखाया गया है।
+- यदि आपका मॉडल कद्दू को सफेद के रूप में भविष्यवाणी करता है और यह वास्तव में श्रेणी 'न-सफेद' से संबंधित है, तो हम इसे एक झूठा नकारात्मक कहते हैं, जो नीचे बाएँ संख्या द्वारा दिखाया गया है।
+- यदि आपका मॉडल कद्दू को न-सफेद के रूप में भविष्यवाणी करता है और यह वास्तव में श्रेणी 'सफेद' से संबंधित है, तो हम इसे एक झूठा सकारात्मक कहते हैं, जो शीर्ष दाएँ संख्या द्वारा दिखाया गया है।
+- यदि आपका मॉडल कद्दू को
+
+**अस्वीकरण**:
+इस दस्तावेज़ का अनुवाद मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके किया गया है। जबकि हम सटीकता के लिए प्रयासरत हैं, कृपया ध्यान दें कि स्वचालित अनुवाद में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। इसकी मूल भाषा में मूल दस्तावेज़ को प्राधिकृत स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं।
\ No newline at end of file
diff --git a/translations/hi/2-Regression/4-Logistic/assignment.md b/translations/hi/2-Regression/4-Logistic/assignment.md
new file mode 100644
index 000000000..c26bdf426
--- /dev/null
+++ b/translations/hi/2-Regression/4-Logistic/assignment.md
@@ -0,0 +1,14 @@
+# कुछ पुनः प्रयास करते हुए प्रतिगमन
+
+## निर्देश
+
+पाठ में, आपने कद्दू डेटा का एक उपसमुच्चय उपयोग किया था। अब, मूल डेटा पर वापस जाएं और सभी डेटा का उपयोग करें, जो साफ और मानकीकृत हो, एक Logistic Regression मॉडल बनाने के लिए।
+
+## मूल्यांकन
+
+| मापदंड | उत्कृष्ट | पर्याप्त | सुधार की आवश्यकता |
+| -------- | ----------------------------------------------------------------------- | ------------------------------------------------------------ | ----------------------------------------------------------- |
+| | एक नोटबुक प्रस्तुत की गई है जिसमें एक अच्छी तरह से समझाया गया और अच्छी तरह से प्रदर्शन करने वाला मॉडल है | एक नोटबुक प्रस्तुत की गई है जिसमें एक न्यूनतम प्रदर्शन करने वाला मॉडल है | एक नोटबुक प्रस्तुत की गई है जिसमें एक उप-प्रदर्शन करने वाला मॉडल है या कोई मॉडल नहीं है |
+
+**अस्वीकरण**:
+यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवाद में त्रुटियां या अशुद्धियाँ हो सकती हैं। मूल भाषा में दस्तावेज़ को आधिकारिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं।
\ No newline at end of file
diff --git a/translations/hi/2-Regression/4-Logistic/solution/Julia/README.md b/translations/hi/2-Regression/4-Logistic/solution/Julia/README.md
new file mode 100644
index 000000000..4ce20f476
--- /dev/null
+++ b/translations/hi/2-Regression/4-Logistic/solution/Julia/README.md
@@ -0,0 +1,4 @@
+
+
+**अस्वीकरण**:
+यह दस्तावेज़ मशीन-आधारित AI अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या गलतियाँ हो सकती हैं। मूल भाषा में मूल दस्तावेज़ को प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं।
\ No newline at end of file
diff --git a/translations/hi/2-Regression/README.md b/translations/hi/2-Regression/README.md
new file mode 100644
index 000000000..0623a3442
--- /dev/null
+++ b/translations/hi/2-Regression/README.md
@@ -0,0 +1,43 @@
+# मशीन लर्निंग के लिए रिग्रेशन मॉडल्स
+## क्षेत्रीय विषय: उत्तरी अमेरिका में कद्दू की कीमतों के लिए रिग्रेशन मॉडल्स 🎃
+
+उत्तरी अमेरिका में, कद्दू अक्सर हैलोवीन के लिए डरावने चेहरों में तराशे जाते हैं। आइए इन आकर्षक सब्जियों के बारे में और जानें!
+
+
+> फोटो बेथ टेउत्स्चमैन द्वारा अनस्प्लैश पर
+
+## आप क्या सीखेंगे
+
+[](https://youtu.be/5QnJtDad4iQ "रिग्रेशन परिचय वीडियो - देखने के लिए क्लिक करें!")
+> 🎥 ऊपर की छवि पर क्लिक करें इस पाठ के लिए एक त्वरित परिचय वीडियो के लिए
+
+इस खंड में पाठ मशीन लर्निंग के संदर्भ में रिग्रेशन के प्रकारों को कवर करते हैं। रिग्रेशन मॉडल्स वेरिएबल्स के बीच _संबंध_ को निर्धारित करने में मदद कर सकते हैं। इस प्रकार का मॉडल लंबाई, तापमान, या उम्र जैसी मानों का पूर्वानुमान लगा सकता है, इस प्रकार डेटा बिंदुओं का विश्लेषण करते समय वेरिएबल्स के बीच संबंधों का पता लगा सकता है।
+
+इस श्रृंखला के पाठों में, आप रेखीय और लॉजिस्टिक रिग्रेशन के बीच के अंतर को जानेंगे, और कब आपको एक को दूसरे पर प्राथमिकता देनी चाहिए।
+
+[](https://youtu.be/XA3OaoW86R8 "शुरुआती के लिए एमएल - मशीन लर्निंग के लिए रिग्रेशन मॉडल्स का परिचय")
+
+> 🎥 ऊपर की छवि पर क्लिक करें रिग्रेशन मॉडल्स का परिचय देने वाले एक छोटे वीडियो के लिए।
+
+इस पाठ समूह में, आप मशीन लर्निंग कार्यों को शुरू करने के लिए सेट अप करेंगे, जिसमें नोटबुक्स को प्रबंधित करने के लिए Visual Studio Code को कॉन्फ़िगर करना शामिल है, जो डेटा वैज्ञानिकों के लिए एक सामान्य वातावरण है। आप Scikit-learn की खोज करेंगे, जो मशीन लर्निंग के लिए एक लाइब्रेरी है, और आप अपने पहले मॉडल्स का निर्माण करेंगे, इस अध्याय में रिग्रेशन मॉडल्स पर ध्यान केंद्रित करेंगे।
+
+> कुछ उपयोगी लो-कोड टूल्स हैं जो आपको रिग्रेशन मॉडल्स के साथ काम करने के बारे में सीखने में मदद कर सकते हैं। इस कार्य के लिए [Azure ML आज़माएं](https://docs.microsoft.com/learn/modules/create-regression-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott)
+
+### पाठ
+
+1. [ट्रेड के टूल्स](1-Tools/README.md)
+2. [डेटा प्रबंधन](2-Data/README.md)
+3. [रेखीय और बहुपद रिग्रेशन](3-Linear/README.md)
+4. [लॉजिस्टिक रिग्रेशन](4-Logistic/README.md)
+
+---
+### क्रेडिट्स
+
+"रिग्रेशन के साथ एमएल" को ♥️ के साथ [जेन लूपर](https://twitter.com/jenlooper) द्वारा लिखा गया था
+
+♥️ क्विज़ योगदानकर्ताओं में शामिल हैं: [मुहम्मद साकिब खान इनान](https://twitter.com/Sakibinan) और [ऑर्नेला अल्टुन्यान](https://twitter.com/ornelladotcom)
+
+कद्दू डेटासेट का सुझाव [इस प्रोजेक्ट द्वारा कागल पर](https://www.kaggle.com/usda/a-year-of-pumpkin-prices) दिया गया है और इसका डेटा [विशेष फसलों के टर्मिनल मार्केट्स स्टैंडर्ड रिपोर्ट्स](https://www.marketnews.usda.gov/mnp/fv-report-config-step1?type=termPrice) से लिया गया है, जिसे संयुक्त राज्य अमेरिका के कृषि विभाग द्वारा वितरित किया गया है। हमने वितरण को सामान्य करने के लिए विविधता के आधार पर कुछ रंग बिंदु जोड़े हैं। यह डेटा सार्वजनिक डोमेन में है।
+
+**अस्वीकरण**:
+इस दस्तावेज़ का अनुवाद मशीन आधारित एआई अनुवाद सेवाओं का उपयोग करके किया गया है। हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवाद में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल भाषा में मूल दस्तावेज़ को प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं।
\ No newline at end of file
diff --git a/translations/hi/3-Web-App/1-Web-App/README.md b/translations/hi/3-Web-App/1-Web-App/README.md
new file mode 100644
index 000000000..198bfc727
--- /dev/null
+++ b/translations/hi/3-Web-App/1-Web-App/README.md
@@ -0,0 +1,348 @@
+# एक वेब ऐप बनाएं जो एमएल मॉडल का उपयोग करती है
+
+इस पाठ में, आप एक डेटा सेट पर एक एमएल मॉडल को प्रशिक्षित करेंगे जो इस दुनिया से बाहर है: _पिछले सदी के यूएफओ देखे जाने_, जो NUFORC के डेटाबेस से लिया गया है।
+
+आप सीखेंगे:
+
+- एक प्रशिक्षित मॉडल को 'pickle' कैसे करें
+- उस मॉडल को एक Flask ऐप में कैसे उपयोग करें
+
+हम अपने नोटबुक का उपयोग डेटा को साफ करने और हमारे मॉडल को प्रशिक्षित करने के लिए जारी रखेंगे, लेकिन आप प्रक्रिया को एक कदम आगे ले जा सकते हैं और एक वेब ऐप में एक मॉडल का उपयोग करने की खोज कर सकते हैं।
+
+ऐसा करने के लिए, आपको Flask का उपयोग करके एक वेब ऐप बनाना होगा।
+
+## [Pre-lecture quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/17/)
+
+## एक ऐप बनाना
+
+मशीन लर्निंग मॉडल का उपभोग करने के लिए वेब ऐप बनाने के कई तरीके हैं। आपकी वेब आर्किटेक्चर आपके मॉडल के प्रशिक्षित होने के तरीके को प्रभावित कर सकती है। कल्पना करें कि आप एक व्यवसाय में काम कर रहे हैं जहां डेटा साइंस समूह ने एक मॉडल प्रशिक्षित किया है जिसे वे चाहते हैं कि आप एक ऐप में उपयोग करें।
+
+### विचार
+
+कई प्रश्न हैं जिन्हें आपको पूछना चाहिए:
+
+- **क्या यह एक वेब ऐप है या मोबाइल ऐप?** यदि आप एक मोबाइल ऐप बना रहे हैं या IoT संदर्भ में मॉडल का उपयोग करने की आवश्यकता है, तो आप [TensorFlow Lite](https://www.tensorflow.org/lite/) का उपयोग कर सकते हैं और मॉडल को एक Android या iOS ऐप में उपयोग कर सकते हैं।
+- **मॉडल कहाँ रहेगा?** क्लाउड में या स्थानीय रूप से?
+- **ऑफलाइन समर्थन।** क्या ऐप को ऑफलाइन काम करना है?
+- **मॉडल को प्रशिक्षित करने के लिए कौन सी तकनीक का उपयोग किया गया था?** चुनी गई तकनीक आपके द्वारा उपयोग किए जाने वाले टूलिंग को प्रभावित कर सकती है।
+ - **TensorFlow का उपयोग करना।** यदि आप TensorFlow का उपयोग करके एक मॉडल को प्रशिक्षित कर रहे हैं, उदाहरण के लिए, वह इकोसिस्टम एक TensorFlow मॉडल को एक वेब ऐप में उपयोग के लिए परिवर्तित करने की क्षमता प्रदान करता है [TensorFlow.js](https://www.tensorflow.org/js/) का उपयोग करके।
+ - **PyTorch का उपयोग करना।** यदि आप एक लाइब्रेरी जैसे [PyTorch](https://pytorch.org/) का उपयोग करके एक मॉडल बना रहे हैं, तो आपके पास इसे [ONNX](https://onnx.ai/) (Open Neural Network Exchange) प्रारूप में निर्यात करने का विकल्प है ताकि इसे जावास्क्रिप्ट वेब ऐप्स में उपयोग किया जा सके जो [Onnx Runtime](https://www.onnxruntime.ai/) का उपयोग कर सकते हैं। इस विकल्प को एक भविष्य के पाठ में एक Scikit-learn प्रशिक्षित मॉडल के लिए खोजा जाएगा।
+ - **Lobe.ai या Azure Custom Vision का उपयोग करना।** यदि आप एक एमएल SaaS (Software as a Service) सिस्टम जैसे [Lobe.ai](https://lobe.ai/) या [Azure Custom Vision](https://azure.microsoft.com/services/cognitive-services/custom-vision-service/?WT.mc_id=academic-77952-leestott) का उपयोग करके एक मॉडल को प्रशिक्षित कर रहे हैं, तो इस प्रकार का सॉफ़्टवेयर कई प्लेटफ़ॉर्म के लिए मॉडल को निर्यात करने के तरीके प्रदान करता है, जिसमें आपके ऑनलाइन एप्लिकेशन द्वारा क्लाउड में क्वेरी किए जाने वाले एक विशेष API का निर्माण शामिल है।
+
+आपके पास एक संपूर्ण Flask वेब ऐप बनाने का अवसर भी है जो स्वयं वेब ब्राउज़र में मॉडल को प्रशिक्षित कर सकता है। यह भी TensorFlow.js का उपयोग करके एक जावास्क्रिप्ट संदर्भ में किया जा सकता है।
+
+हमारे उद्देश्यों के लिए, चूंकि हम Python-आधारित नोटबुक के साथ काम कर रहे हैं, आइए उन चरणों का अन्वेषण करें जिन्हें आपको एक प्रशिक्षित मॉडल को ऐसे नोटबुक से Python-निर्मित वेब ऐप द्वारा पढ़े जाने योग्य प्रारूप में निर्यात करने के लिए लेने की आवश्यकता है।
+
+## उपकरण
+
+इस कार्य के लिए, आपको दो उपकरणों की आवश्यकता है: Flask और Pickle, दोनों Python पर चलते हैं।
+
+✅ [Flask](https://palletsprojects.com/p/flask/) क्या है? इसके निर्माताओं द्वारा एक 'माइक्रो-फ्रेमवर्क' के रूप में परिभाषित, Flask Python का उपयोग करके वेब फ्रेमवर्क की बुनियादी विशेषताएं और वेब पेज बनाने के लिए एक टेम्पलेटिंग इंजन प्रदान करता है। Flask के साथ निर्माण का अभ्यास करने के लिए [इस Learn module](https://docs.microsoft.com/learn/modules/python-flask-build-ai-web-app?WT.mc_id=academic-77952-leestott) को देखें।
+
+✅ [Pickle](https://docs.python.org/3/library/pickle.html) क्या है? Pickle 🥒 एक Python मॉड्यूल है जो एक Python ऑब्जेक्ट संरचना को सीरियलाइज़ और डी-सीरियलाइज़ करता है। जब आप एक मॉडल को 'pickle' करते हैं, तो आप उसकी संरचना को वेब पर उपयोग के लिए सीरियलाइज़ या फ्लैटन करते हैं। सावधान रहें: pickle स्वाभाविक रूप से सुरक्षित नहीं है, इसलिए यदि किसी फाइल को 'अन-पिकल' करने के लिए प्रेरित किया जाता है तो सावधान रहें। एक पिकल की गई फाइल का उपसर्ग `.pkl` होता है।
+
+## अभ्यास - अपने डेटा को साफ करें
+
+इस पाठ में आप 80,000 यूएफओ देखे जाने के डेटा का उपयोग करेंगे, जो [NUFORC](https://nuforc.org) (The National UFO Reporting Center) द्वारा एकत्र किया गया है। इस डेटा में यूएफओ देखे जाने के कुछ दिलचस्प विवरण हैं, उदाहरण के लिए:
+
+- **लंबा उदाहरण विवरण।** "एक आदमी रात में एक घास के मैदान पर चमकने वाली रोशनी की एक किरण से उभरता है और वह टेक्सास इंस्ट्रूमेंट्स पार्किंग स्थल की ओर दौड़ता है"।
+- **छोटा उदाहरण विवरण।** "रोशनी ने हमारा पीछा किया"।
+
+[ufos.csv](../../../../3-Web-App/1-Web-App/data/ufos.csv) स्प्रेडशीट में `city`, `state` और `country` के बारे में कॉलम शामिल हैं जहां देखे जाने की घटना हुई, वस्तु का `shape` और उसका `latitude` और `longitude`।
+
+इस पाठ में शामिल खाली [notebook](../../../../3-Web-App/1-Web-App/notebook.ipynb) में:
+
+1. `pandas`, `matplotlib`, और `numpy` को आयात करें जैसा कि आपने पिछले पाठों में किया था और ufos स्प्रेडशीट को आयात करें। आप डेटा सेट के एक नमूने को देख सकते हैं:
+
+ ```python
+ import pandas as pd
+ import numpy as np
+
+ ufos = pd.read_csv('./data/ufos.csv')
+ ufos.head()
+ ```
+
+1. UfOs डेटा को ताजा शीर्षकों के साथ एक छोटे डेटा फ्रेम में परिवर्तित करें। `Country` फ़ील्ड में अद्वितीय मानों की जांच करें।
+
+ ```python
+ ufos = pd.DataFrame({'Seconds': ufos['duration (seconds)'], 'Country': ufos['country'],'Latitude': ufos['latitude'],'Longitude': ufos['longitude']})
+
+ ufos.Country.unique()
+ ```
+
+1. अब, आप उन डेटा की मात्रा को कम कर सकते हैं जिनसे हमें निपटना है, किसी भी null मानों को हटा कर और केवल 1-60 सेकंड के बीच देखे जाने को आयात करके:
+
+ ```python
+ ufos.dropna(inplace=True)
+
+ ufos = ufos[(ufos['Seconds'] >= 1) & (ufos['Seconds'] <= 60)]
+
+ ufos.info()
+ ```
+
+1. टेक्स्ट मानों को संख्याओं में बदलने के लिए Scikit-learn की `LabelEncoder` लाइब्रेरी आयात करें:
+
+ ✅ LabelEncoder डेटा को वर्णानुक्रम में एन्कोड करता है
+
+ ```python
+ from sklearn.preprocessing import LabelEncoder
+
+ ufos['Country'] = LabelEncoder().fit_transform(ufos['Country'])
+
+ ufos.head()
+ ```
+
+ आपका डेटा इस प्रकार दिखना चाहिए:
+
+ ```output
+ Seconds Country Latitude Longitude
+ 2 20.0 3 53.200000 -2.916667
+ 3 20.0 4 28.978333 -96.645833
+ 14 30.0 4 35.823889 -80.253611
+ 23 60.0 4 45.582778 -122.352222
+ 24 3.0 3 51.783333 -0.783333
+ ```
+
+## अभ्यास - अपना मॉडल बनाएं
+
+अब आप डेटा को प्रशिक्षण और परीक्षण समूह में विभाजित करके मॉडल को प्रशिक्षित करने के लिए तैयार हो सकते हैं।
+
+1. उन तीन विशेषताओं का चयन करें जिन पर आप प्रशिक्षण देना चाहते हैं, जैसा कि आपके X वेक्टर के लिए, और y वेक्टर `Country`. You want to be able to input `Seconds`, `Latitude` and `Longitude` होगा और एक देश आईडी वापस पाने के लिए।
+
+ ```python
+ from sklearn.model_selection import train_test_split
+
+ Selected_features = ['Seconds','Latitude','Longitude']
+
+ X = ufos[Selected_features]
+ y = ufos['Country']
+
+ X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+ ```
+
+1. अपने मॉडल को लॉजिस्टिक रिग्रेशन का उपयोग करके प्रशिक्षित करें:
+
+ ```python
+ from sklearn.metrics import accuracy_score, classification_report
+ from sklearn.linear_model import LogisticRegression
+ model = LogisticRegression()
+ model.fit(X_train, y_train)
+ predictions = model.predict(X_test)
+
+ print(classification_report(y_test, predictions))
+ print('Predicted labels: ', predictions)
+ print('Accuracy: ', accuracy_score(y_test, predictions))
+ ```
+
+सटीकता बुरी नहीं है **(लगभग 95%)**, अप्रत्याशित रूप से, जैसा कि `Country` and `Latitude/Longitude` correlate.
+
+The model you created isn't very revolutionary as you should be able to infer a `Country` from its `Latitude` and `Longitude`, लेकिन यह एक अच्छा अभ्यास है कच्चे डेटा से प्रशिक्षित करने का प्रयास करना जिसे आपने साफ किया, निर्यात किया, और फिर इस मॉडल को एक वेब ऐप में उपयोग करें।
+
+## अभ्यास - अपने मॉडल को 'pickle' करें
+
+अब, अपने मॉडल को _pickle_ करने का समय है! आप इसे कुछ लाइनों के कोड में कर सकते हैं। एक बार जब यह _pickled_ हो जाए, तो अपने pickled मॉडल को लोड करें और इसे सेकंड, अक्षांश और देशांतर के मानों वाली एक नमूना डेटा सरणी के खिलाफ परीक्षण करें,
+
+```python
+import pickle
+model_filename = 'ufo-model.pkl'
+pickle.dump(model, open(model_filename,'wb'))
+
+model = pickle.load(open('ufo-model.pkl','rb'))
+print(model.predict([[50,44,-12]]))
+```
+
+मॉडल **'3'** लौटाता है, जो यूके के लिए देश कोड है। अद्भुत! 👽
+
+## अभ्यास - एक Flask ऐप बनाएं
+
+अब आप अपने मॉडल को कॉल करने और समान परिणाम लौटाने के लिए एक Flask ऐप बना सकते हैं, लेकिन एक अधिक दृष्टिगत रूप से आकर्षक तरीके से।
+
+1. _notebook.ipynb_ फाइल के बगल में **web-app** नामक एक फोल्डर बनाकर शुरू करें जहां आपकी _ufo-model.pkl_ फाइल स्थित है।
+
+1. उस फोल्डर में तीन और फोल्डर बनाएं: **static**, जिसके अंदर एक फोल्डर **css** हो, और **templates**। अब आपके पास निम्नलिखित फाइलें और निर्देशिकाएँ होनी चाहिए:
+
+ ```output
+ web-app/
+ static/
+ css/
+ templates/
+ notebook.ipynb
+ ufo-model.pkl
+ ```
+
+ ✅ समाप्त ऐप का दृश्य पाने के लिए समाधान फोल्डर का संदर्भ लें
+
+1. _web-app_ फोल्डर में बनाने वाली पहली फाइल **requirements.txt** फाइल है। जैसे कि एक जावास्क्रिप्ट ऐप में _package.json_, यह फाइल ऐप द्वारा आवश्यक निर्भरताओं को सूचीबद्ध करती है। **requirements.txt** में निम्न पंक्तियाँ जोड़ें:
+
+ ```text
+ scikit-learn
+ pandas
+ numpy
+ flask
+ ```
+
+1. अब, इस फाइल को _web-app_ में नेविगेट करके चलाएँ:
+
+ ```bash
+ cd web-app
+ ```
+
+1. अपने टर्मिनल में _requirements.txt_ में सूचीबद्ध लाइब्रेरीज़ को स्थापित करने के लिए `pip install` टाइप करें:
+
+ ```bash
+ pip install -r requirements.txt
+ ```
+
+1. अब, ऐप को पूरा करने के लिए तीन और फाइलें बनाने के लिए तैयार हैं:
+
+ 1. रूट में **app.py** बनाएं।
+ 2. _templates_ निर्देशिका में **index.html** बनाएं।
+ 3. _static/css_ निर्देशिका में **styles.css** बनाएं।
+
+1. _styles.css_ फाइल को कुछ शैलियों के साथ बनाएं:
+
+ ```css
+ body {
+ width: 100%;
+ height: 100%;
+ font-family: 'Helvetica';
+ background: black;
+ color: #fff;
+ text-align: center;
+ letter-spacing: 1.4px;
+ font-size: 30px;
+ }
+
+ input {
+ min-width: 150px;
+ }
+
+ .grid {
+ width: 300px;
+ border: 1px solid #2d2d2d;
+ display: grid;
+ justify-content: center;
+ margin: 20px auto;
+ }
+
+ .box {
+ color: #fff;
+ background: #2d2d2d;
+ padding: 12px;
+ display: inline-block;
+ }
+ ```
+
+1. अगला, _index.html_ फाइल बनाएं:
+
+ ```html
+
+
+
+
+ 🛸 UFO Appearance Prediction! 👽 + + + + ++ ++ + + + ``` + + इस फाइल में टेम्पलेटिंग पर एक नज़र डालें। उन वेरिएबल्स के चारों ओर 'मस्टैच' सिंटैक्स पर ध्यान दें जिन्हें ऐप द्वारा प्रदान किया जाएगा, जैसे भविष्यवाणी टेक्स्ट: `{{}}`. There's also a form that posts a prediction to the `/predict` route. + + Finally, you're ready to build the python file that drives the consumption of the model and the display of predictions: + +1. In `app.py` में जोड़ें: + + ```python + import numpy as np + from flask import Flask, request, render_template + import pickle + + app = Flask(__name__) + + model = pickle.load(open("./ufo-model.pkl", "rb")) + + + @app.route("/") + def home(): + return render_template("index.html") + + + @app.route("/predict", methods=["POST"]) + def predict(): + + int_features = [int(x) for x in request.form.values()] + final_features = [np.array(int_features)] + prediction = model.predict(final_features) + + output = prediction[0] + + countries = ["Australia", "Canada", "Germany", "UK", "US"] + + return render_template( + "index.html", prediction_text="Likely country: {}".format(countries[output]) + ) + + + if __name__ == "__main__": + app.run(debug=True) + ``` + + > 💡 टिप: जब आप [`debug=True`](https://www.askpython.com/python-modules/flask/flask-debug-mode) while running the web app using Flask, any changes you make to your application will be reflected immediately without the need to restart the server. Beware! Don't enable this mode in a production app. + +If you run `python app.py` or `python3 app.py` - your web server starts up, locally, and you can fill out a short form to get an answer to your burning question about where UFOs have been sighted! + +Before doing that, take a look at the parts of `app.py`: + +1. First, dependencies are loaded and the app starts. +1. Then, the model is imported. +1. Then, index.html is rendered on the home route. + +On the `/predict` route, several things happen when the form is posted: + +1. The form variables are gathered and converted to a numpy array. They are then sent to the model and a prediction is returned. +2. The Countries that we want displayed are re-rendered as readable text from their predicted country code, and that value is sent back to index.html to be rendered in the template. + +Using a model this way, with Flask and a pickled model, is relatively straightforward. The hardest thing is to understand what shape the data is that must be sent to the model to get a prediction. That all depends on how the model was trained. This one has three data points to be input in order to get a prediction. + +In a professional setting, you can see how good communication is necessary between the folks who train the model and those who consume it in a web or mobile app. In our case, it's only one person, you! + +--- + +## 🚀 Challenge + +Instead of working in a notebook and importing the model to the Flask app, you could train the model right within the Flask app! Try converting your Python code in the notebook, perhaps after your data is cleaned, to train the model from within the app on a route called `train` जोड़ते हैं तो इसके फायदे और नुकसान क्या हैं? + +## [Post-lecture quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/18/) + +## समीक्षा और आत्म-अध्ययन + +मशीन लर्निंग मॉडल का उपभोग करने के लिए एक वेब ऐप बनाने के कई तरीके हैं। उन तरीकों की एक सूची बनाएं जिनसे आप जावास्क्रिप्ट या पायथन का उपयोग करके एक वेब ऐप बना सकते हैं ताकि मशीन लर्निंग का लाभ उठाया जा सके। आर्किटेक्चर पर विचार करें: क्या मॉडल को ऐप में रहना चाहिए या क्लाउड में रहना चाहिए? यदि बाद वाला, तो आप इसे कैसे एक्सेस करेंगे? एक लागू एमएल वेब समाधान के लिए एक आर्किटेक्चरल मॉडल बनाएं। + +## असाइनमेंट + +[एक अलग मॉडल आज़माएं](assignment.md) + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवाद में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल भाषा में मूल दस्तावेज़ को प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/3-Web-App/1-Web-App/assignment.md b/translations/hi/3-Web-App/1-Web-App/assignment.md new file mode 100644 index 000000000..23e3eb175 --- /dev/null +++ b/translations/hi/3-Web-App/1-Web-App/assignment.md @@ -0,0 +1,14 @@ +# एक अलग मॉडल आज़माएं + +## निर्देश + +अब जब आपने एक प्रशिक्षित Regression मॉडल का उपयोग करके एक वेब ऐप बना लिया है, तो पहले के Regression पाठ से एक मॉडल का उपयोग करके इस वेब ऐप को फिर से बनाएं। आप शैली को बनाए रख सकते हैं या इसे कद्दू डेटा को दर्शाने के लिए अलग तरीके से डिज़ाइन कर सकते हैं। अपने मॉडल के प्रशिक्षण विधि को प्रतिबिंबित करने के लिए इनपुट्स को बदलने में सावधानी बरतें। + +## मूल्यांकन + +| मापदंड | उत्कृष्ट | पर्याप्त | सुधार की आवश्यकता | +| -------------------------- | --------------------------------------------------------- | --------------------------------------------------------- | -------------------------------------- | +| | वेब ऐप अपेक्षित रूप से चलता है और क्लाउड में तैनात है | वेब ऐप में खामियां हैं या अप्रत्याशित परिणाम दिखाता है | वेब ऐप सही ढंग से कार्य नहीं करता है | + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयासरत हैं, कृपया ध्यान दें कि स्वचालित अनुवाद में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। अपनी मूल भाषा में मूल दस्तावेज़ को प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/3-Web-App/README.md b/translations/hi/3-Web-App/README.md new file mode 100644 index 000000000..501a1bac2 --- /dev/null +++ b/translations/hi/3-Web-App/README.md @@ -0,0 +1,24 @@ +# अपने ML मॉडल का उपयोग करने के लिए एक वेब ऐप बनाएं + +इस पाठ्यक्रम के इस भाग में, आपको एक लागू ML विषय से परिचित कराया जाएगा: अपने Scikit-learn मॉडल को एक फ़ाइल के रूप में कैसे सहेजें जिसे वेब एप्लिकेशन के भीतर भविष्यवाणियां करने के लिए उपयोग किया जा सकता है। एक बार जब मॉडल सहेजा जाता है, तो आप सीखेंगे कि इसे Flask में निर्मित एक वेब ऐप में कैसे उपयोग किया जाए। आप सबसे पहले कुछ डेटा का उपयोग करके एक मॉडल बनाएंगे जो यूएफओ देखे जाने के बारे में है! फिर, आप एक वेब ऐप बनाएंगे जो आपको एक संख्या में सेकंड के साथ अक्षांश और देशांतर मान दर्ज करने की अनुमति देगा ताकि यह भविष्यवाणी की जा सके कि किस देश ने यूएफओ देखने की रिपोर्ट की है। + + + +Michael Herren द्वारा Unsplash पर फोटो + +## पाठ + +1. [एक वेब ऐप बनाएं](1-Web-App/README.md) + +## श्रेय + +"Build a Web App" को ♥️ से [Jen Looper](https://twitter.com/jenlooper) द्वारा लिखा गया था। + +♥️ क्विज़ को Rohan Raj द्वारा लिखा गया था। + +डेटासेट [Kaggle](https://www.kaggle.com/NUFORC/ufo-sightings) से प्राप्त किया गया है। + +वेब ऐप आर्किटेक्चर को आंशिक रूप से [इस लेख](https://towardsdatascience.com/how-to-easily-deploy-machine-learning-models-using-flask-b95af8fe34d4) और [इस रेपो](https://github.com/abhinavsagar/machine-learning-deployment) द्वारा Abhinav Sagar द्वारा सुझाया गया था। + +**अस्वीकरण**: +इस दस्तावेज़ का अनुवाद मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल भाषा में मूल दस्तावेज़ को प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/4-Classification/1-Introduction/README.md b/translations/hi/4-Classification/1-Introduction/README.md new file mode 100644 index 000000000..086ad8eab --- /dev/null +++ b/translations/hi/4-Classification/1-Introduction/README.md @@ -0,0 +1,302 @@ +# वर्गीकरण का परिचय + +इन चार पाठों में, आप क्लासिक मशीन लर्निंग के एक मौलिक फोकस - _वर्गीकरण_ का अन्वेषण करेंगे। हम एशिया और भारत के सभी शानदार व्यंजनों के बारे में एक डेटासेट का उपयोग करके विभिन्न वर्गीकरण एल्गोरिदम का उपयोग करेंगे। आशा है कि आप भूखे हैं! + + + +> इन पाठों में पैन-एशियाई व्यंजनों का जश्न मनाएं! छवि [Jen Looper](https://twitter.com/jenlooper) द्वारा + +वर्गीकरण [सुपरवाइज्ड लर्निंग](https://wikipedia.org/wiki/Supervised_learning) का एक रूप है जो प्रतिगमन तकनीकों के साथ बहुत कुछ समानता रखता है। यदि मशीन लर्निंग का सार यह है कि यह डेटा सेट्स का उपयोग करके चीजों के मान या नामों की भविष्यवाणी करता है, तो वर्गीकरण आमतौर पर दो समूहों में आता है: _बाइनरी वर्गीकरण_ और _मल्टीक्लास वर्गीकरण_। + +[](https://youtu.be/eg8DJYwdMyg "वर्गीकरण का परिचय") + +> 🎥 ऊपर की छवि पर क्लिक करें: MIT के John Guttag वर्गीकरण का परिचय देते हैं + +याद रखें: + +- **लिनियर रिग्रेशन** ने आपको चर के बीच संबंधों की भविष्यवाणी करने और यह सटीक भविष्यवाणी करने में मदद की कि एक नया डेटा पॉइंट उस रेखा के संबंध में कहाँ गिरेगा। तो, आप भविष्यवाणी कर सकते थे कि _सितंबर और दिसंबर में कद्दू की कीमत क्या होगी_। +- **लॉजिस्टिक रिग्रेशन** ने आपको "बाइनरी श्रेणियाँ" खोजने में मदद की: इस मूल्य बिंदु पर, _क्या यह कद्दू नारंगी है या नहीं_? + +वर्गीकरण विभिन्न एल्गोरिदम का उपयोग करके यह निर्धारित करता है कि किसी डेटा पॉइंट का लेबल या वर्ग क्या हो सकता है। आइए इस व्यंजन डेटा के साथ काम करें और देखें कि क्या हम सामग्री के समूह का अवलोकन करके इसके मूल व्यंजन का निर्धारण कर सकते हैं। + +## [प्री-लेक्चर क्विज़](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/19/) + +> ### [यह पाठ R में भी उपलब्ध है!](../../../../4-Classification/1-Introduction/solution/R/lesson_10.html) + +### परिचय + +वर्गीकरण मशीन लर्निंग शोधकर्ता और डेटा वैज्ञानिक की मौलिक गतिविधियों में से एक है। एक बाइनरी मूल्य का बुनियादी वर्गीकरण ("क्या यह ईमेल स्पैम है या नहीं?") से लेकर जटिल छवि वर्गीकरण और कंप्यूटर दृष्टि का उपयोग करके विभाजन तक, डेटा को वर्गों में क्रमबद्ध करने और उससे प्रश्न पूछने में सक्षम होना हमेशा उपयोगी होता है। + +इस प्रक्रिया को अधिक वैज्ञानिक तरीके से बताने के लिए, आपकी वर्गीकरण विधि एक भविष्यवाणी मॉडल बनाती है जो आपको इनपुट चर और आउटपुट चर के बीच संबंध को मैप करने में सक्षम बनाती है। + + + +> वर्गीकरण एल्गोरिदम को संभालने के लिए बाइनरी बनाम मल्टीक्लास समस्याएं। इन्फोग्राफिक [Jen Looper](https://twitter.com/jenlooper) द्वारा + +हमारे डेटा को साफ करने, उसे विज़ुअलाइज़ करने और हमारे एमएल कार्यों के लिए तैयार करने की प्रक्रिया शुरू करने से पहले, आइए जानें कि मशीन लर्निंग का उपयोग करके डेटा को वर्गीकृत करने के विभिन्न तरीके क्या हैं। + +[सांख्यिकी](https://wikipedia.org/wiki/Statistical_classification) से व्युत्पन्न, क्लासिक मशीन लर्निंग का उपयोग करके वर्गीकरण सुविधाओं का उपयोग करता है, जैसे कि `smoker`, `weight`, और `age` यह निर्धारित करने के लिए कि _X बीमारी के विकास की संभावना_। एक सुपरवाइज्ड लर्निंग तकनीक के रूप में, जो आपने पहले किए गए रिग्रेशन अभ्यासों के समान है, आपका डेटा लेबल किया गया है और एमएल एल्गोरिदम उन लेबलों का उपयोग डेटासेट की श्रेणियों (या 'फीचर्स') को वर्गीकृत करने और उन्हें एक समूह या परिणाम में असाइन करने के लिए करते हैं। + +✅ कल्पना करें कि आपके पास व्यंजनों के बारे में एक डेटासेट है। एक मल्टीक्लास मॉडल किस प्रकार के प्रश्नों का उत्तर दे सकता है? एक बाइनरी मॉडल किस प्रकार के प्रश्नों का उत्तर दे सकता है? यदि आप यह निर्धारित करना चाहते हैं कि कोई विशेष व्यंजन मेथी का उपयोग करता है या नहीं? या यदि आप यह देखना चाहते हैं कि, एक उपहार में स्टार ऐनीज़, आर्टिचोक, फूलगोभी, और हॉर्सरैडिश से भरी एक किराने की थैली प्राप्त करने पर, आप एक विशिष्ट भारतीय व्यंजन बना सकते हैं? + +[](https://youtu.be/GuTeDbaNoEU "पागल रहस्यमय बास्केट") + +> 🎥 ऊपर की छवि पर क्लिक करें। शो 'चॉप्ड' का पूरा आधार 'मिस्ट्री बास्केट' है जहां शेफ को कुछ यादृच्छिक सामग्री से कोई डिश बनानी होती है। निश्चित रूप से एक एमएल मॉडल ने मदद की होगी! + +## हैलो 'क्लासिफायर' + +इस व्यंजन डेटासेट से हम जो प्रश्न पूछना चाहते हैं वह वास्तव में एक **मल्टीक्लास प्रश्न** है, क्योंकि हमारे पास काम करने के लिए कई संभावित राष्ट्रीय व्यंजन हैं। सामग्री के एक बैच को देखते हुए, इन कई वर्गों में से कौन सा डेटा फिट होगा? + +स्किट-लर्न विभिन्न प्रकार की समस्याओं को हल करने के लिए डेटा को वर्गीकृत करने के लिए कई अलग-अलग एल्गोरिदम प्रदान करता है। अगले दो पाठों में, आप इनमें से कई एल्गोरिदम के बारे में जानेंगे। + +## अभ्यास - अपने डेटा को साफ और संतुलित करें + +इस प्रोजेक्ट को शुरू करने से पहले पहला कार्य अपने डेटा को साफ और **संतुलित** करना है ताकि बेहतर परिणाम मिल सकें। इस फ़ोल्डर की रूट में खाली _notebook.ipynb_ फ़ाइल से प्रारंभ करें। + +सबसे पहले जो इंस्टॉल करना है वह है [imblearn](https://imbalanced-learn.org/stable/)। यह एक स्किट-लर्न पैकेज है जो आपको डेटा को बेहतर संतुलित करने की अनुमति देगा (आप इस कार्य के बारे में एक मिनट में और जानेंगे)। + +1. `imblearn` को इंस्टॉल करने के लिए, `pip install` चलाएँ, जैसे: + + ```python + pip install imblearn + ``` + +1. अपने डेटा को आयात करने और उसे विज़ुअलाइज़ करने के लिए आवश्यक पैकेज आयात करें, साथ ही `imblearn` से `SMOTE` भी आयात करें। + + ```python + import pandas as pd + import matplotlib.pyplot as plt + import matplotlib as mpl + import numpy as np + from imblearn.over_sampling import SMOTE + ``` + + अब आप डेटा आयात करने के लिए तैयार हैं। + +1. अगला कार्य डेटा आयात करना होगा: + + ```python + df = pd.read_csv('../data/cuisines.csv') + ``` + + `read_csv()` will read the content of the csv file _cusines.csv_ and place it in the variable `df` का उपयोग करना। + +1. डेटा के आकार की जाँच करें: + + ```python + df.head() + ``` + + पहली पाँच पंक्तियाँ इस प्रकार दिखती हैं: + + ```output + | | Unnamed: 0 | cuisine | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | + | --- | ---------- | ------- | ------ | -------- | ----- | ---------- | ----- | ------------ | ------- | -------- | --- | ------- | ----------- | ---------- | ----------------------- | ---- | ---- | --- | ----- | ------ | -------- | + | 0 | 65 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 1 | 66 | indian | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 2 | 67 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 3 | 68 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 4 | 69 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | + ``` + +1. `info()` कॉल करके इस डेटा के बारे में जानकारी प्राप्त करें: + + ```python + df.info() + ``` + + आपका आउटपुट इस प्रकार दिखता है: + + ```output ++ ++ +According to the number of seconds, latitude and longitude, which country is likely to have reported seeing a UFO?
+ + + +{{ prediction_text }}
+ ++ RangeIndex: 2448 entries, 0 to 2447 + Columns: 385 entries, Unnamed: 0 to zucchini + dtypes: int64(384), object(1) + memory usage: 7.2+ MB + ``` + +## अभ्यास - व्यंजनों के बारे में सीखना + +अब काम अधिक दिलचस्प हो जाता है। आइए देखें कि डेटा का वितरण प्रत्येक व्यंजन के अनुसार कैसा है। + +1. `barh()` कॉल करके डेटा को बार के रूप में प्लॉट करें: + + ```python + df.cuisine.value_counts().plot.barh() + ``` + +  + + व्यंजनों की संख्या सीमित है, लेकिन डेटा का वितरण असमान है। आप इसे ठीक कर सकते हैं! ऐसा करने से पहले, थोड़ा और अन्वेषण करें। + +1. पता करें कि प्रत्येक व्यंजन के लिए कितना डेटा उपलब्ध है और इसे प्रिंट करें: + + ```python + thai_df = df[(df.cuisine == "thai")] + japanese_df = df[(df.cuisine == "japanese")] + chinese_df = df[(df.cuisine == "chinese")] + indian_df = df[(df.cuisine == "indian")] + korean_df = df[(df.cuisine == "korean")] + + print(f'thai df: {thai_df.shape}') + print(f'japanese df: {japanese_df.shape}') + print(f'chinese df: {chinese_df.shape}') + print(f'indian df: {indian_df.shape}') + print(f'korean df: {korean_df.shape}') + ``` + + आउटपुट इस प्रकार दिखता है: + + ```output + thai df: (289, 385) + japanese df: (320, 385) + chinese df: (442, 385) + indian df: (598, 385) + korean df: (799, 385) + ``` + +## सामग्री की खोज + +अब आप डेटा में गहराई से जा सकते हैं और जान सकते हैं कि प्रत्येक व्यंजन के लिए सामान्य सामग्री क्या हैं। आपको पुनरावर्ती डेटा को साफ करना चाहिए जो व्यंजनों के बीच भ्रम पैदा करता है, तो आइए इस समस्या के बारे में जानें। + +1. एक फ़ंक्शन `create_ingredient()` बनाएं जो सामग्री का डेटा फ्रेम बनाए। यह फ़ंक्शन एक अनुपयोगी कॉलम को हटाकर और सामग्री को उनकी गिनती के अनुसार क्रमबद्ध करके शुरू होगा: + + ```python + def create_ingredient_df(df): + ingredient_df = df.T.drop(['cuisine','Unnamed: 0']).sum(axis=1).to_frame('value') + ingredient_df = ingredient_df[(ingredient_df.T != 0).any()] + ingredient_df = ingredient_df.sort_values(by='value', ascending=False, + inplace=False) + return ingredient_df + ``` + + अब आप इस फ़ंक्शन का उपयोग करके प्रत्येक व्यंजन के लिए शीर्ष दस सबसे लोकप्रिय सामग्री का अंदाजा लगा सकते हैं। + +1. `create_ingredient()` and plot it calling `barh()` कॉल करें: + + ```python + thai_ingredient_df = create_ingredient_df(thai_df) + thai_ingredient_df.head(10).plot.barh() + ``` + +  + +1. जापानी डेटा के लिए भी ऐसा ही करें: + + ```python + japanese_ingredient_df = create_ingredient_df(japanese_df) + japanese_ingredient_df.head(10).plot.barh() + ``` + +  + +1. अब चीनी सामग्री के लिए: + + ```python + chinese_ingredient_df = create_ingredient_df(chinese_df) + chinese_ingredient_df.head(10).plot.barh() + ``` + +  + +1. भारतीय सामग्री को प्लॉट करें: + + ```python + indian_ingredient_df = create_ingredient_df(indian_df) + indian_ingredient_df.head(10).plot.barh() + ``` + +  + +1. अंत में, कोरियाई सामग्री को प्लॉट करें: + + ```python + korean_ingredient_df = create_ingredient_df(korean_df) + korean_ingredient_df.head(10).plot.barh() + ``` + +  + +1. अब, `drop()` कॉल करके उन सामान्य सामग्रियों को हटा दें जो विभिन्न व्यंजनों के बीच भ्रम पैदा करती हैं: + + हर कोई चावल, लहसुन और अदरक से प्यार करता है! + + ```python + feature_df= df.drop(['cuisine','Unnamed: 0','rice','garlic','ginger'], axis=1) + labels_df = df.cuisine #.unique() + feature_df.head() + ``` + +## डेटासेट को संतुलित करें + +अब जब आपने डेटा को साफ कर लिया है, तो इसे संतुलित करने के लिए [SMOTE](https://imbalanced-learn.org/dev/references/generated/imblearn.over_sampling.SMOTE.html) - "सिंथेटिक माइनॉरिटी ओवर-सैंपलिंग तकनीक" का उपयोग करें। + +1. `fit_resample()` कॉल करें, यह रणनीति इंटरपोलेशन द्वारा नए नमूने उत्पन्न करती है। + + ```python + oversample = SMOTE() + transformed_feature_df, transformed_label_df = oversample.fit_resample(feature_df, labels_df) + ``` + + अपने डेटा को संतुलित करके, आपके पास इसे वर्गीकृत करने में बेहतर परिणाम होंगे। एक बाइनरी वर्गीकरण के बारे में सोचें। यदि आपके अधिकांश डेटा एक वर्ग के हैं, तो एक एमएल मॉडल उस वर्ग की अधिक बार भविष्यवाणी करेगा, सिर्फ इसलिए कि उसके लिए अधिक डेटा है। डेटा को संतुलित करना किसी भी विकृत डेटा को लेता है और इस असंतुलन को हटाने में मदद करता है। + +1. अब आप सामग्री प्रति लेबल की संख्या की जाँच कर सकते हैं: + + ```python + print(f'new label count: {transformed_label_df.value_counts()}') + print(f'old label count: {df.cuisine.value_counts()}') + ``` + + आपका आउटपुट इस प्रकार दिखता है: + + ```output + new label count: korean 799 + chinese 799 + indian 799 + japanese 799 + thai 799 + Name: cuisine, dtype: int64 + old label count: korean 799 + indian 598 + chinese 442 + japanese 320 + thai 289 + Name: cuisine, dtype: int64 + ``` + + डेटा अच्छा और साफ है, संतुलित है, और बहुत स्वादिष्ट है! + +1. अंतिम चरण आपके संतुलित डेटा को, जिसमें लेबल और फीचर्स शामिल हैं, एक नए डेटा फ्रेम में सहेजना है जिसे एक फ़ाइल में निर्यात किया जा सकता है: + + ```python + transformed_df = pd.concat([transformed_label_df,transformed_feature_df],axis=1, join='outer') + ``` + +1. आप `transformed_df.head()` and `transformed_df.info()` का उपयोग करके डेटा पर एक और नज़र डाल सकते हैं। भविष्य के पाठों में उपयोग के लिए इस डेटा की एक प्रति सहेजें: + + ```python + transformed_df.head() + transformed_df.info() + transformed_df.to_csv("../data/cleaned_cuisines.csv") + ``` + + यह ताज़ा CSV अब रूट डेटा फ़ोल्डर में पाई जा सकती है। + +--- + +## 🚀चुनौती + +इस पाठ्यक्रम में कई दिलचस्प डेटासेट शामिल हैं। `data` फ़ोल्डरों के माध्यम से खुदाई करें और देखें कि क्या कोई ऐसा डेटासेट है जो बाइनरी या मल्टी-क्लास वर्गीकरण के लिए उपयुक्त होगा? आप इस डेटासेट से कौन से प्रश्न पूछेंगे? + +## [पोस्ट-लेक्चर क्विज़](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/20/) + +## समीक्षा और आत्म-अध्ययन + +SMOTE के API का अन्वेषण करें। इसे किस प्रकार के उपयोग मामलों के लिए सबसे अच्छा उपयोग किया जाता है? यह किन समस्याओं का समाधान करता है? + +## असाइनमेंट + +[वर्गीकरण विधियों का अन्वेषण करें](assignment.md) + +**अस्वीकरण**: +इस दस्तावेज़ का अनुवाद मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवाद में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/4-Classification/1-Introduction/assignment.md b/translations/hi/4-Classification/1-Introduction/assignment.md new file mode 100644 index 000000000..c9a305669 --- /dev/null +++ b/translations/hi/4-Classification/1-Introduction/assignment.md @@ -0,0 +1,14 @@ +# वर्गीकरण विधियों का अन्वेषण करें + +## निर्देश + +[Scikit-learn दस्तावेज़](https://scikit-learn.org/stable/supervised_learning.html) में आपको डेटा को वर्गीकृत करने के कई तरीके मिलेंगे। इन दस्तावेज़ों में थोड़ा सा खोज करें: आपका लक्ष्य वर्गीकरण विधियों को खोजना और इस पाठ्यक्रम में एक डेटासेट, एक प्रश्न जिसे आप इससे पूछ सकते हैं, और एक वर्गीकरण तकनीक को मिलाना है। एक स्प्रेडशीट या तालिका एक .doc फ़ाइल में बनाएं और समझाएं कि डेटासेट वर्गीकरण एल्गोरिदम के साथ कैसे काम करेगा। + +## मूल्यांकन + +| मापदंड | उत्कृष्ट | पर्याप्त | सुधार की आवश्यकता | +|--------|-----------------------------------------------------------------------------------------------------------------------------------|-----------------------------------------------------------------------------------------------------------------------------------|-------------------------------------------------------------------------------------------------------------------------------------------------------------| +| | एक दस्तावेज़ प्रस्तुत किया गया है जिसमें 5 एल्गोरिदम के साथ एक वर्गीकरण तकनीक का अवलोकन है। अवलोकन अच्छी तरह से समझाया गया है और विस्तृत है। | एक दस्तावेज़ प्रस्तुत किया गया है जिसमें 3 एल्गोरिदम के साथ एक वर्गीकरण तकनीक का अवलोकन है। अवलोकन अच्छी तरह से समझाया गया है और विस्तृत है। | एक दस्तावेज़ प्रस्तुत किया गया है जिसमें तीन से कम एल्गोरिदम के साथ एक वर्गीकरण तकनीक का अवलोकन है और अवलोकन न तो अच्छी तरह से समझाया गया है और न ही विस्तृत है। | + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल भाषा में मूल दस्तावेज़ को प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम जिम्मेदार नहीं हैं। \ No newline at end of file diff --git a/translations/hi/4-Classification/1-Introduction/solution/Julia/README.md b/translations/hi/4-Classification/1-Introduction/solution/Julia/README.md new file mode 100644 index 000000000..9acee712b --- /dev/null +++ b/translations/hi/4-Classification/1-Introduction/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/4-Classification/2-Classifiers-1/README.md b/translations/hi/4-Classification/2-Classifiers-1/README.md new file mode 100644 index 000000000..b4433125d --- /dev/null +++ b/translations/hi/4-Classification/2-Classifiers-1/README.md @@ -0,0 +1,77 @@ +# व्यंजन वर्गीकरणकर्ता 1 + +इस पाठ में, आप पिछले पाठ से सहेजे गए संतुलित और साफ डेटा से भरे डेटासेट का उपयोग करेंगे, जो सभी व्यंजनों के बारे में है। + +आप इस डेटासेट का उपयोग विभिन्न वर्गीकरणकर्ताओं के साथ करेंगे ताकि _सामग्री के एक समूह के आधार पर किसी दिए गए राष्ट्रीय व्यंजन की भविष्यवाणी की जा सके_। ऐसा करते समय, आप उन तरीकों के बारे में अधिक जानेंगे जिनसे एल्गोरिदम को वर्गीकरण कार्यों के लिए उपयोग किया जा सकता है। + +## [पाठ पूर्व क्विज़](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/21/) +# तैयारी + +मान लेते हैं कि आपने [पाठ 1](../1-Introduction/README.md) पूरा कर लिया है, सुनिश्चित करें कि इन चार पाठों के लिए रूट `/data` फ़ोल्डर में एक _cleaned_cuisines.csv_ फ़ाइल मौजूद है। + +## अभ्यास - एक राष्ट्रीय व्यंजन की भविष्यवाणी करें + +1. इस पाठ के _notebook.ipynb_ फ़ोल्डर में काम करते हुए, उस फ़ाइल को पांडस लाइब्रेरी के साथ आयात करें: + + ```python + import pandas as pd + cuisines_df = pd.read_csv("../data/cleaned_cuisines.csv") + cuisines_df.head() + ``` + + डेटा इस प्रकार दिखता है: + +| | Unnamed: 0 | cuisine | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | +| --- | ---------- | ------- | ------ | -------- | ----- | ---------- | ----- | ------------ | ------- | -------- | --- | ------- | ----------- | ---------- | ----------------------- | ---- | ---- | --- | ----- | ------ | -------- | +| 0 | 0 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 1 | 1 | indian | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 2 | 2 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 3 | 3 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 4 | 4 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | + + +1. अब, कई और लाइब्रेरी आयात करें: + + ```python + from sklearn.linear_model import LogisticRegression + from sklearn.model_selection import train_test_split, cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report, precision_recall_curve + from sklearn.svm import SVC + import numpy as np + ``` + +1. प्रशिक्षण के लिए X और y निर्देशांक को दो डेटा फ्रेम में विभाजित करें। `cuisine` लेबल डेटा फ्रेम हो सकता है: + + ```python + cuisines_label_df = cuisines_df['cuisine'] + cuisines_label_df.head() + ``` + + यह इस प्रकार दिखेगा: + + ```output + 0 indian + 1 indian + 2 indian + 3 indian + 4 indian + Name: cuisine, dtype: object + ``` + +1. उस `Unnamed: 0` column and the `cuisine` column, calling `drop()` को हटा दें। शेष डेटा को ट्रेन करने योग्य फीचर्स के रूप में सहेजें: + + ```python + cuisines_feature_df = cuisines_df.drop(['Unnamed: 0', 'cuisine'], axis=1) + cuisines_feature_df.head() + ``` + + आपके फीचर्स इस प्रकार दिखते हैं: + +| | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | artemisia | artichoke | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | +| ---: | -----: | -------: | ----: | ---------: | ----: | -----------: | ------: | -------: | --------: | --------: | ---: | ------: | ----------: | ---------: | ----------------------: | ---: | ---: | ---: | ----: | -----: | -------: | +| 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 1 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 2 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | + +**अस्वीकरण**: +इस दस्तावेज़ का अनुवाद मशीन-आधारित AI अनुवाद सेवाओं का उपयोग करके किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवाद में त्रुटियाँ या गलतियाँ हो सकती हैं। अपनी मूल भाषा में मूल दस्तावेज़ को प्राधिकृत स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/4-Classification/2-Classifiers-1/assignment.md b/translations/hi/4-Classification/2-Classifiers-1/assignment.md new file mode 100644 index 000000000..5ae52e095 --- /dev/null +++ b/translations/hi/4-Classification/2-Classifiers-1/assignment.md @@ -0,0 +1,12 @@ +# सॉल्वर्स का अध्ययन करें +## निर्देश + +इस पाठ में आपने विभिन्न सॉल्वर्स के बारे में सीखा जो एल्गोरिदम को मशीन लर्निंग प्रक्रिया के साथ जोड़ते हैं ताकि एक सटीक मॉडल बनाया जा सके। पाठ में सूचीबद्ध सॉल्वर्स का अवलोकन करें और उनमें से दो का चयन करें। अपने शब्दों में, इन दो सॉल्वर्स की तुलना और विरोधाभास करें। वे किस प्रकार की समस्या का समाधान करते हैं? वे विभिन्न डेटा संरचनाओं के साथ कैसे काम करते हैं? आप एक को दूसरे के ऊपर क्यों चुनेंगे? +## मूल्यांकन मानदंड + +| मानदंड | उत्कृष्टता | पर्याप्तता | सुधार की आवश्यकता | +| -------- | ---------------------------------------------------------------------------------------------- | ------------------------------------------------ | ---------------------------- | +| | एक .doc फ़ाइल प्रस्तुत की गई है जिसमें प्रत्येक सॉल्वर पर विचारशील तुलना के साथ दो पैराग्राफ हैं। | एक .doc फ़ाइल प्रस्तुत की गई है जिसमें केवल एक पैराग्राफ है | असाइनमेंट अधूरा है | + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवाद में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल भाषा में मूल दस्तावेज़ को प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/4-Classification/2-Classifiers-1/solution/Julia/README.md b/translations/hi/4-Classification/2-Classifiers-1/solution/Julia/README.md new file mode 100644 index 000000000..1f1876a24 --- /dev/null +++ b/translations/hi/4-Classification/2-Classifiers-1/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित AI अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवाद में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/4-Classification/3-Classifiers-2/README.md b/translations/hi/4-Classification/3-Classifiers-2/README.md new file mode 100644 index 000000000..5c815d65e --- /dev/null +++ b/translations/hi/4-Classification/3-Classifiers-2/README.md @@ -0,0 +1,238 @@ +# क्यूज़ीन वर्गीकरणकर्ता 2 + +इस दूसरे वर्गीकरण पाठ में, आप संख्यात्मक डेटा को वर्गीकृत करने के और भी तरीके जानेंगे। आप यह भी सीखेंगे कि एक वर्गीकरणकर्ता को दूसरे पर चुनने के परिणाम क्या हो सकते हैं। + +## [पाठ-पूर्व क्विज़](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/23/) + +### पूर्वापेक्षा + +हम मानते हैं कि आपने पिछले पाठों को पूरा कर लिया है और आपके पास आपके `data` फ़ोल्डर में _cleaned_cuisines.csv_ नामक एक साफ़ किया हुआ डेटासेट है, जो इस 4-पाठ वाले फ़ोल्डर की जड़ में है। + +### तैयारी + +हमने आपके _notebook.ipynb_ फ़ाइल को साफ़ किए गए डेटासेट के साथ लोड कर दिया है और इसे X और y डेटा फ्रेम में विभाजित कर दिया है, जो मॉडल निर्माण प्रक्रिया के लिए तैयार हैं। + +## एक वर्गीकरण मानचित्र + +पहले, आपने माइक्रोसॉफ्ट के चीट शीट का उपयोग करके डेटा को वर्गीकृत करने के विभिन्न विकल्पों के बारे में सीखा था। Scikit-learn एक समान, लेकिन अधिक विस्तृत चीट शीट प्रदान करता है जो आपके वर्गीकरणकर्ताओं (वर्गीकरणकर्ताओं के लिए एक और शब्द) को और अधिक संकीर्ण करने में मदद कर सकता है: + + +> टिप: [इस मानचित्र को ऑनलाइन देखें](https://scikit-learn.org/stable/tutorial/machine_learning_map/) और दस्तावेज़ पढ़ने के लिए रास्ते पर क्लिक करें। + +### योजना + +यह मानचित्र आपके डेटा की स्पष्ट समझ होने के बाद बहुत सहायक होता है, क्योंकि आप इसके रास्तों पर 'चल' सकते हैं और निर्णय ले सकते हैं: + +- हमारे पास >50 नमूने हैं +- हम एक श्रेणी की भविष्यवाणी करना चाहते हैं +- हमारे पास लेबल किया हुआ डेटा है +- हमारे पास 100K से कम नमूने हैं +- ✨ हम एक Linear SVC चुन सकते हैं +- यदि यह काम नहीं करता है, क्योंकि हमारे पास संख्यात्मक डेटा है + - हम ✨ KNeighbors Classifier आज़मा सकते हैं + - यदि यह काम नहीं करता है, तो ✨ SVC और ✨ Ensemble Classifiers आज़माएं + +यह अनुसरण करने के लिए एक बहुत ही सहायक मार्ग है। + +## अभ्यास - डेटा विभाजित करें + +इस मार्ग का अनुसरण करते हुए, हमें कुछ पुस्तकालयों को आयात करके शुरू करना चाहिए। + +1. आवश्यक पुस्तकालयों को आयात करें: + + ```python + from sklearn.neighbors import KNeighborsClassifier + from sklearn.linear_model import LogisticRegression + from sklearn.svm import SVC + from sklearn.ensemble import RandomForestClassifier, AdaBoostClassifier + from sklearn.model_selection import train_test_split, cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report, precision_recall_curve + import numpy as np + ``` + +1. अपने प्रशिक्षण और परीक्षण डेटा को विभाजित करें: + + ```python + X_train, X_test, y_train, y_test = train_test_split(cuisines_feature_df, cuisines_label_df, test_size=0.3) + ``` + +## Linear SVC वर्गीकरणकर्ता + +सपोर्ट-वेेक्टर क्लस्टरिंग (SVC) सपोर्ट-वेेक्टर मशीनों के परिवार का एक हिस्सा है (इनके बारे में नीचे और जानें)। इस विधि में, आप लेबल्स को क्लस्टर करने के लिए एक 'कर्नेल' चुन सकते हैं। 'C' पैरामीटर 'रेगुलराइजेशन' को संदर्भित करता है जो पैरामीटरों के प्रभाव को नियंत्रित करता है। कर्नेल [कई](https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html#sklearn.svm.SVC) में से एक हो सकता है; यहाँ हम इसे 'linear' पर सेट करते हैं ताकि हम linear SVC का लाभ उठा सकें। Probability डिफ़ॉल्ट रूप से 'false' है; यहाँ हम इसे 'true' पर सेट करते हैं ताकि संभाव्यता अनुमान प्राप्त कर सकें। हम रैंडम स्टेट को '0' पर सेट करते हैं ताकि डेटा को शफल किया जा सके और संभाव्यताओं को प्राप्त किया जा सके। + +### अभ्यास - एक linear SVC लागू करें + +क्लासिफ़ायरों की एक array बनाकर शुरू करें। हम परीक्षण करते समय इस array में क्रमशः जोड़ते जाएंगे। + +1. एक Linear SVC के साथ शुरू करें: + + ```python + C = 10 + # Create different classifiers. + classifiers = { + 'Linear SVC': SVC(kernel='linear', C=C, probability=True,random_state=0) + } + ``` + +2. अपने मॉडल को Linear SVC का उपयोग करके प्रशिक्षित करें और एक रिपोर्ट प्रिंट करें: + + ```python + n_classifiers = len(classifiers) + + for index, (name, classifier) in enumerate(classifiers.items()): + classifier.fit(X_train, np.ravel(y_train)) + + y_pred = classifier.predict(X_test) + accuracy = accuracy_score(y_test, y_pred) + print("Accuracy (train) for %s: %0.1f%% " % (name, accuracy * 100)) + print(classification_report(y_test,y_pred)) + ``` + + परिणाम काफी अच्छा है: + + ```output + Accuracy (train) for Linear SVC: 78.6% + precision recall f1-score support + + chinese 0.71 0.67 0.69 242 + indian 0.88 0.86 0.87 234 + japanese 0.79 0.74 0.76 254 + korean 0.85 0.81 0.83 242 + thai 0.71 0.86 0.78 227 + + accuracy 0.79 1199 + macro avg 0.79 0.79 0.79 1199 + weighted avg 0.79 0.79 0.79 1199 + ``` + +## K-Neighbors वर्गीकरणकर्ता + +K-Neighbors "पड़ोसियों" परिवार का हिस्सा है, जिसका उपयोग पर्यवेक्षित और बिना पर्यवेक्षण दोनों प्रकार के शिक्षण के लिए किया जा सकता है। इस विधि में, एक पूर्वनिर्धारित संख्या के बिंदु बनाए जाते हैं और डेटा को इन बिंदुओं के चारों ओर एकत्र किया जाता है ताकि डेटा के लिए सामान्यीकृत लेबल की भविष्यवाणी की जा सके। + +### अभ्यास - K-Neighbors वर्गीकरणकर्ता लागू करें + +पिछला वर्गीकरणकर्ता अच्छा था और डेटा के साथ अच्छी तरह से काम किया, लेकिन शायद हम बेहतर सटीकता प्राप्त कर सकते हैं। एक K-Neighbors वर्गीकरणकर्ता आज़माएं। + +1. अपने क्लासिफ़ायर array में एक लाइन जोड़ें (Linear SVC आइटम के बाद एक कॉमा जोड़ें): + + ```python + 'KNN classifier': KNeighborsClassifier(C), + ``` + + परिणाम थोड़ा खराब है: + + ```output + Accuracy (train) for KNN classifier: 73.8% + precision recall f1-score support + + chinese 0.64 0.67 0.66 242 + indian 0.86 0.78 0.82 234 + japanese 0.66 0.83 0.74 254 + korean 0.94 0.58 0.72 242 + thai 0.71 0.82 0.76 227 + + accuracy 0.74 1199 + macro avg 0.76 0.74 0.74 1199 + weighted avg 0.76 0.74 0.74 1199 + ``` + + ✅ [K-Neighbors](https://scikit-learn.org/stable/modules/neighbors.html#neighbors) के बारे में जानें + +## सपोर्ट वेक्टर क्लासिफायर + +सपोर्ट-वेेक्टर क्लासिफायर [सपोर्ट-वेेक्टर मशीन](https://wikipedia.org/wiki/Support-vector_machine) परिवार का हिस्सा हैं, जिनका उपयोग वर्गीकरण और प्रतिगमन कार्यों के लिए किया जाता है। SVMs "प्रशिक्षण उदाहरणों को स्थान में बिंदुओं पर मैप करते हैं" ताकि दो श्रेणियों के बीच की दूरी को अधिकतम किया जा सके। इसके बाद का डेटा इस स्थान में मैप किया जाता है ताकि उनकी श्रेणी की भविष्यवाणी की जा सके। + +### अभ्यास - सपोर्ट वेक्टर क्लासिफायर लागू करें + +आइए सपोर्ट वेक्टर क्लासिफायर के साथ थोड़ी बेहतर सटीकता प्राप्त करने का प्रयास करें। + +1. K-Neighbors आइटम के बाद एक कॉमा जोड़ें, और फिर इस लाइन को जोड़ें: + + ```python + 'SVC': SVC(), + ``` + + परिणाम काफी अच्छा है! + + ```output + Accuracy (train) for SVC: 83.2% + precision recall f1-score support + + chinese 0.79 0.74 0.76 242 + indian 0.88 0.90 0.89 234 + japanese 0.87 0.81 0.84 254 + korean 0.91 0.82 0.86 242 + thai 0.74 0.90 0.81 227 + + accuracy 0.83 1199 + macro avg 0.84 0.83 0.83 1199 + weighted avg 0.84 0.83 0.83 1199 + ``` + + ✅ [सपोर्ट-वेेक्टर](https://scikit-learn.org/stable/modules/svm.html#svm) के बारे में जानें + +## एन्सेम्बल क्लासिफायर + +आइए इस रास्ते के अंत तक जाएं, भले ही पिछला परीक्षण काफी अच्छा था। आइए कुछ 'एन्सेम्बल क्लासिफायर', विशेष रूप से रैंडम फॉरेस्ट और AdaBoost आज़माएं: + +```python + 'RFST': RandomForestClassifier(n_estimators=100), + 'ADA': AdaBoostClassifier(n_estimators=100) +``` + +परिणाम बहुत अच्छा है, विशेष रूप से रैंडम फॉरेस्ट के लिए: + +```output +Accuracy (train) for RFST: 84.5% + precision recall f1-score support + + chinese 0.80 0.77 0.78 242 + indian 0.89 0.92 0.90 234 + japanese 0.86 0.84 0.85 254 + korean 0.88 0.83 0.85 242 + thai 0.80 0.87 0.83 227 + + accuracy 0.84 1199 + macro avg 0.85 0.85 0.84 1199 +weighted avg 0.85 0.84 0.84 1199 + +Accuracy (train) for ADA: 72.4% + precision recall f1-score support + + chinese 0.64 0.49 0.56 242 + indian 0.91 0.83 0.87 234 + japanese 0.68 0.69 0.69 254 + korean 0.73 0.79 0.76 242 + thai 0.67 0.83 0.74 227 + + accuracy 0.72 1199 + macro avg 0.73 0.73 0.72 1199 +weighted avg 0.73 0.72 0.72 1199 +``` + +✅ [एन्सेम्बल क्लासिफायर](https://scikit-learn.org/stable/modules/ensemble.html) के बारे में जानें + +इस मशीन लर्निंग विधि में "कई बेस एस्टिमेटर्स की भविष्यवाणियों को मिलाया जाता है" ताकि मॉडल की गुणवत्ता में सुधार हो सके। हमारे उदाहरण में, हमने रैंडम ट्री और AdaBoost का उपयोग किया। + +- [रैंडम फॉरेस्ट](https://scikit-learn.org/stable/modules/ensemble.html#forest), एक एवरेजिंग विधि, एक 'फॉरेस्ट' बनाता है जिसमें 'डिसीजन ट्री' होते हैं, जो ओवरफिटिंग से बचने के लिए रैंडमनेस से भरे होते हैं। n_estimators पैरामीटर पेड़ों की संख्या पर सेट होता है। + +- [AdaBoost](https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.AdaBoostClassifier.html) एक क्लासिफायर को डेटासेट पर फिट करता है और फिर उसी डेटासेट पर उस क्लासिफायर की प्रतियों को फिट करता है। यह गलत तरीके से वर्गीकृत आइटमों के वज़न पर ध्यान केंद्रित करता है और अगले क्लासिफायर के लिए फिट को समायोजित करता है ताकि उसे सही किया जा सके। + +--- + +## 🚀चुनौती + +इनमें से प्रत्येक तकनीक में बहुत सारे पैरामीटर होते हैं जिन्हें आप समायोजित कर सकते हैं। प्रत्येक के डिफ़ॉल्ट पैरामीटरों के बारे में शोध करें और सोचें कि इन पैरामीटरों को समायोजित करने से मॉडल की गुणवत्ता के लिए क्या मतलब होगा। + +## [पाठ-उत्तर क्विज़](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/24/) + +## समीक्षा और स्व-अध्ययन + +इन पाठों में बहुत सारा शब्दजाल है, इसलिए एक मिनट लें और [इस सूची](https://docs.microsoft.com/dotnet/machine-learning/resources/glossary?WT.mc_id=academic-77952-leestott) को देखें, जिसमें उपयोगी शब्दावली है! + +## असाइनमेंट + +[पैरामीटर खेल](assignment.md) + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवाद में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल भाषा में मूल दस्तावेज़ को आधिकारिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/4-Classification/3-Classifiers-2/assignment.md b/translations/hi/4-Classification/3-Classifiers-2/assignment.md new file mode 100644 index 000000000..f5b6b3170 --- /dev/null +++ b/translations/hi/4-Classification/3-Classifiers-2/assignment.md @@ -0,0 +1,14 @@ +# पैरामीटर प्ले + +## निर्देश + +जब आप इन क्लासिफायर के साथ काम करते हैं तो कई पैरामीटर डिफ़ॉल्ट रूप से सेट होते हैं। VS Code में Intellisense आपकी मदद कर सकता है उन्हें गहराई से समझने में। इस पाठ में से किसी एक ML Classification Technique को अपनाएं और विभिन्न पैरामीटर मानों को बदलते हुए मॉडल्स को फिर से प्रशिक्षित करें। एक नोटबुक बनाएं जिसमें बताया जाए कि कुछ बदलाव मॉडल की गुणवत्ता को कैसे सुधारते हैं जबकि अन्य इसे खराब करते हैं। अपने उत्तर में विस्तृत रहें। + +## मूल्यांकन मापदंड + +| मापदंड | उत्कृष्टता | पर्याप्तता | सुधार की आवश्यकता | +| ------- | ---------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------- | ----------------------------- | +| | एक नोटबुक प्रस्तुत की गई है जिसमें एक क्लासिफायर पूरी तरह से निर्मित है और उसके पैरामीटर समायोजित किए गए हैं और टेक्स्टबॉक्स में बदलावों की व्याख्या की गई है | एक नोटबुक आंशिक रूप से प्रस्तुत की गई है या खराब तरीके से समझाई गई है | एक नोटबुक बग्गी या दोषपूर्ण है | + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवाद में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में आधिकारिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/4-Classification/3-Classifiers-2/solution/Julia/README.md b/translations/hi/4-Classification/3-Classifiers-2/solution/Julia/README.md new file mode 100644 index 000000000..b1eca0f2d --- /dev/null +++ b/translations/hi/4-Classification/3-Classifiers-2/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**अस्वीकरण**: +इस दस्तावेज़ का अनुवाद मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियां या गलतियाँ हो सकती हैं। मूल भाषा में मूल दस्तावेज़ को आधिकारिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम जिम्मेदार नहीं हैं। \ No newline at end of file diff --git a/translations/hi/4-Classification/4-Applied/README.md b/translations/hi/4-Classification/4-Applied/README.md new file mode 100644 index 000000000..87dd7b3e7 --- /dev/null +++ b/translations/hi/4-Classification/4-Applied/README.md @@ -0,0 +1,317 @@ +# एक व्यंजन सिफारिश वेब ऐप बनाएं + +इस पाठ में, आप कुछ तकनीकों का उपयोग करके एक वर्गीकरण मॉडल बनाएंगे, जिन्हें आपने पिछले पाठों में सीखा है और इस श्रृंखला में उपयोग किए गए स्वादिष्ट व्यंजन डेटासेट के साथ। इसके अतिरिक्त, आप एक छोटा वेब ऐप बनाएंगे जो एक सहेजे गए मॉडल का उपयोग करेगा, Onnx के वेब रनटाइम का लाभ उठाते हुए। + +मशीन लर्निंग का सबसे उपयोगी व्यावहारिक उपयोग सिफारिश प्रणाली बनाना है, और आप आज उस दिशा में पहला कदम उठा सकते हैं! + +[](https://youtu.be/17wdM9AHMfg "Applied ML") + +> 🎥 ऊपर की छवि पर क्लिक करें एक वीडियो के लिए: Jen Looper वर्गीकृत व्यंजन डेटा का उपयोग करके एक वेब ऐप बनाती हैं + +## [पाठ पूर्व क्विज़](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/25/) + +इस पाठ में आप सीखेंगे: + +- एक मॉडल कैसे बनाएं और इसे एक Onnx मॉडल के रूप में सहेजें +- Netron का उपयोग करके मॉडल का निरीक्षण कैसे करें +- अपने मॉडल को एक वेब ऐप में अनुमान के लिए कैसे उपयोग करें + +## अपना मॉडल बनाएं + +लागू एमएल सिस्टम का निर्माण इन तकनीकों का उपयोग करके आपके व्यावसायिक सिस्टम के लिए महत्वपूर्ण है। आप Onnx का उपयोग करके अपने वेब एप्लिकेशन में मॉडल का उपयोग कर सकते हैं (और इस प्रकार आवश्यकता पड़ने पर उन्हें ऑफ़लाइन संदर्भ में उपयोग कर सकते हैं)। + +एक [पिछले पाठ](../../3-Web-App/1-Web-App/README.md) में, आपने यूएफओ देखे जाने के बारे में एक प्रतिगमन मॉडल बनाया, इसे "पिकल्ड" किया, और इसे एक Flask ऐप में उपयोग किया। जबकि यह आर्किटेक्चर जानने के लिए बहुत उपयोगी है, यह एक फुल-स्टैक पायथन ऐप है, और आपकी आवश्यकताओं में एक जावास्क्रिप्ट एप्लिकेशन का उपयोग शामिल हो सकता है। + +इस पाठ में, आप अनुमान के लिए एक बुनियादी जावास्क्रिप्ट-आधारित सिस्टम बना सकते हैं। हालांकि, सबसे पहले, आपको एक मॉडल को प्रशिक्षित करना होगा और इसे Onnx के साथ उपयोग के लिए परिवर्तित करना होगा। + +## अभ्यास - वर्गीकरण मॉडल को प्रशिक्षित करें + +सबसे पहले, उस साफ किए गए व्यंजन डेटासेट का उपयोग करके एक वर्गीकरण मॉडल को प्रशिक्षित करें जिसे हमने उपयोग किया था। + +1. उपयोगी पुस्तकालयों को आयात करके प्रारंभ करें: + + ```python + !pip install skl2onnx + import pandas as pd + ``` + + आपको अपने Scikit-learn मॉडल को Onnx प्रारूप में बदलने में मदद करने के लिए '[skl2onnx](https://onnx.ai/sklearn-onnx/)' की आवश्यकता है। + +1. फिर, अपने डेटा के साथ उसी तरह काम करें जैसे आपने पिछले पाठों में किया था, `read_csv()` का उपयोग करके एक CSV फ़ाइल पढ़कर: + + ```python + data = pd.read_csv('../data/cleaned_cuisines.csv') + data.head() + ``` + +1. पहले दो अनावश्यक स्तंभों को हटा दें और शेष डेटा को 'X' के रूप में सहेजें: + + ```python + X = data.iloc[:,2:] + X.head() + ``` + +1. लेबल को 'y' के रूप में सहेजें: + + ```python + y = data[['cuisine']] + y.head() + + ``` + +### प्रशिक्षण दिनचर्या शुरू करें + +हम 'SVC' पुस्तकालय का उपयोग करेंगे जिसमें अच्छी सटीकता है। + +1. Scikit-learn से उपयुक्त पुस्तकालयों को आयात करें: + + ```python + from sklearn.model_selection import train_test_split + from sklearn.svm import SVC + from sklearn.model_selection import cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report + ``` + +1. प्रशिक्षण और परीक्षण सेट अलग करें: + + ```python + X_train, X_test, y_train, y_test = train_test_split(X,y,test_size=0.3) + ``` + +1. पिछले पाठ में जैसा आपने किया था, एक SVC वर्गीकरण मॉडल बनाएं: + + ```python + model = SVC(kernel='linear', C=10, probability=True,random_state=0) + model.fit(X_train,y_train.values.ravel()) + ``` + +1. अब, अपने मॉडल का परीक्षण करें, `predict()` को कॉल करें: + + ```python + y_pred = model.predict(X_test) + ``` + +1. मॉडल की गुणवत्ता की जांच करने के लिए एक वर्गीकरण रिपोर्ट प्रिंट करें: + + ```python + print(classification_report(y_test,y_pred)) + ``` + + जैसा कि हमने पहले देखा था, सटीकता अच्छी है: + + ```output + precision recall f1-score support + + chinese 0.72 0.69 0.70 257 + indian 0.91 0.87 0.89 243 + japanese 0.79 0.77 0.78 239 + korean 0.83 0.79 0.81 236 + thai 0.72 0.84 0.78 224 + + accuracy 0.79 1199 + macro avg 0.79 0.79 0.79 1199 + weighted avg 0.79 0.79 0.79 1199 + ``` + +### अपने मॉडल को Onnx में बदलें + +सुनिश्चित करें कि उचित टेंसर संख्या के साथ रूपांतरण करें। इस डेटासेट में 380 अवयव सूचीबद्ध हैं, इसलिए आपको `FloatTensorType` में उस संख्या को नोट करना होगा: + +1. 380 की टेंसर संख्या का उपयोग करके परिवर्तित करें। + + ```python + from skl2onnx import convert_sklearn + from skl2onnx.common.data_types import FloatTensorType + + initial_type = [('float_input', FloatTensorType([None, 380]))] + options = {id(model): {'nocl': True, 'zipmap': False}} + ``` + +1. onx बनाएं और इसे **model.onnx** के रूप में फ़ाइल के रूप में सहेजें: + + ```python + onx = convert_sklearn(model, initial_types=initial_type, options=options) + with open("./model.onnx", "wb") as f: + f.write(onx.SerializeToString()) + ``` + + > नोट, आप अपने रूपांतरण स्क्रिप्ट में [विकल्प](https://onnx.ai/sklearn-onnx/parameterized.html) पास कर सकते हैं। इस मामले में, हमने 'nocl' को True और 'zipmap' को False पास किया। चूंकि यह एक वर्गीकरण मॉडल है, आपके पास ZipMap को हटाने का विकल्प है जो शब्दकोशों की एक सूची उत्पन्न करता है (आवश्यक नहीं)। `nocl` refers to class information being included in the model. Reduce your model's size by setting `nocl` to 'True'. + +Running the entire notebook will now build an Onnx model and save it to this folder. + +## View your model + +Onnx models are not very visible in Visual Studio code, but there's a very good free software that many researchers use to visualize the model to ensure that it is properly built. Download [Netron](https://github.com/lutzroeder/Netron) and open your model.onnx file. You can see your simple model visualized, with its 380 inputs and classifier listed: + + + +Netron is a helpful tool to view your models. + +Now you are ready to use this neat model in a web app. Let's build an app that will come in handy when you look in your refrigerator and try to figure out which combination of your leftover ingredients you can use to cook a given cuisine, as determined by your model. + +## Build a recommender web application + +You can use your model directly in a web app. This architecture also allows you to run it locally and even offline if needed. Start by creating an `index.html` file in the same folder where you stored your `model.onnx` फ़ाइल। + +1. इस फ़ाइल _index.html_ में, निम्नलिखित मार्कअप जोड़ें: + + ```html + + + + + + ... + + + ``` + +1. अब, `body` टैग के भीतर काम करते हुए, कुछ अवयवों को दर्शाने वाले चेकबॉक्स की एक सूची दिखाने के लिए थोड़ा मार्कअप जोड़ें: + + ```html +Cuisine Matcher +Check your refrigerator. What can you create?
++++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + +++ ++ ``` + + ध्यान दें कि प्रत्येक चेकबॉक्स को एक मान दिया गया है। यह उस इंडेक्स को दर्शाता है जहां अवयव डेटासेट के अनुसार पाए जाते हैं। उदाहरण के लिए, इस वर्णमाला सूची में, Apple पांचवें स्तंभ पर है, इसलिए इसका मान '4' है क्योंकि हम 0 से गिनती शुरू करते हैं। आप [अवयव स्प्रेडशीट](../../../../4-Classification/data/ingredient_indexes.csv) को परामर्श कर सकते हैं ताकि किसी दिए गए अवयव का इंडेक्स खोजा जा सके। + + _index.html_ फ़ाइल में अपने काम को जारी रखते हुए, एक स्क्रिप्ट ब्लॉक जोड़ें जहां अंतिम समापन `` के बाद मॉडल को कॉल किया जाता है। + +1. सबसे पहले, [Onnx Runtime](https://www.onnxruntime.ai/) को आयात करें: + + ```html + + ``` + + > Onnx Runtime का उपयोग आपके Onnx मॉडलों को हार्डवेयर प्लेटफार्मों की एक विस्तृत श्रृंखला में चलाने के लिए किया जाता है, जिसमें अनुकूलन और उपयोग के लिए एक एपीआई शामिल है। + +1. एक बार Runtime सेट हो जाने के बाद, आप इसे कॉल कर सकते हैं: + + ```html + + ``` + +इस कोड में, कई चीजें हो रही हैं: + +1. आपने 380 संभावित मानों (1 या 0) का एक सरणी बनाया है जिसे सेट किया जाएगा और मॉडल को अनुमान के लिए भेजा जाएगा, इस पर निर्भर करता है कि कोई अवयव चेकबॉक्स चेक किया गया है या नहीं। +2. आपने चेकबॉक्स की एक सरणी बनाई और यह निर्धारित करने का एक तरीका कि क्या वे `init` function that is called when the application starts. When a checkbox is checked, the `ingredients` array is altered to reflect the chosen ingredient. +3. You created a `testCheckboxes` function that checks whether any checkbox was checked. +4. You use `startInference` function when the button is pressed and, if any checkbox is checked, you start inference. +5. The inference routine includes: + 1. Setting up an asynchronous load of the model + 2. Creating a Tensor structure to send to the model + 3. Creating 'feeds' that reflects the `float_input` input that you created when training your model (you can use Netron to verify that name) + 4. Sending these 'feeds' to the model and waiting for a response + +## Test your application + +Open a terminal session in Visual Studio Code in the folder where your index.html file resides. Ensure that you have [http-server](https://www.npmjs.com/package/http-server) installed globally, and type `http-server` पर संकेत पर चेक किए गए थे। एक लोकलहोस्ट खुल जाना चाहिए और आप अपने वेब ऐप को देख सकते हैं। विभिन्न अवयवों के आधार पर कौन सा व्यंजन अनुशंसित है, इसकी जांच करें: + + + +बधाई हो, आपने कुछ फ़ील्ड के साथ एक 'सिफारिश' वेब ऐप बनाया है। इस सिस्टम को बनाने के लिए कुछ समय निकालें! +## 🚀चुनौती + +आपका वेब ऐप बहुत न्यूनतम है, इसलिए [ingredient_indexes](../../../../4-Classification/data/ingredient_indexes.csv) डेटा से अवयवों और उनके इंडेक्स का उपयोग करके इसे बनाना जारी रखें। कौन से स्वाद संयोजन एक दिए गए राष्ट्रीय व्यंजन को बनाने के लिए काम करते हैं? + +## [पाठ के बाद क्विज़](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/26/) + +## समीक्षा और स्व-अध्ययन + +जबकि इस पाठ ने खाद्य अवयवों के लिए एक सिफारिश प्रणाली बनाने की उपयोगिता को छुआ, एमएल अनुप्रयोगों का यह क्षेत्र उदाहरणों में बहुत समृद्ध है। पढ़ें कि इन प्रणालियों को कैसे बनाया जाता है: + +- https://www.sciencedirect.com/topics/computer-science/recommendation-engine +- https://www.technologyreview.com/2014/08/25/171547/the-ultimate-challenge-for-recommendation-engines/ +- https://www.technologyreview.com/2015/03/23/168831/everything-is-a-recommendation/ + +## असाइनमेंट + +[एक नई सिफारिशकर्ता बनाएं](assignment.md) + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया अवगत रहें कि स्वचालित अनुवाद में त्रुटियां या अशुद्धियां हो सकती हैं। अपनी मूल भाषा में मूल दस्तावेज़ को आधिकारिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/4-Classification/4-Applied/assignment.md b/translations/hi/4-Classification/4-Applied/assignment.md new file mode 100644 index 000000000..30907c531 --- /dev/null +++ b/translations/hi/4-Classification/4-Applied/assignment.md @@ -0,0 +1,14 @@ +# एक सिफारिशकर्ता बनाएं + +## निर्देश + +इस पाठ में अपने अभ्यासों को देखते हुए, अब आप Onnx Runtime और एक परिवर्तित Onnx मॉडल का उपयोग करके जावास्क्रिप्ट-आधारित वेब ऐप बनाना जानते हैं। इन पाठों से या अन्य स्रोतों से डेटा का उपयोग करके एक नया सिफारिशकर्ता बनाने के साथ प्रयोग करें (कृपया श्रेय दें)। आप विभिन्न व्यक्तित्व विशेषताओं के आधार पर एक पालतू सिफारिशकर्ता बना सकते हैं, या किसी व्यक्ति के मूड के आधार पर संगीत शैली सिफारिशकर्ता बना सकते हैं। रचनात्मक बनें! + +## मूल्यांकन मानदंड + +| मापदंड | उत्कृष्ट | पर्याप्त | सुधार की आवश्यकता | +| -------- | ---------------------------------------------------------------------- | ------------------------------------- | --------------------------------- | +| | एक वेब ऐप और नोटबुक प्रस्तुत किए गए हैं, दोनों अच्छी तरह से प्रलेखित और चल रहे हैं | इनमें से एक गायब है या त्रुटिपूर्ण है | दोनों या तो गायब हैं या त्रुटिपूर्ण हैं | + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/4-Classification/README.md b/translations/hi/4-Classification/README.md new file mode 100644 index 000000000..9474860c3 --- /dev/null +++ b/translations/hi/4-Classification/README.md @@ -0,0 +1,30 @@ +# वर्गीकरण के साथ शुरुआत करना + +## क्षेत्रीय विषय: स्वादिष्ट एशियाई और भारतीय व्यंजन 🍜 + +एशिया और भारत में, खाद्य परंपराएँ अत्यधिक विविध और बहुत स्वादिष्ट हैं! चलिए क्षेत्रीय व्यंजनों के बारे में डेटा देखते हैं और उनके अवयवों को समझने की कोशिश करते हैं। + + +> फोटो लिशेंग चांग द्वारा अनस्प्लैश पर + +## आप क्या सीखेंगे + +इस अनुभाग में, आप अपने पिछले अध्ययन को रिग्रेशन पर आधारित करेंगे और अन्य क्लासिफायर्स के बारे में जानेंगे जो आपको डेटा को बेहतर समझने में मदद कर सकते हैं। + +> ऐसे उपयोगी लो-कोड टूल्स हैं जो आपको वर्गीकरण मॉडल्स के साथ काम करने के बारे में सीखने में मदद कर सकते हैं। इस कार्य के लिए [Azure ML आज़माएं](https://docs.microsoft.com/learn/modules/create-classification-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott) + +## पाठ + +1. [वर्गीकरण का परिचय](1-Introduction/README.md) +2. [अधिक क्लासिफायर्स](2-Classifiers-1/README.md) +3. [अन्य क्लासिफायर्स](3-Classifiers-2/README.md) +4. [लागू एमएल: एक वेब ऐप बनाएं](4-Applied/README.md) + +## श्रेय + +"वर्गीकरण के साथ शुरुआत करना" को ♥️ के साथ [कैसी ब्रेवियु](https://www.twitter.com/cassiebreviu) और [जेन लूपर](https://www.twitter.com/jenlooper) द्वारा लिखा गया था। + +स्वादिष्ट व्यंजनों का डेटासेट [कागल](https://www.kaggle.com/hoandan/asian-and-indian-cuisines) से लिया गया था। + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या गलतियाँ हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में आधिकारिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/5-Clustering/1-Visualize/README.md b/translations/hi/5-Clustering/1-Visualize/README.md new file mode 100644 index 000000000..8bd9a461b --- /dev/null +++ b/translations/hi/5-Clustering/1-Visualize/README.md @@ -0,0 +1,140 @@ +# क्लस्टरिंग का परिचय + +क्लस्टरिंग एक प्रकार का [अनसुपरवाइज्ड लर्निंग](https://wikipedia.org/wiki/Unsupervised_learning) है जो मानता है कि एक डेटासेट लेबल्ड नहीं है या उसके इनपुट्स प्री-डिफाइन्ड आउटपुट्स से मेल नहीं खाते। यह विभिन्न एल्गोरिदम का उपयोग करके अनलेबल्ड डेटा को छांटता है और डेटा में पाए गए पैटर्न के अनुसार समूह प्रदान करता है। + +[](https://youtu.be/ty2advRiWJM "No One Like You by PSquare") + +> 🎥 ऊपर की छवि पर क्लिक करें वीडियो के लिए। क्लस्टरिंग के साथ मशीन लर्निंग का अध्ययन करते समय, कुछ नाइजीरियाई डांस हॉल ट्रैक्स का आनंद लें - यह PSquare का 2014 का एक उच्च रेटेड गीत है। +## [प्री-लेक्चर क्विज़](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/27/) +### परिचय + +[क्लस्टरिंग](https://link.springer.com/referenceworkentry/10.1007%2F978-0-387-30164-8_124) डेटा एक्सप्लोरेशन के लिए बहुत उपयोगी है। आइए देखें कि क्या यह नाइजीरियाई दर्शकों के संगीत उपभोग के तरीकों में रुझानों और पैटर्न की खोज करने में मदद कर सकता है। + +✅ क्लस्टरिंग के उपयोग के बारे में एक मिनट सोचें। वास्तविक जीवन में, क्लस्टरिंग तब होती है जब आपके पास कपड़ों का ढेर होता है और आपको अपने परिवार के सदस्यों के कपड़े छांटने होते हैं 🧦👕👖🩲। डेटा साइंस में, क्लस्टरिंग तब होती है जब किसी उपयोगकर्ता की प्राथमिकताओं का विश्लेषण करने या किसी अनलेबल्ड डेटासेट की विशेषताओं का निर्धारण करने की कोशिश की जाती है। क्लस्टरिंग, एक तरह से, अराजकता को समझने में मदद करती है, जैसे एक मोजे के दराज को। + +[](https://youtu.be/esmzYhuFnds "Introduction to Clustering") + +> 🎥 ऊपर की छवि पर क्लिक करें वीडियो के लिए: MIT के John Guttag क्लस्टरिंग का परिचय देते हैं + +पेशेवर सेटिंग में, क्लस्टरिंग का उपयोग बाजार विभाजन जैसे चीजों का निर्धारण करने के लिए किया जा सकता है, उदाहरण के लिए, कौन से आयु समूह कौन सी वस्तुएं खरीदते हैं। एक और उपयोग हो सकता है विसंगति का पता लगाना, शायद क्रेडिट कार्ड लेनदेन के डेटासेट से धोखाधड़ी का पता लगाने के लिए। या आप क्लस्टरिंग का उपयोग चिकित्सा स्कैन के बैच में ट्यूमर का निर्धारण करने के लिए कर सकते हैं। + +✅ एक मिनट के लिए सोचें कि आपने बैंकिंग, ई-कॉमर्स, या व्यवसाय सेटिंग में 'जंगली' में क्लस्टरिंग का सामना कैसे किया होगा। + +> 🎓 दिलचस्प बात यह है कि क्लस्टर विश्लेषण का उद्भव 1930 के दशक में मानवशास्त्र और मनोविज्ञान के क्षेत्रों में हुआ था। क्या आप कल्पना कर सकते हैं कि इसका उपयोग कैसे किया गया होगा? + +वैकल्पिक रूप से, आप इसका उपयोग खोज परिणामों को समूहबद्ध करने के लिए कर सकते हैं - उदाहरण के लिए, शॉपिंग लिंक, छवियों, या समीक्षाओं द्वारा। क्लस्टरिंग तब उपयोगी होती है जब आपके पास एक बड़ा डेटासेट होता है जिसे आप कम करना चाहते हैं और जिस पर आप अधिक विस्तृत विश्लेषण करना चाहते हैं, इसलिए इस तकनीक का उपयोग अन्य मॉडलों के निर्माण से पहले डेटा के बारे में जानने के लिए किया जा सकता है। + +✅ एक बार जब आपका डेटा क्लस्टर में संगठित हो जाता है, तो आप इसे एक क्लस्टर आईडी असाइन करते हैं, और यह तकनीक डेटासेट की गोपनीयता बनाए रखने में उपयोगी हो सकती है; आप इसके बजाय डेटा बिंदु को इसके क्लस्टर आईडी द्वारा संदर्भित कर सकते हैं, बजाय अधिक प्रकट पहचान योग्य डेटा के। क्या आप सोच सकते हैं कि क्लस्टर आईडी के बजाय क्लस्टर के अन्य तत्वों को पहचानने के लिए अन्य कारण क्या हो सकते हैं? + +इस [लर्न मॉड्यूल](https://docs.microsoft.com/learn/modules/train-evaluate-cluster-models?WT.mc_id=academic-77952-leestott) में क्लस्टरिंग तकनीकों की अपनी समझ को गहरा करें +## क्लस्टरिंग के साथ शुरुआत + +[Scikit-learn एक बड़ी श्रृंखला](https://scikit-learn.org/stable/modules/clustering.html) के तरीकों की पेशकश करता है क्लस्टरिंग करने के लिए। आप जो प्रकार चुनते हैं वह आपके उपयोग के मामले पर निर्भर करेगा। प्रलेखन के अनुसार, प्रत्येक विधि के विभिन्न लाभ हैं। यहां Scikit-learn द्वारा समर्थित तरीकों और उनके उपयुक्त उपयोग मामलों की एक सरलीकृत तालिका है: + +| विधि का नाम | उपयोग का मामला | +| :--------------------------- | :--------------------------------------------------------------------- | +| K-Means | सामान्य प्रयोजन, प्रेरक | +| Affinity propagation | कई, असमान क्लस्टर, प्रेरक | +| Mean-shift | कई, असमान क्लस्टर, प्रेरक | +| Spectral clustering | कुछ, समान क्लस्टर, ट्रांसडक्टिव | +| Ward hierarchical clustering | कई, बाधित क्लस्टर, ट्रांसडक्टिव | +| Agglomerative clustering | कई, बाधित, गैर-यूक्लिडियन दूरी, ट्रांसडक्टिव | +| DBSCAN | गैर-फ्लैट ज्योमेट्री, असमान क्लस्टर, ट्रांसडक्टिव | +| OPTICS | गैर-फ्लैट ज्योमेट्री, असमान क्लस्टर के साथ परिवर्तनशील घनत्व, ट्रांसडक्टिव | +| Gaussian mixtures | फ्लैट ज्योमेट्री, प्रेरक | +| BIRCH | आउटलेर्स के साथ बड़ा डेटासेट, प्रेरक | + +> 🎓 हम क्लस्टर कैसे बनाते हैं इसका बहुत कुछ इस पर निर्भर करता है कि हम डेटा बिंदुओं को समूहों में कैसे इकट्ठा करते हैं। आइए कुछ शब्दावली को समझें: +> +> 🎓 ['ट्रांसडक्टिव' बनाम 'प्रेरक'](https://wikipedia.org/wiki/Transduction_(machine_learning)) +> +> ट्रांसडक्टिव इंफरेंस उन देखे गए प्रशिक्षण मामलों से प्राप्त होता है जो विशिष्ट परीक्षण मामलों से मेल खाते हैं। प्रेरक इंफरेंस उन प्रशिक्षण मामलों से प्राप्त होता है जो सामान्य नियमों से मेल खाते हैं जो केवल बाद में परीक्षण मामलों पर लागू होते हैं। +> +> एक उदाहरण: कल्पना करें कि आपके पास एक डेटासेट है जो केवल आंशिक रूप से लेबल्ड है। कुछ चीजें 'रिकॉर्ड्स' हैं, कुछ 'सीडी' हैं, और कुछ खाली हैं। आपका काम खाली जगहों के लिए लेबल प्रदान करना है। यदि आप प्रेरक दृष्टिकोण चुनते हैं, तो आप 'रिकॉर्ड्स' और 'सीडी' की खोज के लिए एक मॉडल प्रशिक्षण देंगे, और उन लेबल्स को आपके अनलेबल्ड डेटा पर लागू करेंगे। इस दृष्टिकोण को उन चीजों को वर्गीकृत करने में कठिनाई होगी जो वास्तव में 'कैसेट्स' हैं। दूसरी ओर, एक ट्रांसडक्टिव दृष्टिकोण इस अज्ञात डेटा को अधिक प्रभावी ढंग से संभालता है क्योंकि यह समान वस्तुओं को एक साथ समूहित करने का काम करता है और फिर एक समूह को एक लेबल लागू करता है। इस मामले में, क्लस्टर 'गोल संगीत चीजें' और 'वर्ग संगीत चीजें' को प्रतिबिंबित कर सकते हैं। +> +> 🎓 ['गैर-फ्लैट' बनाम 'फ्लैट' ज्योमेट्री](https://datascience.stackexchange.com/questions/52260/terminology-flat-geometry-in-the-context-of-clustering) +> +> गणितीय शब्दावली से व्युत्पन्न, गैर-फ्लैट बनाम फ्लैट ज्योमेट्री का तात्पर्य बिंदुओं के बीच की दूरी को मापने से है, या तो 'फ्लैट' ([यूक्लिडियन](https://wikipedia.org/wiki/Euclidean_geometry)) या 'गैर-फ्लैट' (गैर-यूक्लिडियन) ज्यामितीय विधियों द्वारा। +> +>'फ्लैट' इस संदर्भ में यूक्लिडियन ज्योमेट्री को संदर्भित करता है (जिसका कुछ भाग 'प्लेन' ज्योमेट्री के रूप में सिखाया जाता है), और गैर-फ्लैट गैर-यूक्लिडियन ज्योमेट्री को संदर्भित करता है। ज्योमेट्री का मशीन लर्निंग से क्या लेना-देना है? खैर, दो क्षेत्र जो गणित में निहित हैं, बिंदुओं के बीच की दूरी को मापने का एक सामान्य तरीका होना चाहिए, और इसे 'फ्लैट' या 'गैर-फ्लैट' तरीके से किया जा सकता है, डेटा की प्रकृति के आधार पर। [यूक्लिडियन दूरी](https://wikipedia.org/wiki/Euclidean_distance) को दो बिंदुओं के बीच एक रेखा खंड की लंबाई के रूप में मापा जाता है। [गैर-यूक्लिडियन दूरी](https://wikipedia.org/wiki/Non-Euclidean_geometry) को एक वक्र के साथ मापा जाता है। यदि आपका डेटा, विज़ुअलाइज़ किया गया, एक प्लेन पर मौजूद नहीं लगता है, तो आपको इसे संभालने के लिए एक विशेष एल्गोरिदम का उपयोग करने की आवश्यकता हो सकती है। +> + +> इंफोग्राफिक द्वारा [दसानी मदीपल्ली](https://twitter.com/dasani_decoded) +> +> 🎓 ['दूरी'](https://web.stanford.edu/class/cs345a/slides/12-clustering.pdf) +> +> क्लस्टर उनके दूरी मैट्रिक्स द्वारा परिभाषित किए जाते हैं, जैसे बिंदुओं के बीच की दूरी। इस दूरी को कुछ तरीकों से मापा जा सकता है। यूक्लिडियन क्लस्टर बिंदु मानों के औसत द्वारा परिभाषित होते हैं, और इसमें एक 'सेंट्रोइड' या केंद्र बिंदु होता है। दूरी को उस सेंट्रोइड से दूरी के रूप में मापा जाता है। गैर-यूक्लिडियन दूरी 'क्लस्ट्रोइड्स' को संदर्भित करती है, जो अन्य बिंदुओं के सबसे करीब होता है। क्लस्ट्रोइड्स को विभिन्न तरीकों से परिभाषित किया जा सकता है। +> +> 🎓 ['बाधित'](https://wikipedia.org/wiki/Constrained_clustering) +> +> [बाधित क्लस्टरिंग](https://web.cs.ucdavis.edu/~davidson/Publications/ICDMTutorial.pdf) इस अनसुपरवाइज्ड विधि में 'अर्ध-सुपरवाइज्ड' लर्निंग को प्रस्तुत करती है। बिंदुओं के बीच के संबंधों को 'लिंक नहीं कर सकते' या 'लिंक करना आवश्यक है' के रूप में चिह्नित किया जाता है, ताकि डेटासेट पर कुछ नियम लागू किए जा सकें। +> +>एक उदाहरण: यदि एक एल्गोरिदम को एक बैच के अनलेबल्ड या अर्ध-लेबल्ड डेटा पर स्वतंत्र रूप से सेट किया जाता है, तो यह जो क्लस्टर उत्पन्न करता है, वे खराब गुणवत्ता के हो सकते हैं। ऊपर के उदाहरण में, क्लस्टर 'गोल संगीत चीजें' और 'वर्ग संगीत चीजें' और 'त्रिकोणीय चीजें' और 'कुकीज़' समूहित कर सकते हैं। यदि कुछ बाधाओं, या नियमों का पालन करने के लिए दिया जाता है ("वस्तु प्लास्टिक से बनी होनी चाहिए", "वस्तु संगीत उत्पन्न करने में सक्षम होनी चाहिए") तो यह एल्गोरिदम को बेहतर विकल्प बनाने में मदद कर सकता है। +> +> 🎓 'घनत्व' +> +> डेटा जो 'शोर' है उसे 'घना' माना जाता है। इसके प्रत्येक क्लस्टर में बिंदुओं के बीच की दूरी, जांच पर, अधिक या कम घनी, या 'भीड़' हो सकती है और इसलिए इस डेटा को उपयुक्त क्लस्टरिंग विधि के साथ विश्लेषण करने की आवश्यकता है। [यह लेख](https://www.kdnuggets.com/2020/02/understanding-density-based-clustering.html) शोर वाले डेटासेट के साथ असमान क्लस्टर घनत्व का पता लगाने के लिए K-Means क्लस्टरिंग बनाम HDBSCAN एल्गोरिदम का उपयोग करने के बीच का अंतर प्रदर्शित करता है। + +## क्लस्टरिंग एल्गोरिदम + +100 से अधिक क्लस्टरिंग एल्गोरिदम हैं, और उनका उपयोग डेटा की प्रकृति पर निर्भर करता है। आइए कुछ प्रमुखों पर चर्चा करें: + +- **हाइरार्किकल क्लस्टरिंग**। यदि किसी वस्तु को उसकी निकटता से एक निकट वस्तु के साथ वर्गीकृत किया जाता है, बजाय इसके कि वह किसी दूर की वस्तु के साथ, क्लस्टर उनके सदस्यों की अन्य वस्तुओं से दूरी के आधार पर बनते हैं। Scikit-learn की एग्लोमरेटिव क्लस्टरिंग हाइरार्किकल है। + +  + > इंफोग्राफिक द्वारा [दसानी मदीपल्ली](https://twitter.com/dasani_decoded) + +- **सेंट्रोइड क्लस्टरिंग**। यह लोकप्रिय एल्गोरिदम 'k' की पसंद की आवश्यकता होती है, या क्लस्टर की संख्या को बनाने के लिए, जिसके बाद एल्गोरिदम क्लस्टर के केंद्र बिंदु को निर्धारित करता है और उस बिंदु के चारों ओर डेटा एकत्र करता है। [K-means clustering](https://wikipedia.org/wiki/K-means_clustering) सेंट्रोइड क्लस्टरिंग का एक लोकप्रिय संस्करण है। केंद्र को निकटतम औसत द्वारा निर्धारित किया जाता है, इसलिए नाम। क्लस्टर से वर्ग दूरी को कम किया जाता है। + +  + > इंफोग्राफिक द्वारा [दसानी मदीपल्ली](https://twitter.com/dasani_decoded) + +- **वितरण-आधारित क्लस्टरिंग**। सांख्यिकीय मॉडलिंग पर आधारित, वितरण-आधारित क्लस्टरिंग एक डेटा बिंदु के क्लस्टर से संबंधित होने की संभावना को निर्धारित करने और तदनुसार असाइन करने पर केंद्रित होती है। Gaussian मिश्रण विधियाँ इस प्रकार से संबंधित हैं। + +- **घनत्व-आधारित क्लस्टरिंग**। डेटा बिंदुओं को उनके घनत्व, या उनके आसपास के समूहों के आधार पर क्लस्टर में असाइन किया जाता है। समूह से दूर डेटा बिंदुओं को आउटलेर्स या शोर माना जाता है। DBSCAN, Mean-shift और OPTICS इस प्रकार की क्लस्टरिंग से संबंधित हैं। + +- **ग्रिड-आधारित क्लस्टरिंग**। बहु-आयामी डेटासेट के लिए, एक ग्रिड बनाया जाता है और डेटा को ग्रिड की कोशिकाओं के बीच विभाजित किया जाता है, इस प्रकार क्लस्टर बनते हैं। + +## अभ्यास - अपने डेटा को क्लस्टर करें + +क्लस्टरिंग एक तकनीक के रूप में उचित विज़ुअलाइज़ेशन द्वारा बहुत सहायता प्राप्त होती है, तो चलिए अपने संगीत डेटा को विज़ुअलाइज़ करके शुरू करते हैं। यह अभ्यास हमें यह निर्णय लेने में मदद करेगा कि इस डेटा की प्रकृति के लिए कौन सी क्लस्टरिंग विधियों का सबसे प्रभावी ढंग से उपयोग करना चाहिए। + +1. इस फ़ोल्डर में [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/1-Visualize/notebook.ipynb) फ़ाइल खोलें। + +1. अच्छे डेटा विज़ुअलाइज़ेशन के लिए `Seaborn` पैकेज आयात करें। + + ```python + !pip install seaborn + ``` + +1. [_nigerian-songs.csv_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/data/nigerian-songs.csv) से गाने का डेटा जोड़ें। गानों के बारे में कुछ डेटा के साथ एक डेटा फ्रेम लोड करें। लाइब्रेरी आयात करके और डेटा को डंप करके इस डेटा का पता लगाने के लिए तैयार हो जाएं: + + ```python + import matplotlib.pyplot as plt + import pandas as pd + + df = pd.read_csv("../data/nigerian-songs.csv") + df.head() + ``` + + डेटा की पहली कुछ पंक्तियों की जांच करें: + + | | नाम | एल्बम | कलाकार | कलाकार का शीर्ष शैली | रिलीज़ की तारीख | लंबाई | लोकप्रियता | नृत्ययोग्यता | ध्वनिकता | ऊर्जा | वाद्य यंत्र | जीवंतता | जोर | बोलना | गति | समय हस्ताक्षर | + | --- | ------------------------ | ---------------------------- | ------------------- | ---------------- | ------------ | ------ | ---------- | ------------ | ------------ | ------ | ---------------- | -------- | -------- | ----------- | ------- | -------------- | + | 0 | Sparky | Mandy & The Jungle | Cruel Santino | alternative r&b | 2019 | 144000 | 48 | 0.666 | 0.851 | 0.42 | 0.534 | 0.11 | -6.699 | 0.0829 | 133.015 | 5 | + | 1 | shuga rush | EVERYTHING YOU HEARD IS TRUE | Odunsi (The Engine) | afropop | 2020 | 89488 | 30 | 0.71 | 0.0822 | 0.683 | 0.000169 | 0.101 | -5.64 | 0.36 | 129.993 | 3 | + | 2 | LITT! | LITT! | AYLØ | indie r +## [व्याख्यान के बाद का क्विज़](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/28/) + +## समीक्षा और आत्म-अध्ययन + +जैसा कि हमने सीखा है, क्लस्टरिंग एल्गोरिदम लागू करने से पहले अपने डेटा सेट की प्रकृति को समझना एक अच्छा विचार है। इस विषय पर अधिक पढ़ें [यहाँ](https://www.kdnuggets.com/2019/10/right-clustering-algorithm.html) + +[यह सहायक लेख](https://www.freecodecamp.org/news/8-clustering-algorithms-in-machine-learning-that-all-data-scientists-should-know/) विभिन्न क्लस्टरिंग एल्गोरिदम के विभिन्न डेटा आकृतियों को दिए गए व्यवहार के तरीकों के बारे में बताता है। + +## असाइनमेंट + +[क्लस्टरिंग के लिए अन्य विज़ुअलाइज़ेशन का शोध करें](assignment.md) + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में अधिकारिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम जिम्मेदार नहीं हैं। \ No newline at end of file diff --git a/translations/hi/5-Clustering/1-Visualize/assignment.md b/translations/hi/5-Clustering/1-Visualize/assignment.md new file mode 100644 index 000000000..22f0736a3 --- /dev/null +++ b/translations/hi/5-Clustering/1-Visualize/assignment.md @@ -0,0 +1,14 @@ +# क्लस्टरिंग के लिए अन्य विज़ुअलाइज़ेशन पर शोध + +## निर्देश + +इस पाठ में, आपने अपने डेटा को क्लस्टरिंग के लिए तैयार करने के लिए कुछ विज़ुअलाइज़ेशन तकनीकों के साथ काम किया है। विशेष रूप से, स्कैटरप्लॉट्स वस्तुओं के समूहों को खोजने के लिए उपयोगी होते हैं। विभिन्न तरीकों और विभिन्न लाइब्रेरियों का उपयोग करके स्कैटरप्लॉट्स बनाने पर शोध करें और अपने कार्य को एक नोटबुक में दस्तावेज़ करें। आप इस पाठ के डेटा, अन्य पाठों के डेटा, या स्वयं के स्रोत से डेटा का उपयोग कर सकते हैं (कृपया इसके स्रोत का अपनी नोटबुक में उल्लेख करें)। स्कैटरप्लॉट्स का उपयोग करके कुछ डेटा प्लॉट करें और बताएं कि आपने क्या खोजा। + +## मूल्यांकन + +| मापदंड | उत्कृष्टता | पर्याप्तता | सुधार की आवश्यकता | +| -------- | -------------------------------------------------------------- | ---------------------------------------------------------------------------------------- | ----------------------------------- | +| | पांच अच्छी तरह से दस्तावेज़ किए गए स्कैटरप्लॉट्स के साथ एक नोटबुक प्रस्तुत की गई है | पांच से कम स्कैटरप्लॉट्स के साथ एक नोटबुक प्रस्तुत की गई है और यह कम अच्छी तरह से दस्तावेज़ है | एक अधूरी नोटबुक प्रस्तुत की गई है | + +**अस्वीकरण**: +इस दस्तावेज़ का अनुवाद मशीन आधारित एआई अनुवाद सेवाओं का उपयोग करके किया गया है। जबकि हम सटीकता के लिए प्रयासरत हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल भाषा में मूल दस्तावेज़ को आधिकारिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/5-Clustering/1-Visualize/solution/Julia/README.md b/translations/hi/5-Clustering/1-Visualize/solution/Julia/README.md new file mode 100644 index 000000000..087d1758f --- /dev/null +++ b/translations/hi/5-Clustering/1-Visualize/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियां या अशुद्धियां हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में आधिकारिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/5-Clustering/2-K-Means/README.md b/translations/hi/5-Clustering/2-K-Means/README.md new file mode 100644 index 000000000..831472ec6 --- /dev/null +++ b/translations/hi/5-Clustering/2-K-Means/README.md @@ -0,0 +1,250 @@ +# K-Means क्लस्टरिंग + +## [प्री-लेक्चर क्विज़](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/29/) + +इस पाठ में, आप सीखेंगे कि Scikit-learn और पहले से आयात किए गए नाइजीरियाई संगीत डेटा सेट का उपयोग करके क्लस्टर कैसे बनाएं। हम क्लस्टरिंग के लिए K-Means की मूल बातें कवर करेंगे। ध्यान रखें कि, जैसा कि आपने पिछले पाठ में सीखा था, क्लस्टरों के साथ काम करने के कई तरीके हैं और आपके डेटा पर निर्भर करता है कि आप कौन सा तरीका उपयोग करते हैं। हम K-Means को आजमाएंगे क्योंकि यह सबसे सामान्य क्लस्टरिंग तकनीक है। चलिए शुरू करते हैं! + +आप जिन शर्तों के बारे में जानेंगे: + +- सिल्हूट स्कोरिंग +- एल्बो विधि +- जड़ता +- वैरिएंस + +## परिचय + +[K-Means क्लस्टरिंग](https://wikipedia.org/wiki/K-means_clustering) सिग्नल प्रोसेसिंग के क्षेत्र से व्युत्पन्न एक विधि है। इसका उपयोग डेटा समूहों को 'k' क्लस्टरों में विभाजित और विभाजन करने के लिए किया जाता है। प्रत्येक अवलोकन एक दिए गए डेटा बिंदु को उसके निकटतम 'मीन', या एक क्लस्टर के केंद्र बिंदु के निकटतम समूह में रखने का कार्य करता है। + +क्लस्टरों को [वोरोनोई आरेख](https://wikipedia.org/wiki/Voronoi_diagram) के रूप में देखा जा सकता है, जिसमें एक बिंदु (या 'बीज') और उसका संबंधित क्षेत्र शामिल होता है। + + + +> [जेन लूपर](https://twitter.com/jenlooper) द्वारा इन्फोग्राफिक + +K-Means क्लस्टरिंग प्रक्रिया [तीन-चरण प्रक्रिया में निष्पादित होती है](https://scikit-learn.org/stable/modules/clustering.html#k-means): + +1. एल्गोरिदम डेटा सेट से सैंपलिंग करके k-संख्या के केंद्र बिंदु का चयन करता है। इसके बाद, यह लूप करता है: + 1. यह प्रत्येक सैंपल को निकटतम सेंट्रॉइड को असाइन करता है। + 2. यह पिछले सेंट्रॉइड को असाइन किए गए सभी सैंपल के औसत मूल्य को लेकर नए सेंट्रॉइड बनाता है। + 3. फिर, यह नए और पुराने सेंट्रॉइड के बीच के अंतर की गणना करता है और सेंट्रॉइड स्थिर होने तक दोहराता है। + +K-Means का उपयोग करने में एक कमी यह है कि आपको 'k' स्थापित करने की आवश्यकता होगी, यानी सेंट्रॉइड की संख्या। सौभाग्य से, 'एल्बो विधि' 'k' के लिए एक अच्छा प्रारंभिक मूल्य अनुमान लगाने में मदद करती है। आप इसे अभी आजमाएंगे। + +## पूर्वापेक्षा + +आप इस पाठ के [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/2-K-Means/notebook.ipynb) फ़ाइल में काम करेंगे जिसमें पिछले पाठ में किए गए डेटा आयात और प्रारंभिक सफाई शामिल है। + +## अभ्यास - तैयारी + +गानों के डेटा पर एक और नज़र डालकर शुरू करें। + +1. प्रत्येक कॉलम के लिए `boxplot()` कॉल करते हुए एक बॉक्सप्लॉट बनाएं: + + ```python + plt.figure(figsize=(20,20), dpi=200) + + plt.subplot(4,3,1) + sns.boxplot(x = 'popularity', data = df) + + plt.subplot(4,3,2) + sns.boxplot(x = 'acousticness', data = df) + + plt.subplot(4,3,3) + sns.boxplot(x = 'energy', data = df) + + plt.subplot(4,3,4) + sns.boxplot(x = 'instrumentalness', data = df) + + plt.subplot(4,3,5) + sns.boxplot(x = 'liveness', data = df) + + plt.subplot(4,3,6) + sns.boxplot(x = 'loudness', data = df) + + plt.subplot(4,3,7) + sns.boxplot(x = 'speechiness', data = df) + + plt.subplot(4,3,8) + sns.boxplot(x = 'tempo', data = df) + + plt.subplot(4,3,9) + sns.boxplot(x = 'time_signature', data = df) + + plt.subplot(4,3,10) + sns.boxplot(x = 'danceability', data = df) + + plt.subplot(4,3,11) + sns.boxplot(x = 'length', data = df) + + plt.subplot(4,3,12) + sns.boxplot(x = 'release_date', data = df) + ``` + + यह डेटा थोड़ा शोरयुक्त है: प्रत्येक कॉलम को एक बॉक्सप्लॉट के रूप में देखकर, आप बाहरी मान देख सकते हैं। + +  + +आप डेटा सेट के माध्यम से जा सकते हैं और इन बाहरी मानों को हटा सकते हैं, लेकिन इससे डेटा बहुत न्यूनतम हो जाएगा। + +1. अभी के लिए, चुनें कि आप अपने क्लस्टरिंग अभ्यास के लिए कौन से कॉलम का उपयोग करेंगे। समान रेंज वाले कॉलम चुनें और `artist_top_genre` कॉलम को संख्यात्मक डेटा के रूप में एन्कोड करें: + + ```python + from sklearn.preprocessing import LabelEncoder + le = LabelEncoder() + + X = df.loc[:, ('artist_top_genre','popularity','danceability','acousticness','loudness','energy')] + + y = df['artist_top_genre'] + + X['artist_top_genre'] = le.fit_transform(X['artist_top_genre']) + + y = le.transform(y) + ``` + +1. अब आपको यह चुनना होगा कि कितने क्लस्टरों को लक्षित करना है। आप जानते हैं कि डेटा सेट से हमने 3 गाना शैलियों को अलग किया है, तो चलिए 3 को आजमाते हैं: + + ```python + from sklearn.cluster import KMeans + + nclusters = 3 + seed = 0 + + km = KMeans(n_clusters=nclusters, random_state=seed) + km.fit(X) + + # Predict the cluster for each data point + + y_cluster_kmeans = km.predict(X) + y_cluster_kmeans + ``` + +आपको डेटा फ्रेम के प्रत्येक पंक्ति के लिए भविष्यवाणी किए गए क्लस्टरों (0, 1, या 2) के साथ एक सरणी प्रिंट की हुई दिखाई देती है। + +1. इस सरणी का उपयोग 'सिल्हूट स्कोर' की गणना के लिए करें: + + ```python + from sklearn import metrics + score = metrics.silhouette_score(X, y_cluster_kmeans) + score + ``` + +## सिल्हूट स्कोर + +1 के करीब सिल्हूट स्कोर देखें। यह स्कोर -1 से 1 तक भिन्न होता है, और यदि स्कोर 1 है, तो क्लस्टर घना और अन्य क्लस्टरों से अच्छी तरह से अलग होता है। 0 के पास का मान ओवरलैपिंग क्लस्टरों का प्रतिनिधित्व करता है जिसमें नमूने पड़ोसी क्लस्टरों की निर्णय सीमा के बहुत करीब होते हैं। [(स्रोत)](https://dzone.com/articles/kmeans-silhouette-score-explained-with-python-exam) + +हमारा स्कोर **.53** है, इसलिए बीच में है। यह इंगित करता है कि हमारा डेटा इस प्रकार की क्लस्टरिंग के लिए विशेष रूप से उपयुक्त नहीं है, लेकिन चलिए जारी रखते हैं। + +### अभ्यास - एक मॉडल बनाएं + +1. `KMeans` आयात करें और क्लस्टरिंग प्रक्रिया शुरू करें। + + ```python + from sklearn.cluster import KMeans + wcss = [] + + for i in range(1, 11): + kmeans = KMeans(n_clusters = i, init = 'k-means++', random_state = 42) + kmeans.fit(X) + wcss.append(kmeans.inertia_) + + ``` + + यहां कुछ भाग हैं जिन्हें समझाने की आवश्यकता है। + + > 🎓 range: ये क्लस्टरिंग प्रक्रिया के पुनरावृत्तियां हैं + + > 🎓 random_state: "सेंट्रॉइड प्रारंभिककरण के लिए यादृच्छिक संख्या पीढ़ी निर्धारित करता है।" [स्रोत](https://scikit-learn.org/stable/modules/generated/sklearn.cluster.KMeans.html#sklearn.cluster.KMeans) + + > 🎓 WCSS: "within-cluster sums of squares" एक क्लस्टर के भीतर सभी बिंदुओं की औसत दूरी को मापता है। [स्रोत](https://medium.com/@ODSC/unsupervised-learning-evaluating-clusters-bd47eed175ce)। + + > 🎓 जड़ता: K-Means एल्गोरिदम 'जड़ता' को कम करने के लिए सेंट्रॉइड को चुनने का प्रयास करते हैं, "एक उपाय कि क्लस्टर कितने आंतरिक रूप से सुसंगत हैं।" [स्रोत](https://scikit-learn.org/stable/modules/clustering.html)। मान को प्रत्येक पुनरावृत्ति पर wcss चर में जोड़ा जाता है। + + > 🎓 k-means++: [Scikit-learn](https://scikit-learn.org/stable/modules/clustering.html#k-means) में आप 'k-means++' अनुकूलन का उपयोग कर सकते हैं, जो "सेंट्रॉइड को (सामान्यतः) एक-दूसरे से दूर प्रारंभिक करता है, जिससे यादृच्छिक प्रारंभिककरण की तुलना में संभवतः बेहतर परिणाम मिलते हैं।" + +### एल्बो विधि + +पहले, आपने अनुमान लगाया कि, क्योंकि आपने 3 गाना शैलियों को लक्षित किया है, आपको 3 क्लस्टर चुनने चाहिए। लेकिन क्या यह मामला है? + +1. सुनिश्चित करने के लिए 'एल्बो विधि' का उपयोग करें। + + ```python + plt.figure(figsize=(10,5)) + sns.lineplot(x=range(1, 11), y=wcss, marker='o', color='red') + plt.title('Elbow') + plt.xlabel('Number of clusters') + plt.ylabel('WCSS') + plt.show() + ``` + + 'wcss' चर का उपयोग करें जिसे आपने पिछले चरण में बनाया था ताकि एक चार्ट बनाया जा सके जहां 'एल्बो' में मोड़ हो, जो क्लस्टरों की इष्टतम संख्या को इंगित करता है। शायद यह **वास्तव में** 3 है! + +  + +## अभ्यास - क्लस्टरों को प्रदर्शित करें + +1. प्रक्रिया को फिर से आजमाएं, इस बार तीन क्लस्टर सेट करें, और क्लस्टरों को एक स्कैटरप्लॉट के रूप में प्रदर्शित करें: + + ```python + from sklearn.cluster import KMeans + kmeans = KMeans(n_clusters = 3) + kmeans.fit(X) + labels = kmeans.predict(X) + plt.scatter(df['popularity'],df['danceability'],c = labels) + plt.xlabel('popularity') + plt.ylabel('danceability') + plt.show() + ``` + +1. मॉडल की सटीकता की जांच करें: + + ```python + labels = kmeans.labels_ + + correct_labels = sum(y == labels) + + print("Result: %d out of %d samples were correctly labeled." % (correct_labels, y.size)) + + print('Accuracy score: {0:0.2f}'. format(correct_labels/float(y.size))) + ``` + + इस मॉडल की सटीकता बहुत अच्छी नहीं है, और क्लस्टरों का आकार आपको एक संकेत देता है कि क्यों। + +  + + यह डेटा बहुत असंतुलित है, बहुत कम सहसंबद्ध है और क्लस्टर करने के लिए कॉलम मानों के बीच बहुत अधिक वैरिएंस है। वास्तव में, जो क्लस्टर बनते हैं, वे शायद भारी रूप से ऊपर परिभाषित की गई तीन शैली श्रेणियों से प्रभावित या तिरछे होते हैं। यह एक सीखने की प्रक्रिया थी! + + Scikit-learn के दस्तावेज़ों में, आप देख सकते हैं कि इस तरह के मॉडल, जिसमें क्लस्टर बहुत अच्छी तरह से चिह्नित नहीं होते हैं, में 'वैरिएंस' की समस्या होती है: + +  + > इन्फोग्राफिक स्किकिट-लर्न से + +## वैरिएंस + +वैरिएंस को "मीन से वर्गीकृत अंतर का औसत" के रूप में परिभाषित किया गया है [(स्रोत)](https://www.mathsisfun.com/data/standard-deviation.html)। इस क्लस्टरिंग समस्या के संदर्भ में, यह हमारे डेटा सेट की संख्या को मीन से थोड़ा अधिक भिन्न होने का संकेत देता है। + +✅ यह एक शानदार क्षण है यह सोचने का कि आप इस मुद्दे को ठीक करने के लिए सभी तरीके क्या कर सकते हैं। डेटा को थोड़ा और ट्वीक करें? विभिन्न कॉलम का उपयोग करें? एक अलग एल्गोरिदम का उपयोग करें? संकेत: अपने डेटा को सामान्यीकृत करने के लिए [स्केलिंग](https://www.mygreatlearning.com/blog/learning-data-science-with-k-means-clustering/) आज़माएं और अन्य कॉलम का परीक्षण करें। + +> इस '[वैरिएंस कैलकुलेटर](https://www.calculatorsoup.com/calculators/statistics/variance-calculator.php)' को आज़माएं ताकि अवधारणा को थोड़ा और समझ सकें। + +--- + +## 🚀चुनौती + +इस नोटबुक के साथ कुछ समय बिताएं, पैरामीटर ट्वीक करें। क्या आप डेटा को और अधिक साफ करके (उदाहरण के लिए बाहरी मानों को हटाकर) मॉडल की सटीकता में सुधार कर सकते हैं? आप दिए गए डेटा नमूनों को अधिक भार देने के लिए वज़न का उपयोग कर सकते हैं। बेहतर क्लस्टर बनाने के लिए आप और क्या कर सकते हैं? + +संकेत: अपने डेटा को स्केल करने का प्रयास करें। नोटबुक में टिप्पणी की गई कोड है जो मानक स्केलिंग जोड़ता है ताकि डेटा कॉलम रेंज के संदर्भ में एक-दूसरे के समान हो जाएं। आप पाएंगे कि जबकि सिल्हूट स्कोर नीचे चला जाता है, एल्बो ग्राफ में 'किंक' बाहर हो जाता है। ऐसा इसलिए है क्योंकि डेटा को बिना स्केल किए छोड़ने से कम वैरिएंस वाले डेटा को अधिक भार मिल सकता है। इस समस्या के बारे में और पढ़ें [यहां](https://stats.stackexchange.com/questions/21222/are-mean-normalization-and-feature-scaling-needed-for-k-means-clustering/21226#21226)। + +## [पोस्ट-लेक्चर क्विज़](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/30/) + +## समीक्षा और स्व-अध्ययन + +K-Means सिम्युलेटर [जैसे इस एक](https://user.ceng.metu.edu.tr/~akifakkus/courses/ceng574/k-means/) को देखें। आप इस टूल का उपयोग नमूना डेटा बिंदुओं को विज़ुअलाइज़ करने और इसके सेंट्रॉइड निर्धारित करने के लिए कर सकते हैं। आप डेटा की यादृच्छिकता, क्लस्टरों की संख्या और सेंट्रॉइड की संख्या को संपादित कर सकते हैं। क्या इससे आपको यह समझने में मदद मिलती है कि डेटा को कैसे समूहित किया जा सकता है? + +इसके अलावा, स्टैनफोर्ड से [K-Means पर इस हैंडआउट](https://stanford.edu/~cpiech/cs221/handouts/kmeans.html) को देखें। + +## असाइनमेंट + +[विभिन्न क्लस्टरिंग विधियों का प्रयास करें](assignment.md) + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवाद में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल भाषा में मूल दस्तावेज़ को प्राधिकृत स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/5-Clustering/2-K-Means/assignment.md b/translations/hi/5-Clustering/2-K-Means/assignment.md new file mode 100644 index 000000000..48831b99c --- /dev/null +++ b/translations/hi/5-Clustering/2-K-Means/assignment.md @@ -0,0 +1,14 @@ +# विभिन्न क्लस्टरिंग विधियों को आजमाएं + +## निर्देश + +इस पाठ में आपने K-Means क्लस्टरिंग के बारे में सीखा। कभी-कभी K-Means आपके डेटा के लिए उपयुक्त नहीं होता है। इन पाठों से या कहीं और से डेटा का उपयोग करके एक नोटबुक बनाएं (अपने स्रोत को श्रेय दें) और K-Means का उपयोग किए बिना एक अलग क्लस्टरिंग विधि दिखाएं। आपने क्या सीखा? + +## मूल्यांकन + +| मापदंड | उत्कृष्ट | पर्याप्त | सुधार की आवश्यकता | +| -------- | --------------------------------------------------------------- | -------------------------------------------------------------------- | ---------------------------- | +| | एक अच्छी तरह से प्रलेखित क्लस्टरिंग मॉडल के साथ एक नोटबुक प्रस्तुत की जाती है | बिना अच्छे प्रलेखन और/या अधूरी नोटबुक प्रस्तुत की जाती है | अधूरा काम प्रस्तुत किया जाता है | + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/5-Clustering/2-K-Means/solution/Julia/README.md b/translations/hi/5-Clustering/2-K-Means/solution/Julia/README.md new file mode 100644 index 000000000..a0f39397f --- /dev/null +++ b/translations/hi/5-Clustering/2-K-Means/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियां या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम जिम्मेदार नहीं हैं। \ No newline at end of file diff --git a/translations/hi/5-Clustering/README.md b/translations/hi/5-Clustering/README.md new file mode 100644 index 000000000..f09a1c12f --- /dev/null +++ b/translations/hi/5-Clustering/README.md @@ -0,0 +1,31 @@ +# मशीन लर्निंग के लिए क्लस्टरिंग मॉडल + +क्लस्टरिंग एक मशीन लर्निंग कार्य है जिसमें यह उन वस्तुओं को खोजने का प्रयास करता है जो एक-दूसरे से मिलती-जुलती हैं और इन्हें समूहों में विभाजित करता है जिन्हें क्लस्टर कहा जाता है। क्लस्टरिंग को मशीन लर्निंग के अन्य दृष्टिकोणों से जो चीज अलग करती है, वह यह है कि चीजें स्वचालित रूप से होती हैं, वास्तव में, यह कहना उचित है कि यह सुपरवाइज्ड लर्निंग के विपरीत है। + +## क्षेत्रीय विषय: नाइजीरियाई दर्शकों के संगीत स्वाद के लिए क्लस्टरिंग मॉडल 🎧 + +नाइजीरिया के विविध दर्शकों के विविध संगीत स्वाद हैं। स्पॉटिफाई से स्क्रैप किए गए डेटा का उपयोग करते हुए (इस [लेख](https://towardsdatascience.com/country-wise-visual-analysis-of-music-taste-using-spotify-api-seaborn-in-python-77f5b749b421) से प्रेरित होकर), आइए नाइजीरिया में कुछ लोकप्रिय संगीत देखें। इस डेटासेट में विभिन्न गीतों के 'डांसबिलिटी' स्कोर, 'एकॉस्टिकनेस', लाउडनेस, 'स्पीचनेस', लोकप्रियता और ऊर्जा के बारे में डेटा शामिल है। इस डेटा में पैटर्न की खोज करना दिलचस्प होगा! + + + +> फोटो मार्सेला लास्कोस्की द्वारा अनस्प्लैश पर + +इस पाठ्यक्रम की श्रृंखला में, आप क्लस्टरिंग तकनीकों का उपयोग करके डेटा का विश्लेषण करने के नए तरीके खोजेंगे। क्लस्टरिंग विशेष रूप से तब उपयोगी होती है जब आपके डेटासेट में लेबल की कमी होती है। यदि इसमें लेबल होते हैं, तो पिछले पाठों में आपने जो वर्गीकरण तकनीकें सीखी हैं, वे अधिक उपयोगी हो सकती हैं। लेकिन उन मामलों में जहां आप बिना लेबल वाले डेटा को समूहित करना चाहते हैं, क्लस्टरिंग पैटर्न की खोज के लिए एक शानदार तरीका है। + +> कुछ उपयोगी लो-कोड टूल हैं जो आपको क्लस्टरिंग मॉडल के साथ काम करने के बारे में जानने में मदद कर सकते हैं। इस कार्य के लिए [Azure ML का प्रयास करें](https://docs.microsoft.com/learn/modules/create-clustering-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott) + +## पाठ + +1. [क्लस्टरिंग का परिचय](1-Visualize/README.md) +2. [K-Means क्लस्टरिंग](2-K-Means/README.md) + +## क्रेडिट्स + +ये पाठ 🎶 के साथ [Jen Looper](https://www.twitter.com/jenlooper) द्वारा लिखे गए थे और [Rishit Dagli](https://rishit_dagli) और [Muhammad Sakib Khan Inan](https://twitter.com/Sakibinan) द्वारा सहायक समीक्षाओं के साथ। + +[Nigerian Songs](https://www.kaggle.com/sootersaalu/nigerian-songs-spotify) डेटासेट को Kaggle से स्पॉटिफाई से स्क्रैप किया गया था। + +उपयोगी K-Means उदाहरण जिन्होंने इस पाठ को बनाने में सहायता की, उनमें यह [iris exploration](https://www.kaggle.com/bburns/iris-exploration-pca-k-means-and-gmm-clustering), यह [introductory notebook](https://www.kaggle.com/prashant111/k-means-clustering-with-python), और यह [hypothetical NGO example](https://www.kaggle.com/ankandash/pca-k-means-clustering-hierarchical-clustering) शामिल हैं। + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। इसकी मूल भाषा में मूल दस्तावेज़ को प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम जिम्मेदार नहीं हैं। \ No newline at end of file diff --git a/translations/hi/6-NLP/1-Introduction-to-NLP/README.md b/translations/hi/6-NLP/1-Introduction-to-NLP/README.md new file mode 100644 index 000000000..4b2f58192 --- /dev/null +++ b/translations/hi/6-NLP/1-Introduction-to-NLP/README.md @@ -0,0 +1,168 @@ +# प्राकृतिक भाषा प्रसंस्करण का परिचय + +यह पाठ *प्राकृतिक भाषा प्रसंस्करण*, जो *कंप्यूटेशनल लिंग्विस्टिक्स* का एक उपक्षेत्र है, के संक्षिप्त इतिहास और महत्वपूर्ण अवधारणाओं को कवर करता है। + +## [प्री-लेक्चर क्विज़](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/31/) + +## परिचय + +NLP, जैसा कि आमतौर पर जाना जाता है, उन सबसे प्रसिद्ध क्षेत्रों में से एक है जहाँ मशीन लर्निंग को लागू किया गया है और उत्पादन सॉफ्टवेयर में उपयोग किया गया है। + +✅ क्या आप किसी सॉफ्टवेयर के बारे में सोच सकते हैं जिसका आप हर दिन उपयोग करते हैं जिसमें शायद कुछ NLP एम्बेडेड है? आपके वर्ड प्रोसेसिंग प्रोग्राम या मोबाइल ऐप्स के बारे में क्या जो आप नियमित रूप से उपयोग करते हैं? + +आप निम्नलिखित के बारे में जानेंगे: + +- **भाषाओं का विचार**. भाषाएँ कैसे विकसित हुईं और अध्ययन के प्रमुख क्षेत्र क्या रहे हैं। +- **परिभाषा और अवधारणाएँ**. आप यह भी सीखेंगे कि कंप्यूटर टेक्स्ट को कैसे प्रोसेस करते हैं, जिसमें पार्सिंग, ग्रामर, और संज्ञा और क्रियाओं की पहचान शामिल है। इस पाठ में कुछ कोडिंग कार्य हैं, और कई महत्वपूर्ण अवधारणाओं को पेश किया गया है जिन्हें आप अगले पाठों में कोड करना सीखेंगे। + +## कंप्यूटेशनल लिंग्विस्टिक्स + +कंप्यूटेशनल लिंग्विस्टिक्स एक अनुसंधान और विकास का क्षेत्र है जो कई दशकों से यह अध्ययन करता है कि कंप्यूटर कैसे भाषाओं के साथ काम कर सकते हैं, और यहां तक कि समझ सकते हैं, अनुवाद कर सकते हैं, और संवाद कर सकते हैं। प्राकृतिक भाषा प्रसंस्करण (NLP) एक संबंधित क्षेत्र है जो इस बात पर केंद्रित है कि कंप्यूटर 'प्राकृतिक', या मानव, भाषाओं को कैसे प्रोसेस कर सकते हैं। + +### उदाहरण - फोन डिक्टेशन + +यदि आपने कभी टाइपिंग के बजाय अपने फोन पर बोला है या एक वर्चुअल असिस्टेंट से प्रश्न पूछा है, तो आपकी आवाज़ को टेक्स्ट में परिवर्तित किया गया और फिर उस भाषा से प्रोसेस या *पार्स* किया गया जिसे आपने बोला। फिर पहचाने गए कीवर्ड को एक फॉर्मेट में प्रोसेस किया गया जिसे फोन या असिस्टेंट समझ सके और उस पर कार्य कर सके। + + +> वास्तविक भाषाई समझना कठिन है! छवि [Jen Looper](https://twitter.com/jenlooper) द्वारा + +### यह तकनीक कैसे संभव है? + +यह संभव है क्योंकि किसी ने ऐसा कंप्यूटर प्रोग्राम लिखा है। कुछ दशक पहले, कुछ विज्ञान कथा लेखकों ने भविष्यवाणी की थी कि लोग ज्यादातर अपने कंप्यूटरों से बात करेंगे, और कंप्यूटर हमेशा यह समझेंगे कि वे क्या मतलब रखते हैं। दुख की बात है कि यह समस्या उतनी आसान नहीं थी जितनी कई लोगों ने कल्पना की थी, और जबकि यह आज एक बेहतर समझी जाने वाली समस्या है, वाक्य के अर्थ को समझने में 'सही' प्राकृतिक भाषा प्रसंस्करण प्राप्त करने में महत्वपूर्ण चुनौतियाँ हैं। यह विशेष रूप से हास्य या वाक्य में व्यंग्य जैसी भावनाओं को समझने में कठिन समस्या है। + +इस बिंदु पर, आप स्कूल की कक्षाओं को याद कर सकते हैं जहाँ शिक्षक ने वाक्य में ग्रामर के भागों को कवर किया था। कुछ देशों में, छात्रों को ग्रामर और लिंग्विस्टिक्स एक समर्पित विषय के रूप में पढ़ाया जाता है, लेकिन कई में, ये विषय एक भाषा सीखने का हिस्सा होते हैं: या तो प्राथमिक विद्यालय में आपकी पहली भाषा (पढ़ना और लिखना सीखना) और शायद एक दूसरी भाषा पोस्ट-प्राइमरी, या हाई स्कूल में। चिंता न करें यदि आप संज्ञाओं और क्रियाओं या क्रिया विशेषणों और विशेषणों के बीच अंतर करने में विशेषज्ञ नहीं हैं! + +यदि आप *साधारण वर्तमान* और *वर्तमान प्रगतिशील* के बीच के अंतर से संघर्ष करते हैं, तो आप अकेले नहीं हैं। यह कई लोगों के लिए एक चुनौतीपूर्ण चीज है, यहां तक कि एक भाषा के मूल वक्ताओं के लिए भी। अच्छी खबर यह है कि कंप्यूटर औपचारिक नियमों को लागू करने में वास्तव में अच्छे हैं, और आप ऐसा कोड लिखना सीखेंगे जो मानव की तरह एक वाक्य को *पार्स* कर सके। बाद में आप जिस बड़ी चुनौती की जांच करेंगे वह है एक वाक्य के *अर्थ* और *भावना* को समझना। + +## पूर्वापेक्षाएँ + +इस पाठ के लिए, मुख्य पूर्वापेक्षा इस पाठ की भाषा को पढ़ने और समझने में सक्षम होना है। कोई गणितीय समस्याएं या समीकरण हल करने की आवश्यकता नहीं है। जबकि मूल लेखक ने इस पाठ को अंग्रेजी में लिखा था, इसे अन्य भाषाओं में भी अनुवादित किया गया है, इसलिए आप एक अनुवाद पढ़ सकते हैं। ऐसे उदाहरण हैं जहां कई विभिन्न भाषाओं का उपयोग किया गया है (विभिन्न भाषाओं के विभिन्न ग्रामर नियमों की तुलना करने के लिए)। ये *अनुवादित नहीं* हैं, लेकिन व्याख्यात्मक पाठ अनुवादित है, इसलिए अर्थ स्पष्ट होना चाहिए। + +कोडिंग कार्यों के लिए, आप Python का उपयोग करेंगे और उदाहरण Python 3.8 का उपयोग कर रहे हैं। + +इस अनुभाग में, आपको आवश्यकता होगी, और उपयोग करेंगे: + +- **Python 3 समझ**. Python 3 में प्रोग्रामिंग भाषा समझ, यह पाठ इनपुट, लूप, फ़ाइल पढ़ना, ऐरे का उपयोग करता है। +- **Visual Studio Code + एक्सटेंशन**. हम Visual Studio Code और इसके Python एक्सटेंशन का उपयोग करेंगे। आप अपने पसंदीदा Python IDE का भी उपयोग कर सकते हैं। +- **TextBlob**. [TextBlob](https://github.com/sloria/TextBlob) Python के लिए एक सरलीकृत टेक्स्ट प्रोसेसिंग लाइब्रेरी है। इसे अपने सिस्टम पर स्थापित करने के लिए TextBlob साइट पर दिए गए निर्देशों का पालन करें (नीचे दिखाए अनुसार कॉर्पोरा को भी इंस्टॉल करें): + + ```bash + pip install -U textblob + python -m textblob.download_corpora + ``` + +> 💡 टिप: आप सीधे VS Code वातावरण में Python चला सकते हैं। अधिक जानकारी के लिए [docs](https://code.visualstudio.com/docs/languages/python?WT.mc_id=academic-77952-leestott) देखें। + +## मशीनों से बात करना + +मानव भाषा को समझने के लिए कंप्यूटर बनाने का इतिहास दशकों पुराना है, और सबसे पहले वैज्ञानिकों में से एक जिन्होंने प्राकृतिक भाषा प्रसंस्करण पर विचार किया था, वे *Alan Turing* थे। + +### 'ट्यूरिंग टेस्ट' + +जब ट्यूरिंग 1950 के दशक में *कृत्रिम बुद्धिमत्ता* पर शोध कर रहे थे, तो उन्होंने सोचा कि क्या एक संवादात्मक परीक्षण दिया जा सकता है जिसमें एक मानव और एक कंप्यूटर (टाइप किए गए संवाद के माध्यम से) शामिल हों जहां बातचीत में मानव यह सुनिश्चित न कर सके कि वे किसी अन्य मानव या कंप्यूटर से बात कर रहे हैं। + +यदि, एक निश्चित अवधि की बातचीत के बाद, मानव यह निर्धारित नहीं कर सकता कि उत्तर कंप्यूटर से आ रहे हैं या नहीं, तो क्या कहा जा सकता है कि कंप्यूटर *सोच* रहा है? + +### प्रेरणा - 'द इमिटेशन गेम' + +इस विचार की प्रेरणा एक पार्टी गेम *द इमिटेशन गेम* से आई थी जिसमें एक पूछताछकर्ता अकेले एक कमरे में होता है और उसे यह निर्धारित करना होता है कि दो लोगों (दूसरे कमरे में) में से कौन पुरुष और कौन महिला है। पूछताछकर्ता नोट भेज सकता है, और उसे ऐसे प्रश्न सोचने होते हैं जिनके लिखित उत्तर रहस्यमय व्यक्ति के लिंग का खुलासा करें। बेशक, दूसरे कमरे में खिलाड़ी पूछताछकर्ता को भ्रमित या गुमराह करने की कोशिश कर रहे होते हैं, जबकि ईमानदारी से उत्तर देने की कोशिश कर रहे होते हैं। + +### Eliza का विकास + +1960 के दशक में MIT के एक वैज्ञानिक *Joseph Weizenbaum* ने [*Eliza*](https://wikipedia.org/wiki/ELIZA) नामक एक कंप्यूटर 'थेरेपिस्ट' विकसित किया जो मानव से प्रश्न पूछता था और उनके उत्तरों को समझने का आभास देता था। हालांकि, जबकि Eliza एक वाक्य को पार्स कर सकता था और कुछ व्याकरणिक संरचनाओं और कीवर्ड की पहचान कर सकता था ताकि एक उचित उत्तर दे सके, इसे वाक्य को *समझने* के रूप में नहीं कहा जा सकता था। यदि Eliza को एक वाक्य इस प्रारूप में प्रस्तुत किया गया "**I am** sad", तो यह वाक्य को पुनर्व्यवस्थित और प्रतिस्थापित कर सकता है और प्रतिक्रिया में "How long have **you been** sad" बना सकता है। + +इससे ऐसा आभास होता था कि Eliza ने कथन को समझा और एक अनुवर्ती प्रश्न पूछ रहा है, जबकि वास्तव में, यह केवल काल को बदल रहा था और कुछ शब्द जोड़ रहा था। यदि Eliza को कोई कीवर्ड नहीं मिलता था जिसके लिए उसके पास उत्तर होता, तो यह इसके बजाय एक रैंडम उत्तर देता जो कई विभिन्न कथनों पर लागू हो सकता था। Eliza को आसानी से मूर्ख बनाया जा सकता था, उदाहरण के लिए यदि उपयोगकर्ता लिखता "**You are** a bicycle", तो यह प्रतिक्रिया देता "How long have **I been** a bicycle?", बजाय एक अधिक तर्कसंगत प्रतिक्रिया के। + +[](https://youtu.be/RMK9AphfLco "Eliza से बातचीत") + +> 🎥 ऊपर की छवि पर क्लिक करें मूल ELIZA प्रोग्राम के बारे में वीडियो के लिए + +> नोट: आप [Eliza](https://cacm.acm.org/magazines/1966/1/13317-elizaa-computer-program-for-the-study-of-natural-language-communication-between-man-and-machine/abstract) के 1966 में प्रकाशित मूल विवरण को पढ़ सकते हैं यदि आपके पास ACM खाता है। वैकल्पिक रूप से, [wikipedia](https://wikipedia.org/wiki/ELIZA) पर Eliza के बारे में पढ़ें। + +## व्यायाम - एक बुनियादी संवादात्मक बॉट को कोड करना + +एक संवादात्मक बॉट, जैसे Eliza, एक प्रोग्राम है जो उपयोगकर्ता इनपुट को प्राप्त करता है और समझने और बुद्धिमानी से प्रतिक्रिया देने का आभास देता है। Eliza के विपरीत, हमारे बॉट के पास कई नियम नहीं होंगे जो इसे एक बुद्धिमान बातचीत का आभास देंगे। इसके बजाय, हमारे बॉट में केवल एक ही क्षमता होगी, जो कि बातचीत को यादृच्छिक प्रतिक्रियाओं के साथ जारी रखना है जो लगभग किसी भी सामान्य बातचीत में काम कर सकती हैं। + +### योजना + +आपके संवादात्मक बॉट बनाने के चरण: + +1. उपयोगकर्ता को बॉट के साथ कैसे इंटरैक्ट करना है, इसके निर्देश प्रिंट करें +2. एक लूप शुरू करें + 1. उपयोगकर्ता इनपुट स्वीकार करें + 2. यदि उपयोगकर्ता ने बाहर निकलने के लिए कहा है, तो बाहर निकलें + 3. उपयोगकर्ता इनपुट को प्रोसेस करें और प्रतिक्रिया निर्धारित करें (इस मामले में, प्रतिक्रिया संभावित सामान्य प्रतिक्रियाओं की सूची से एक रैंडम चयन है) + 4. प्रतिक्रिया प्रिंट करें +3. चरण 2 पर वापस जाएं + +### बॉट बनाना + +आइए बॉट को बनाना शुरू करें। हम कुछ वाक्यांशों को परिभाषित करके शुरू करेंगे। + +1. निम्नलिखित रैंडम प्रतिक्रियाओं के साथ Python में इस बॉट को स्वयं बनाएं: + + ```python + random_responses = ["That is quite interesting, please tell me more.", + "I see. Do go on.", + "Why do you say that?", + "Funny weather we've been having, isn't it?", + "Let's change the subject.", + "Did you catch the game last night?"] + ``` + + यहां कुछ नमूना आउटपुट है जो आपको मार्गदर्शन करेगा (उपयोगकर्ता इनपुट `>` से शुरू होने वाली लाइनों पर है): + + ```output + Hello, I am Marvin, the simple robot. + You can end this conversation at any time by typing 'bye' + After typing each answer, press 'enter' + How are you today? + > I am good thanks + That is quite interesting, please tell me more. + > today I went for a walk + Did you catch the game last night? + > I did, but my team lost + Funny weather we've been having, isn't it? + > yes but I hope next week is better + Let's change the subject. + > ok, lets talk about music + Why do you say that? + > because I like music! + Why do you say that? + > bye + It was nice talking to you, goodbye! + ``` + + कार्य का एक संभावित समाधान [यहां](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/1-Introduction-to-NLP/solution/bot.py) है + + ✅ रुकें और विचार करें + + 1. क्या आपको लगता है कि रैंडम प्रतिक्रियाएं किसी को यह सोचने में 'धोखा' देंगी कि बॉट वास्तव में उन्हें समझता है? + 2. बॉट को अधिक प्रभावी बनाने के लिए उसे किन सुविधाओं की आवश्यकता होगी? + 3. यदि बॉट वास्तव में एक वाक्य के अर्थ को 'समझ' सकता है, तो क्या उसे बातचीत में पिछले वाक्यों के अर्थ को 'याद' करने की आवश्यकता होगी? + +--- + +## 🚀चुनौती + +ऊपर दिए गए "रुकें और विचार करें" तत्वों में से एक को चुनें और या तो इसे कोड में लागू करने का प्रयास करें या पेपर पर छद्मकोड का उपयोग करके एक समाधान लिखें। + +अगले पाठ में, आप प्राकृतिक भाषा को पार्स करने और मशीन लर्निंग के कई अन्य दृष्टिकोणों के बारे में जानेंगे। + +## [पोस्ट-लेक्चर क्विज़](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/32/) + +## समीक्षा और आत्म-अध्ययन + +नीचे दिए गए संदर्भों को आगे पढ़ने के अवसरों के रूप में देखें। + +### संदर्भ + +1. शुबर्ट, लेनहार्ट, "कंप्यूटेशनल लिंग्विस्टिक्स", *द स्टैनफोर्ड एन्साइक्लोपीडिया ऑफ फिलॉसफी* (स्प्रिंग 2020 संस्करण), एडवर्ड एन. ज़ाल्टा (संपादक), URL =
समीक्षा | सकारात्मक समीक्षा | टैग्स | +| -------------- | ---------------------- | ---------------- | :------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | --------------------------------- | ----------------------------------------------------------------------------------------- | +| 7.8 | 1945 | 2.5 | यह वर्तमान में एक होटल नहीं है बल्कि एक निर्माण स्थल है मुझे लंबे सफर के बाद आराम करने और कमरे में काम करने के दौरान सुबह से लेकर पूरे दिन अस्वीकार्य निर्माण शोर से आतंकित किया गया लोग पूरे दिन काम कर रहे थे यानी आसन्न कमरों में जैकहैमर के साथ मैंने कमरे में बदलाव के लिए कहा लेकिन कोई शांत कमरा उपलब्ध नहीं था चीजों को और भी खराब करने के लिए मुझसे अधिक शुल्क लिया गया मैंने शाम को चेक आउट किया क्योंकि मुझे बहुत जल्दी उड़ान भरनी थी और मुझे उपयुक्त बिल मिला एक दिन बाद होटल ने मेरी सहमति के बिना बुक की गई कीमत से अधिक का एक और शुल्क लिया यह एक भयानक जगह है यहाँ बुकिंग करके खुद को सजा न दें | कुछ नहीं भयानक जगह दूर रहें | व्यापार यात्रा युगल मानक डबल कमरा 2 रात रुके | + +जैसा कि आप देख सकते हैं, इस अतिथि का इस होटल में ठहराव सुखद नहीं था। होटल का औसत स्कोर 7.8 है और 1945 समीक्षाएं हैं, लेकिन इस समीक्षक ने इसे 2.5 दिया और उनके ठहराव के बारे में 115 शब्द लिखे कि यह कितना नकारात्मक था। यदि उन्होंने सकारात्मक समीक्षा कॉलम में कुछ भी नहीं लिखा, तो आप अनुमान लगा सकते हैं कि कुछ भी सकारात्मक नहीं था, लेकिन अफसोस, उन्होंने चेतावनी के 7 शब्द लिखे। यदि हम शब्दों की बजाय शब्दों का अर्थ या भावना गिनते हैं, तो हमें समीक्षक के इरादे का विकृत दृश्य मिल सकता है। अजीब तरह से, उनका स्कोर 2.5 भ्रमित करने वाला है, क्योंकि यदि वह होटल ठहराव इतना बुरा था, तो उन्होंने इसे कोई अंक क्यों दिए? डेटा सेट का बारीकी से निरीक्षण करने पर, आप देखेंगे कि सबसे कम संभव स्कोर 2.5 है, 0 नहीं। सबसे अधिक संभव स्कोर 10 है। + +##### टैग्स + +जैसा कि ऊपर उल्लेख किया गया है, पहली नज़र में, डेटा को वर्गीकृत करने के लिए `Tags` का उपयोग करने का विचार समझ में आता है। दुर्भाग्य से ये टैग मानकीकृत नहीं हैं, जिसका अर्थ है कि किसी दिए गए होटल में, विकल्प *एकल कमरा*, *जुड़वां कमरा*, और *डबल कमरा* हो सकते हैं, लेकिन अगले होटल में वे *डीलक्स एकल कमरा*, *क्लासिक क्वीन कमरा*, और *एक्जीक्यूटिव किंग कमरा* हो सकते हैं। ये वही चीजें हो सकती हैं, लेकिन इतनी सारी विविधताएं हैं कि विकल्प बन जाता है: + +1. सभी शर्तों को एकल मानक में बदलने का प्रयास करें, जो बहुत कठिन है, क्योंकि यह स्पष्ट नहीं है कि प्रत्येक मामले में रूपांतरण पथ क्या होगा (जैसे *क्लासिक सिंगल रूम* को *सिंगल रूम* से मैप करता है लेकिन *आंगन गार्डन या सिटी व्यू के साथ सुपीरियर क्वीन रूम* को मैप करना बहुत कठिन है) + +1. हम एक NLP दृष्टिकोण ले सकते हैं और प्रत्येक होटल पर लागू होने वाले *सोलो*, *बिजनेस ट्रैवलर*, या *युवा बच्चों के साथ परिवार* जैसे कुछ शब्दों की आवृत्ति को माप सकते हैं, और इसे सिफारिश में कारक बना सकते हैं + +टैग आमतौर पर (लेकिन हमेशा नहीं) एकल फ़ील्ड होते हैं जिनमें *यात्रा का प्रकार*, *अतिथियों का प्रकार*, *कमरे का प्रकार*, *रातों की संख्या*, और *प्रकार का डिवाइस समीक्षा प्रस्तुत की गई थी* के अनुरूप 5 से 6 अल्पविराम से अलग मानों की सूची होती है। हालाँकि, क्योंकि कुछ समीक्षक प्रत्येक फ़ील्ड को नहीं भरते हैं (वे एक को खाली छोड़ सकते हैं), मान हमेशा एक ही क्रम में नहीं होते हैं। + +उदाहरण के लिए, *समूह का प्रकार* लें। `Tags` स्तंभ में इस फ़ील्ड में 1025 अनूठी संभावनाएं हैं, और दुर्भाग्य से उनमें से केवल कुछ ही समूह को संदर्भित करती हैं (कुछ कमरे के प्रकार आदि हैं)। यदि आप केवल उन लोगों को फ़िल्टर करते हैं जो परिवार का उल्लेख करते हैं, तो परिणामों में कई *फैमिली रूम* प्रकार के परिणाम होते हैं। यदि आप *साथ* शब्द को शामिल करते हैं, यानी *फैमिली विथ* मानों की गणना करें, तो परिणाम बेहतर होते हैं, 515,000 परिणामों में से 80,000 से अधिक में "युवा बच्चों के साथ परिवार" या "बड़े बच्चों के साथ परिवार" वाक्यांश होता है। + +इसका मतलब है कि टैग कॉलम हमारे लिए पूरी तरह से बेकार नहीं है, लेकिन इसे उपयोगी बनाने के लिए कुछ काम करना होगा। + +##### औसत होटल स्कोर + +डेटा सेट के साथ कई विचित्रताएँ या विसंगतियाँ हैं जिन्हें मैं समझ नहीं पा रहा हूँ, लेकिन जब आप अपने मॉडल बना रहे हैं तो आप उनसे अवगत रहें इसके लिए यहाँ चित्रित किया गया है। यदि आप इसका पता लगाते हैं, तो कृपया हमें चर्चा अनुभाग में बताएं! + +डेटा सेट में औसत स्कोर और समीक्षाओं की संख्या से संबंधित निम्नलिखित स्तंभ हैं: + +1. Hotel_Name +2. Additional_Number_of_Scoring +3. Average_Score +4. Total_Number_of_Reviews +5. Reviewer_Score + +इस डेटा सेट में सबसे अधिक समीक्षाओं वाला एकल होटल *ब्रिटानिया इंटरनेशनल होटल कैनरी व्हार्फ* है जिसमें 515,000 में से 4789 समीक्षाएं हैं। लेकिन अगर हम इस होटल के `Total_Number_of_Reviews` मान को देखते हैं, तो यह 9086 है। आप यह अनुमान लगा सकते हैं कि समीक्षाओं के बिना कई और स्कोर हैं, इसलिए शायद हमें `Additional_Number_of_Scoring` स्तंभ मान जोड़ना चाहिए। वह मान 2682 है, और इसे 4789 में जोड़ने से हमें 7,471 मिलते हैं जो अभी भी `Total_Number_of_Reviews` से 1615 कम हैं। + +यदि आप `Average_Score` स्तंभ लेते हैं, तो आप यह अनुमान लगा सकते हैं कि यह डेटा सेट में समीक्षाओं का औसत है, लेकिन Kaggle का विवरण है "*होटल का औसत स्कोर, पिछले वर्ष में नवीनतम टिप्पणी के आधार पर गणना किया गया*। यह इतना उपयोगी नहीं लगता है, लेकिन हम डेटा सेट में समीक्षा स्कोर के आधार पर अपना औसत गणना कर सकते हैं। उदाहरण के लिए एक ही होटल का उपयोग करते हुए, औसत होटल स्कोर 7.1 दिया गया है लेकिन गणना किया गया स्कोर (डेटा सेट में औसत समीक्षक स्कोर) 6.8 है। यह करीब है, लेकिन समान मूल्य नहीं है, और हम केवल यह अनुमान लगा सकते हैं कि `Additional_Number_of_Scoring` समीक्षाओं में दिए गए स्कोर ने औसत को 7.1 तक बढ़ा दिया। दुर्भाग्य से उस दावे का परीक्षण या प्रमाणित करने का कोई तरीका नहीं होने के कारण, `Average_Score`, `Additional_Number_of_Scoring` और `Total_Number_of_Reviews` का उपयोग करना या उन पर भरोसा करना मुश्किल है जब वे डेटा पर आधारित होते हैं या डेटा का संदर्भ देते हैं जो हमारे पास नहीं है। + +चीजों को और अधिक जटिल बनाने के लिए, सबसे अधिक समीक्षाओं वाले दूसरे होटल का औसत स्कोर 8.12 है और डेटा सेट `Average_Score` 8.1 है। क्या यह सही स्कोर एक संयोग है या पहला होटल एक विसंगति है? + +इस संभावना पर कि ये होटल एक बाहरी हो सकते हैं, और हो सकता है कि अधिकांश मान सही हों (लेकिन कुछ कारणों से नहीं हैं) हम डेटा सेट में मानों का पता लगाने और मानों के सही उपयोग (या गैर-उपयोग) का निर्धारण करने के लिए अगला एक छोटा कार्यक्रम लिखेंगे। + +> 🚨 एक सावधानी नोट +> +> इस डेटा सेट के साथ काम करते समय आप कुछ कोड लिखेंगे जो पाठ से कुछ गणना करता है बिना आपको स्वयं पाठ पढ़ने या विश्लेषण करने की आवश्यकता के। यह NLP का सार है, बिना किसी मानव को यह करने की आवश्यकता के अर्थ या भावना की व्याख्या करना। हालाँकि, यह संभव है कि आप कुछ नकारात्मक समीक्षाएँ पढ़ेंगे। मैं आपसे आग्रह करूंगा कि आप ऐसा न करें, क्योंकि आपको ऐसा करने की आवश्यकता नहीं है। उनमें से कुछ बेवकूफी भरी हैं, या अप्रासंगिक नकारात्मक होटल समीक्षाएँ हैं, जैसे "मौसम अच्छा नहीं था", जो होटल के नियंत्रण से परे कुछ है, या वास्तव में, किसी का भी। लेकिन कुछ समीक्षाओं का एक काला पक्ष भी है। कभी-कभी नकारात्मक समीक्षाएँ नस्लवादी, सेक्सिस्ट या आयुर्वादी होती हैं। यह दुर्भाग्यपूर्ण है लेकिन सार्वजनिक वेबसाइट से स्क्रैप किए गए डेटा सेट में अपेक्षित है। कुछ समीक्षक ऐसी समीक्षाएँ छोड़ते हैं जिन्हें आप घृणित, असहज या परेशान करने वाली पाते हैं। भावना को मापने के लिए कोड को पढ़ने के बजाय उन्हें स्वयं पढ़ना और परेशान होना बेहतर है। ऐसा कहा जा रहा है, यह एक अल्प +पंक्तियों में कॉलम `Positive_Review` के मान "No Positive" हैं 9. गणना करें और प्रिंट करें कि कितनी पंक्तियों में कॉलम `Positive_Review` के मान "No Positive" **और** `Negative_Review` के मान "No Negative" हैं ### कोड उत्तर 1. आपने जो डेटा फ्रेम लोड किया है उसका *आकार* प्रिंट करें (आकार पंक्तियों और कॉलमों की संख्या है) ```python + print("The shape of the data (rows, cols) is " + str(df.shape)) + > The shape of the data (rows, cols) is (515738, 17) + ``` 2. समीक्षक राष्ट्रीयताओं के लिए आवृत्ति गणना करें: 1. कॉलम `Reviewer_Nationality` के लिए कितने विशिष्ट मान हैं और वे क्या हैं? 2. डेटासेट में सबसे आम समीक्षक राष्ट्रीयता कौन सी है (देश और समीक्षाओं की संख्या प्रिंट करें)? ```python + # value_counts() creates a Series object that has index and values in this case, the country and the frequency they occur in reviewer nationality + nationality_freq = df["Reviewer_Nationality"].value_counts() + print("There are " + str(nationality_freq.size) + " different nationalities") + # print first and last rows of the Series. Change to nationality_freq.to_string() to print all of the data + print(nationality_freq) + + There are 227 different nationalities + United Kingdom 245246 + United States of America 35437 + Australia 21686 + Ireland 14827 + United Arab Emirates 10235 + ... + Comoros 1 + Palau 1 + Northern Mariana Islands 1 + Cape Verde 1 + Guinea 1 + Name: Reviewer_Nationality, Length: 227, dtype: int64 + ``` 3. अगली 10 सबसे अधिक बार पाई जाने वाली राष्ट्रीयताएँ और उनकी आवृत्ति गणना क्या हैं? ```python + print("The highest frequency reviewer nationality is " + str(nationality_freq.index[0]).strip() + " with " + str(nationality_freq[0]) + " reviews.") + # Notice there is a leading space on the values, strip() removes that for printing + # What is the top 10 most common nationalities and their frequencies? + print("The next 10 highest frequency reviewer nationalities are:") + print(nationality_freq[1:11].to_string()) + + The highest frequency reviewer nationality is United Kingdom with 245246 reviews. + The next 10 highest frequency reviewer nationalities are: + United States of America 35437 + Australia 21686 + Ireland 14827 + United Arab Emirates 10235 + Saudi Arabia 8951 + Netherlands 8772 + Switzerland 8678 + Germany 7941 + Canada 7894 + France 7296 + ``` 3. शीर्ष 10 सबसे समीक्षक राष्ट्रीयताओं में से प्रत्येक के लिए सबसे अधिक बार समीक्षा किया गया होटल कौन सा था? ```python + # What was the most frequently reviewed hotel for the top 10 nationalities + # Normally with pandas you will avoid an explicit loop, but wanted to show creating a new dataframe using criteria (don't do this with large amounts of data because it could be very slow) + for nat in nationality_freq[:10].index: + # First, extract all the rows that match the criteria into a new dataframe + nat_df = df[df["Reviewer_Nationality"] == nat] + # Now get the hotel freq + freq = nat_df["Hotel_Name"].value_counts() + print("The most reviewed hotel for " + str(nat).strip() + " was " + str(freq.index[0]) + " with " + str(freq[0]) + " reviews.") + + The most reviewed hotel for United Kingdom was Britannia International Hotel Canary Wharf with 3833 reviews. + The most reviewed hotel for United States of America was Hotel Esther a with 423 reviews. + The most reviewed hotel for Australia was Park Plaza Westminster Bridge London with 167 reviews. + The most reviewed hotel for Ireland was Copthorne Tara Hotel London Kensington with 239 reviews. + The most reviewed hotel for United Arab Emirates was Millennium Hotel London Knightsbridge with 129 reviews. + The most reviewed hotel for Saudi Arabia was The Cumberland A Guoman Hotel with 142 reviews. + The most reviewed hotel for Netherlands was Jaz Amsterdam with 97 reviews. + The most reviewed hotel for Switzerland was Hotel Da Vinci with 97 reviews. + The most reviewed hotel for Germany was Hotel Da Vinci with 86 reviews. + The most reviewed hotel for Canada was St James Court A Taj Hotel London with 61 reviews. + ``` 4. डेटासेट में प्रति होटल कितनी समीक्षाएँ हैं (होटल की आवृत्ति गणना)? ```python + # First create a new dataframe based on the old one, removing the uneeded columns + hotel_freq_df = df.drop(["Hotel_Address", "Additional_Number_of_Scoring", "Review_Date", "Average_Score", "Reviewer_Nationality", "Negative_Review", "Review_Total_Negative_Word_Counts", "Positive_Review", "Review_Total_Positive_Word_Counts", "Total_Number_of_Reviews_Reviewer_Has_Given", "Reviewer_Score", "Tags", "days_since_review", "lat", "lng"], axis = 1) + + # Group the rows by Hotel_Name, count them and put the result in a new column Total_Reviews_Found + hotel_freq_df['Total_Reviews_Found'] = hotel_freq_df.groupby('Hotel_Name').transform('count') + + # Get rid of all the duplicated rows + hotel_freq_df = hotel_freq_df.drop_duplicates(subset = ["Hotel_Name"]) + display(hotel_freq_df) + ``` | Hotel_Name | Total_Number_of_Reviews | Total_Reviews_Found | | :----------------------------------------: | :---------------------: | :-----------------: | | Britannia International Hotel Canary Wharf | 9086 | 4789 | | Park Plaza Westminster Bridge London | 12158 | 4169 | | Copthorne Tara Hotel London Kensington | 7105 | 3578 | | ... | ... | ... | | Mercure Paris Porte d Orleans | 110 | 10 | | Hotel Wagner | 135 | 10 | | Hotel Gallitzinberg | 173 | 8 | आप देख सकते हैं कि *डेटासेट में गिना गया* परिणाम `Total_Number_of_Reviews` में मान से मेल नहीं खाता है। यह स्पष्ट नहीं है कि क्या डेटासेट में यह मान होटल की कुल समीक्षाओं का प्रतिनिधित्व करता था, लेकिन सभी स्क्रैप नहीं की गईं, या कुछ अन्य गणना। इस अस्पष्टता के कारण `Total_Number_of_Reviews` को मॉडल में उपयोग नहीं किया गया है। 5. जबकि डेटासेट में प्रत्येक होटल के लिए एक `Average_Score` कॉलम है, आप एक औसत स्कोर भी गणना कर सकते हैं (प्रत्येक होटल के लिए डेटासेट में सभी समीक्षक स्कोर का औसत प्राप्त करना)। अपने डेटा फ्रेम में एक नया कॉलम जोड़ें जिसका कॉलम हेडर `Calc_Average_Score` हो और जिसमें वह गणना किया गया औसत हो। कॉलम `Hotel_Name`, `Average_Score`, और `Calc_Average_Score` प्रिंट करें। ```python + # define a function that takes a row and performs some calculation with it + def get_difference_review_avg(row): + return row["Average_Score"] - row["Calc_Average_Score"] + + # 'mean' is mathematical word for 'average' + df['Calc_Average_Score'] = round(df.groupby('Hotel_Name').Reviewer_Score.transform('mean'), 1) + + # Add a new column with the difference between the two average scores + df["Average_Score_Difference"] = df.apply(get_difference_review_avg, axis = 1) + + # Create a df without all the duplicates of Hotel_Name (so only 1 row per hotel) + review_scores_df = df.drop_duplicates(subset = ["Hotel_Name"]) + + # Sort the dataframe to find the lowest and highest average score difference + review_scores_df = review_scores_df.sort_values(by=["Average_Score_Difference"]) + + display(review_scores_df[["Average_Score_Difference", "Average_Score", "Calc_Average_Score", "Hotel_Name"]]) + ``` आप `Average_Score` मान के बारे में भी सोच सकते हैं और क्यों यह कभी-कभी गणना किए गए औसत स्कोर से भिन्न होता है। जैसा कि हम नहीं जान सकते कि कुछ मान मेल खाते हैं, लेकिन अन्य में अंतर है, इस मामले में हमारे पास जो समीक्षा स्कोर हैं उनका उपयोग करके औसत स्वयं गणना करना सबसे सुरक्षित है। कहा जा रहा है, अंतर आमतौर पर बहुत छोटे होते हैं, यहाँ डेटासेट औसत और गणना किए गए औसत से सबसे बड़े विचलन वाले होटल हैं: | Average_Score_Difference | Average_Score | Calc_Average_Score | Hotel_Name | | :----------------------: | :-----------: | :----------------: | ------------------------------------------: | | -0.8 | 7.7 | 8.5 | Best Western Hotel Astoria | | -0.7 | 8.8 | 9.5 | Hotel Stendhal Place Vend me Paris MGallery | | -0.7 | 7.5 | 8.2 | Mercure Paris Porte d Orleans | | -0.7 | 7.9 | 8.6 | Renaissance Paris Vendome Hotel | | -0.5 | 7.0 | 7.5 | Hotel Royal Elys es | | ... | ... | ... | ... | | 0.7 | 7.5 | 6.8 | Mercure Paris Op ra Faubourg Montmartre | | 0.8 | 7.1 | 6.3 | Holiday Inn Paris Montparnasse Pasteur | | 0.9 | 6.8 | 5.9 | Villa Eugenie | | 0.9 | 8.6 | 7.7 | MARQUIS Faubourg St Honor Relais Ch teaux | | 1.3 | 7.2 | 5.9 | Kube Hotel Ice Bar | केवल 1 होटल के साथ जिसका स्कोर अंतर 1 से अधिक है, इसका मतलब है कि हम संभवतः अंतर को अनदेखा कर सकते हैं और गणना किए गए औसत स्कोर का उपयोग कर सकते हैं। 6. गणना करें और प्रिंट करें कि कितनी पंक्तियों में कॉलम `Negative_Review` के मान "No Negative" हैं 7. गणना करें और प्रिंट करें कि कितनी पंक्तियों में कॉलम `Positive_Review` के मान "No Positive" हैं 8. गणना करें और प्रिंट करें कि कितनी पंक्तियों में कॉलम `Positive_Review` के मान "No Positive" **और** `Negative_Review` के मान "No Negative" हैं ```python + # with lambdas: + start = time.time() + no_negative_reviews = df.apply(lambda x: True if x['Negative_Review'] == "No Negative" else False , axis=1) + print("Number of No Negative reviews: " + str(len(no_negative_reviews[no_negative_reviews == True].index))) + + no_positive_reviews = df.apply(lambda x: True if x['Positive_Review'] == "No Positive" else False , axis=1) + print("Number of No Positive reviews: " + str(len(no_positive_reviews[no_positive_reviews == True].index))) + + both_no_reviews = df.apply(lambda x: True if x['Negative_Review'] == "No Negative" and x['Positive_Review'] == "No Positive" else False , axis=1) + print("Number of both No Negative and No Positive reviews: " + str(len(both_no_reviews[both_no_reviews == True].index))) + end = time.time() + print("Lambdas took " + str(round(end - start, 2)) + " seconds") + + Number of No Negative reviews: 127890 + Number of No Positive reviews: 35946 + Number of both No Negative and No Positive reviews: 127 + Lambdas took 9.64 seconds + ``` ## एक और तरीका एक और तरीका बिना लैम्ब्डास के आइटम गिनना, और पंक्तियों को गिनने के लिए सम का उपयोग करना: ```python + # without lambdas (using a mixture of notations to show you can use both) + start = time.time() + no_negative_reviews = sum(df.Negative_Review == "No Negative") + print("Number of No Negative reviews: " + str(no_negative_reviews)) + + no_positive_reviews = sum(df["Positive_Review"] == "No Positive") + print("Number of No Positive reviews: " + str(no_positive_reviews)) + + both_no_reviews = sum((df.Negative_Review == "No Negative") & (df.Positive_Review == "No Positive")) + print("Number of both No Negative and No Positive reviews: " + str(both_no_reviews)) + + end = time.time() + print("Sum took " + str(round(end - start, 2)) + " seconds") + + Number of No Negative reviews: 127890 + Number of No Positive reviews: 35946 + Number of both No Negative and No Positive reviews: 127 + Sum took 0.19 seconds + ``` आपने देखा होगा कि कॉलम `Negative_Review` और `Positive_Review` के लिए क्रमशः "No Negative" और "No Positive" मानों वाली 127 पंक्तियाँ हैं। इसका मतलब है कि समीक्षक ने होटल को एक संख्यात्मक स्कोर दिया, लेकिन सकारात्मक या नकारात्मक समीक्षा लिखने से इनकार कर दिया। सौभाग्य से यह एक छोटी मात्रा की पंक्तियाँ हैं (515738 में से 127, या 0.02%), इसलिए यह संभवतः हमारे मॉडल या परिणामों को किसी विशेष दिशा में नहीं ले जाएगा, लेकिन आप एक डेटा सेट की समीक्षा करने की उम्मीद नहीं कर सकते जिसमें कोई समीक्षा नहीं है, इसलिए यह डेटा का पता लगाने लायक है ताकि ऐसी पंक्तियों की खोज की जा सके। अब जब आपने डेटासेट का पता लगा लिया है, अगली कक्षा में आप डेटा को फ़िल्टर करेंगे और कुछ भावना विश्लेषण जोड़ेंगे। --- ## 🚀चुनौती यह पाठ प्रदर्शित करता है, जैसा कि हमने पिछले पाठों में देखा, डेटा और इसकी खामियों को समझना कितना महत्वपूर्ण है इससे पहले कि आप उस पर संचालन करें। विशेष रूप से, टेक्स्ट-आधारित डेटा सावधानीपूर्वक जांच का सामना करता है। विभिन्न टेक्स्ट-भारी डेटा सेटों के माध्यम से खुदाई करें और देखें कि क्या आप ऐसे क्षेत्र खोज सकते हैं जो मॉडल में पूर्वाग्रह या विकृत भावना ला सकते हैं। ## [पोस्ट-व्याख्यान प्रश्नोत्तरी](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/38/) ## समीक्षा और आत्म अध्ययन [इस NLP लर्निंग पाथ](https://docs.microsoft.com/learn/paths/explore-natural-language-processing/?WT.mc_id=academic-77952-leestott) को लें और भाषण और टेक्स्ट-भारी मॉडल बनाने के लिए प्रयास करने के लिए उपकरण खोजें। ## असाइनमेंट [NLTK](assignment.md) + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवाद में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल भाषा में मूल दस्तावेज़ को प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/6-NLP/4-Hotel-Reviews-1/assignment.md b/translations/hi/6-NLP/4-Hotel-Reviews-1/assignment.md new file mode 100644 index 000000000..58bf4dd44 --- /dev/null +++ b/translations/hi/6-NLP/4-Hotel-Reviews-1/assignment.md @@ -0,0 +1,8 @@ +# NLTK + +## निर्देश + +NLTK एक प्रसिद्ध लाइब्रेरी है जिसका उपयोग कम्प्यूटेशनल लिंग्विस्टिक्स और NLP में किया जाता है। इस अवसर का लाभ उठाकर '[NLTK किताब](https://www.nltk.org/book/)' को पढ़ें और इसके अभ्यासों को आजमाएं। इस बिना ग्रेड वाली असाइनमेंट में, आप इस लाइब्रेरी को और अधिक गहराई से जान पाएंगे। + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/6-NLP/4-Hotel-Reviews-1/solution/Julia/README.md b/translations/hi/6-NLP/4-Hotel-Reviews-1/solution/Julia/README.md new file mode 100644 index 000000000..f8ed09fd4 --- /dev/null +++ b/translations/hi/6-NLP/4-Hotel-Reviews-1/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। इसकी मूल भाषा में मूल दस्तावेज़ को प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/6-NLP/4-Hotel-Reviews-1/solution/R/README.md b/translations/hi/6-NLP/4-Hotel-Reviews-1/solution/R/README.md new file mode 100644 index 000000000..9acee712b --- /dev/null +++ b/translations/hi/6-NLP/4-Hotel-Reviews-1/solution/R/README.md @@ -0,0 +1,4 @@ + + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/6-NLP/5-Hotel-Reviews-2/README.md b/translations/hi/6-NLP/5-Hotel-Reviews-2/README.md new file mode 100644 index 000000000..1850399ae --- /dev/null +++ b/translations/hi/6-NLP/5-Hotel-Reviews-2/README.md @@ -0,0 +1,377 @@ +# होटल समीक्षा के साथ भावना विश्लेषण + +अब जब आपने डेटासेट का विस्तार से अन्वेषण कर लिया है, तो समय आ गया है कि आप कॉलम को फ़िल्टर करें और फिर होटल के बारे में नई अंतर्दृष्टि प्राप्त करने के लिए एनएलपी तकनीकों का उपयोग करें। +## [पूर्व-व्याख्यान क्विज़](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/39/) + +### फ़िल्टरिंग और भावना विश्लेषण संचालन + +जैसा कि आपने शायद देखा होगा, डेटासेट में कुछ समस्याएं हैं। कुछ कॉलम बेकार की जानकारी से भरे हुए हैं, जबकि अन्य गलत लगते हैं। अगर वे सही भी हैं, तो यह स्पष्ट नहीं है कि उनकी गणना कैसे की गई थी, और आपके अपने गणनाओं द्वारा उत्तरों को स्वतंत्र रूप से सत्यापित नहीं किया जा सकता। + +## अभ्यास: थोड़ा और डेटा प्रोसेसिंग + +डेटा को थोड़ा और साफ करें। उन कॉलम को जोड़ें जो बाद में उपयोगी होंगे, अन्य कॉलम में मान बदलें, और कुछ कॉलम को पूरी तरह से हटा दें। + +1. प्रारंभिक कॉलम प्रोसेसिंग + + 1. `lat` और `lng` को हटा दें + + 2. `Hotel_Address` मानों को निम्नलिखित मानों के साथ बदलें (यदि पता शहर और देश का नाम शामिल करता है, तो इसे केवल शहर और देश में बदलें)। + + ये डेटासेट में केवल शहर और देश हैं: + + एम्स्टर्डम, नीदरलैंड्स + + बार्सिलोना, स्पेन + + लंदन, यूनाइटेड किंगडम + + मिलान, इटली + + पेरिस, फ्रांस + + वियना, ऑस्ट्रिया + + ```python + def replace_address(row): + if "Netherlands" in row["Hotel_Address"]: + return "Amsterdam, Netherlands" + elif "Barcelona" in row["Hotel_Address"]: + return "Barcelona, Spain" + elif "United Kingdom" in row["Hotel_Address"]: + return "London, United Kingdom" + elif "Milan" in row["Hotel_Address"]: + return "Milan, Italy" + elif "France" in row["Hotel_Address"]: + return "Paris, France" + elif "Vienna" in row["Hotel_Address"]: + return "Vienna, Austria" + + # Replace all the addresses with a shortened, more useful form + df["Hotel_Address"] = df.apply(replace_address, axis = 1) + # The sum of the value_counts() should add up to the total number of reviews + print(df["Hotel_Address"].value_counts()) + ``` + + अब आप देश स्तर का डेटा क्वेरी कर सकते हैं: + + ```python + display(df.groupby("Hotel_Address").agg({"Hotel_Name": "nunique"})) + ``` + + | होटल_पता | होटल_नाम | + | :--------------------- | :--------: | + | एम्स्टर्डम, नीदरलैंड्स | 105 | + | बार्सिलोना, स्पेन | 211 | + | लंदन, यूनाइटेड किंगडम | 400 | + | मिलान, इटली | 162 | + | पेरिस, फ्रांस | 458 | + | वियना, ऑस्ट्रिया | 158 | + +2. होटल मेटा-रिव्यू कॉलम प्रोसेस करें + + 1. `Additional_Number_of_Scoring` + + 1. Replace `Total_Number_of_Reviews` with the total number of reviews for that hotel that are actually in the dataset + + 1. Replace `Average_Score` को हमारे अपने गणना किए गए स्कोर के साथ हटा दें + + ```python + # Drop `Additional_Number_of_Scoring` + df.drop(["Additional_Number_of_Scoring"], axis = 1, inplace=True) + # Replace `Total_Number_of_Reviews` and `Average_Score` with our own calculated values + df.Total_Number_of_Reviews = df.groupby('Hotel_Name').transform('count') + df.Average_Score = round(df.groupby('Hotel_Name').Reviewer_Score.transform('mean'), 1) + ``` + +3. समीक्षा कॉलम प्रोसेस करें + + 1. `Review_Total_Negative_Word_Counts`, `Review_Total_Positive_Word_Counts`, `Review_Date` and `days_since_review` + + 2. Keep `Reviewer_Score`, `Negative_Review`, and `Positive_Review` as they are, + + 3. Keep `Tags` for now + + - We'll be doing some additional filtering operations on the tags in the next section and then tags will be dropped + +4. Process reviewer columns + + 1. Drop `Total_Number_of_Reviews_Reviewer_Has_Given` + + 2. Keep `Reviewer_Nationality` + +### Tag columns + +The `Tag` column is problematic as it is a list (in text form) stored in the column. Unfortunately the order and number of sub sections in this column are not always the same. It's hard for a human to identify the correct phrases to be interested in, because there are 515,000 rows, and 1427 hotels, and each has slightly different options a reviewer could choose. This is where NLP shines. You can scan the text and find the most common phrases, and count them. + +Unfortunately, we are not interested in single words, but multi-word phrases (e.g. *Business trip*). Running a multi-word frequency distribution algorithm on that much data (6762646 words) could take an extraordinary amount of time, but without looking at the data, it would seem that is a necessary expense. This is where exploratory data analysis comes in useful, because you've seen a sample of the tags such as `[' Business trip ', ' Solo traveler ', ' Single Room ', ' Stayed 5 nights ', ' Submitted from a mobile device ']` को हटा दें, आप पूछ सकते हैं कि क्या प्रोसेसिंग को काफी हद तक कम करना संभव है। सौभाग्य से, यह संभव है - लेकिन पहले आपको यह सुनिश्चित करने के लिए कुछ कदम उठाने की आवश्यकता है कि कौन से टैग प्रासंगिक हैं। + +### टैग फ़िल्टरिंग + +याद रखें कि डेटासेट का लक्ष्य भावना और कॉलम जोड़ना है जो आपको सर्वश्रेष्ठ होटल चुनने में मदद करेगा (अपने लिए या शायद किसी क्लाइंट के लिए जो आपसे होटल सिफारिश बॉट बनाने का काम सौंप रहा है)। आपको खुद से पूछना होगा कि क्या टैग अंतिम डेटासेट में उपयोगी हैं या नहीं। यहां एक व्याख्या है (यदि आपको डेटासेट अन्य कारणों से चाहिए तो विभिन्न टैग चयन में रह सकते हैं/नहीं रह सकते): + +1. यात्रा का प्रकार प्रासंगिक है, और इसे रहना चाहिए +2. अतिथि समूह का प्रकार महत्वपूर्ण है, और इसे रहना चाहिए +3. अतिथि ने जिस प्रकार के कमरे, सुइट या स्टूडियो में ठहराव किया वह अप्रासंगिक है (सभी होटलों में मूल रूप से समान कमरे होते हैं) +4. समीक्षा जिस डिवाइस से सबमिट की गई वह अप्रासंगिक है +5. समीक्षक ने कितनी रातें ठहराई यह प्रासंगिक हो सकता है अगर आप मानते हैं कि लंबे ठहराव का मतलब है कि उन्हें होटल अधिक पसंद आया, लेकिन यह एक खिंचाव है, और शायद अप्रासंगिक + +संक्षेप में, **2 प्रकार के टैग रखें और अन्य को हटा दें**। + +पहले, आप टैग की गिनती तब तक नहीं करना चाहेंगे जब तक वे बेहतर प्रारूप में न हों, इसलिए इसका मतलब है कोष्ठकों और उद्धरणों को हटाना। आप इसे कई तरीकों से कर सकते हैं, लेकिन आप सबसे तेज़ तरीका चाहते हैं क्योंकि बहुत सारा डेटा प्रोसेस करने में बहुत समय लग सकता है। सौभाग्य से, पांडा के पास इन चरणों में से प्रत्येक को करने का एक आसान तरीका है। + +```Python +# Remove opening and closing brackets +df.Tags = df.Tags.str.strip("[']") +# remove all quotes too +df.Tags = df.Tags.str.replace(" ', '", ",", regex = False) +``` + +प्रत्येक टैग कुछ इस प्रकार बन जाता है: `Business trip, Solo traveler, Single Room, Stayed 5 nights, Submitted from a mobile device`. + +Next we find a problem. Some reviews, or rows, have 5 columns, some 3, some 6. This is a result of how the dataset was created, and hard to fix. You want to get a frequency count of each phrase, but they are in different order in each review, so the count might be off, and a hotel might not get a tag assigned to it that it deserved. + +Instead you will use the different order to our advantage, because each tag is multi-word but also separated by a comma! The simplest way to do this is to create 6 temporary columns with each tag inserted in to the column corresponding to its order in the tag. You can then merge the 6 columns into one big column and run the `value_counts()` method on the resulting column. Printing that out, you'll see there was 2428 unique tags. Here is a small sample: + +| Tag | Count | +| ------------------------------ | ------ | +| Leisure trip | 417778 | +| Submitted from a mobile device | 307640 | +| Couple | 252294 | +| Stayed 1 night | 193645 | +| Stayed 2 nights | 133937 | +| Solo traveler | 108545 | +| Stayed 3 nights | 95821 | +| Business trip | 82939 | +| Group | 65392 | +| Family with young children | 61015 | +| Stayed 4 nights | 47817 | +| Double Room | 35207 | +| Standard Double Room | 32248 | +| Superior Double Room | 31393 | +| Family with older children | 26349 | +| Deluxe Double Room | 24823 | +| Double or Twin Room | 22393 | +| Stayed 5 nights | 20845 | +| Standard Double or Twin Room | 17483 | +| Classic Double Room | 16989 | +| Superior Double or Twin Room | 13570 | +| 2 rooms | 12393 | + +Some of the common tags like `Submitted from a mobile device` are of no use to us, so it might be a smart thing to remove them before counting phrase occurrence, but it is such a fast operation you can leave them in and ignore them. + +### Removing the length of stay tags + +Removing these tags is step 1, it reduces the total number of tags to be considered slightly. Note you do not remove them from the dataset, just choose to remove them from consideration as values to count/keep in the reviews dataset. + +| Length of stay | Count | +| ---------------- | ------ | +| Stayed 1 night | 193645 | +| Stayed 2 nights | 133937 | +| Stayed 3 nights | 95821 | +| Stayed 4 nights | 47817 | +| Stayed 5 nights | 20845 | +| Stayed 6 nights | 9776 | +| Stayed 7 nights | 7399 | +| Stayed 8 nights | 2502 | +| Stayed 9 nights | 1293 | +| ... | ... | + +There are a huge variety of rooms, suites, studios, apartments and so on. They all mean roughly the same thing and not relevant to you, so remove them from consideration. + +| Type of room | Count | +| ----------------------------- | ----- | +| Double Room | 35207 | +| Standard Double Room | 32248 | +| Superior Double Room | 31393 | +| Deluxe Double Room | 24823 | +| Double or Twin Room | 22393 | +| Standard Double or Twin Room | 17483 | +| Classic Double Room | 16989 | +| Superior Double or Twin Room | 13570 | + +Finally, and this is delightful (because it didn't take much processing at all), you will be left with the following *useful* tags: + +| Tag | Count | +| --------------------------------------------- | ------ | +| Leisure trip | 417778 | +| Couple | 252294 | +| Solo traveler | 108545 | +| Business trip | 82939 | +| Group (combined with Travellers with friends) | 67535 | +| Family with young children | 61015 | +| Family with older children | 26349 | +| With a pet | 1405 | + +You could argue that `Travellers with friends` is the same as `Group` more or less, and that would be fair to combine the two as above. The code for identifying the correct tags is [the Tags notebook](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/1-notebook.ipynb). + +The final step is to create new columns for each of these tags. Then, for every review row, if the `Tag` कॉलम नए कॉलम में से एक से मेल खाता है, तो 1 जोड़ें, यदि नहीं, तो 0 जोड़ें। अंतिम परिणाम यह होगा कि कितने समीक्षकों ने इस होटल को (कुल मिलाकर) व्यापार बनाम अवकाश के लिए चुना, या पालतू जानवर को लाने के लिए चुना, और यह होटल की सिफारिश करते समय उपयोगी जानकारी है। + +```python +# Process the Tags into new columns +# The file Hotel_Reviews_Tags.py, identifies the most important tags +# Leisure trip, Couple, Solo traveler, Business trip, Group combined with Travelers with friends, +# Family with young children, Family with older children, With a pet +df["Leisure_trip"] = df.Tags.apply(lambda tag: 1 if "Leisure trip" in tag else 0) +df["Couple"] = df.Tags.apply(lambda tag: 1 if "Couple" in tag else 0) +df["Solo_traveler"] = df.Tags.apply(lambda tag: 1 if "Solo traveler" in tag else 0) +df["Business_trip"] = df.Tags.apply(lambda tag: 1 if "Business trip" in tag else 0) +df["Group"] = df.Tags.apply(lambda tag: 1 if "Group" in tag or "Travelers with friends" in tag else 0) +df["Family_with_young_children"] = df.Tags.apply(lambda tag: 1 if "Family with young children" in tag else 0) +df["Family_with_older_children"] = df.Tags.apply(lambda tag: 1 if "Family with older children" in tag else 0) +df["With_a_pet"] = df.Tags.apply(lambda tag: 1 if "With a pet" in tag else 0) + +``` + +### अपनी फ़ाइल सहेजें + +अंत में, अब जैसा है वैसा ही डेटासेट एक नए नाम से सहेजें। + +```python +df.drop(["Review_Total_Negative_Word_Counts", "Review_Total_Positive_Word_Counts", "days_since_review", "Total_Number_of_Reviews_Reviewer_Has_Given"], axis = 1, inplace=True) + +# Saving new data file with calculated columns +print("Saving results to Hotel_Reviews_Filtered.csv") +df.to_csv(r'../data/Hotel_Reviews_Filtered.csv', index = False) +``` + +## भावना विश्लेषण संचालन + +इस अंतिम अनुभाग में, आप समीक्षा कॉलम पर भावना विश्लेषण लागू करेंगे और परिणामों को एक डेटासेट में सहेजेंगे। + +## अभ्यास: फ़िल्टर किया गया डेटा लोड और सहेजें + +ध्यान दें कि अब आप वह फ़िल्टर किया गया डेटासेट लोड कर रहे हैं जिसे पिछले अनुभाग में सहेजा गया था, **मूल** डेटासेट नहीं। + +```python +import time +import pandas as pd +import nltk as nltk +from nltk.corpus import stopwords +from nltk.sentiment.vader import SentimentIntensityAnalyzer +nltk.download('vader_lexicon') + +# Load the filtered hotel reviews from CSV +df = pd.read_csv('../../data/Hotel_Reviews_Filtered.csv') + +# You code will be added here + + +# Finally remember to save the hotel reviews with new NLP data added +print("Saving results to Hotel_Reviews_NLP.csv") +df.to_csv(r'../data/Hotel_Reviews_NLP.csv', index = False) +``` + +### स्टॉप शब्द हटाना + +यदि आप नकारात्मक और सकारात्मक समीक्षा कॉलम पर भावना विश्लेषण चलाते हैं, तो इसमें बहुत समय लग सकता है। एक शक्तिशाली परीक्षण लैपटॉप पर तेज़ सीपीयू के साथ परीक्षण किया गया, इसमें 12 - 14 मिनट लगे, जो भावना पुस्तकालय पर निर्भर करता है। यह (सापेक्ष) लंबा समय है, इसलिए यह जांचने योग्य है कि क्या इसे तेज किया जा सकता है। + +स्टॉप शब्दों, या सामान्य अंग्रेजी शब्दों को हटाना जो वाक्य की भावना को नहीं बदलते, पहला कदम है। उन्हें हटाकर, भावना विश्लेषण को तेज़ी से चलाना चाहिए, लेकिन कम सटीक नहीं होना चाहिए (क्योंकि स्टॉप शब्द भावना को प्रभावित नहीं करते, लेकिन वे विश्लेषण को धीमा कर देते हैं)। + +सबसे लंबी नकारात्मक समीक्षा 395 शब्दों की थी, लेकिन स्टॉप शब्दों को हटाने के बाद, यह 195 शब्दों की हो गई। + +स्टॉप शब्दों को हटाना भी एक तेज़ ऑपरेशन है, 515,000 पंक्तियों में से 2 समीक्षा कॉलम से स्टॉप शब्दों को हटाने में परीक्षण डिवाइस पर 3.3 सेकंड लगे। आपके लिए इसमें थोड़ा अधिक या कम समय लग सकता है, जो आपके डिवाइस के सीपीयू गति, रैम, एसएसडी होने या न होने और कुछ अन्य कारकों पर निर्भर करता है। ऑपरेशन की सापेक्ष कम समय की वजह से अगर यह भावना विश्लेषण समय में सुधार करता है, तो यह करने लायक है। + +```python +from nltk.corpus import stopwords + +# Load the hotel reviews from CSV +df = pd.read_csv("../../data/Hotel_Reviews_Filtered.csv") + +# Remove stop words - can be slow for a lot of text! +# Ryan Han (ryanxjhan on Kaggle) has a great post measuring performance of different stop words removal approaches +# https://www.kaggle.com/ryanxjhan/fast-stop-words-removal # using the approach that Ryan recommends +start = time.time() +cache = set(stopwords.words("english")) +def remove_stopwords(review): + text = " ".join([word for word in review.split() if word not in cache]) + return text + +# Remove the stop words from both columns +df.Negative_Review = df.Negative_Review.apply(remove_stopwords) +df.Positive_Review = df.Positive_Review.apply(remove_stopwords) +``` + +### भावना विश्लेषण करना + +अब आपको नकारात्मक और सकारात्मक समीक्षा कॉलम के लिए भावना विश्लेषण की गणना करनी चाहिए, और परिणाम को 2 नए कॉलम में सहेजना चाहिए। भावना की परीक्षा यह होगी कि इसे समीक्षक के स्कोर से तुलना की जाए। उदाहरण के लिए, यदि भावना विश्लेषण नकारात्मक समीक्षा को 1 (अत्यधिक सकारात्मक भावना) और सकारात्मक समीक्षा भावना को 1 मानता है, लेकिन समीक्षक ने होटल को सबसे कम संभव स्कोर दिया, तो या तो समीक्षा पाठ स्कोर से मेल नहीं खाता, या भावना विश्लेषक भावना को सही से पहचान नहीं पाया। आपको उम्मीद करनी चाहिए कि कुछ भावना स्कोर पूरी तरह से गलत होंगे, और अक्सर यह समझाने योग्य होगा, जैसे कि समीक्षा अत्यधिक व्यंग्यात्मक हो सकती है "बेशक मुझे बिना हीटिंग वाले कमरे में सोना बहुत पसंद आया" और भावना विश्लेषक सोचता है कि यह सकारात्मक भावना है, जबकि एक इंसान इसे पढ़कर जानता होगा कि यह व्यंग्य है। + +एनएलटीके विभिन्न भावना विश्लेषक प्रदान करता है, और आप उन्हें बदल सकते हैं और देख सकते हैं कि भावना अधिक या कम सटीक है। यहां VADER भावना विश्लेषण का उपयोग किया गया है। + +> हुट्टो, सी.जे. और गिल्बर्ट, ई.ई. (2014)। VADER: सोशल मीडिया टेक्स्ट के भावना विश्लेषण के लिए एक सरल नियम-आधारित मॉडल। आठवीं अंतर्राष्ट्रीय सम्मेलन पर वेबलॉग्स और सोशल मीडिया (आईसीडब्ल्यूएसएम-14)। एन आर्बर, एमआई, जून 2014। + +```python +from nltk.sentiment.vader import SentimentIntensityAnalyzer + +# Create the vader sentiment analyser (there are others in NLTK you can try too) +vader_sentiment = SentimentIntensityAnalyzer() +# Hutto, C.J. & Gilbert, E.E. (2014). VADER: A Parsimonious Rule-based Model for Sentiment Analysis of Social Media Text. Eighth International Conference on Weblogs and Social Media (ICWSM-14). Ann Arbor, MI, June 2014. + +# There are 3 possibilities of input for a review: +# It could be "No Negative", in which case, return 0 +# It could be "No Positive", in which case, return 0 +# It could be a review, in which case calculate the sentiment +def calc_sentiment(review): + if review == "No Negative" or review == "No Positive": + return 0 + return vader_sentiment.polarity_scores(review)["compound"] +``` + +बाद में अपने प्रोग्राम में जब आप भावना की गणना करने के लिए तैयार हों, तो आप इसे प्रत्येक समीक्षा पर इस प्रकार लागू कर सकते हैं: + +```python +# Add a negative sentiment and positive sentiment column +print("Calculating sentiment columns for both positive and negative reviews") +start = time.time() +df["Negative_Sentiment"] = df.Negative_Review.apply(calc_sentiment) +df["Positive_Sentiment"] = df.Positive_Review.apply(calc_sentiment) +end = time.time() +print("Calculating sentiment took " + str(round(end - start, 2)) + " seconds") +``` + +यह मेरे कंप्यूटर पर लगभग 120 सेकंड लेता है, लेकिन यह प्रत्येक कंप्यूटर पर भिन्न होगा। यदि आप परिणामों को प्रिंट करना चाहते हैं और देखना चाहते हैं कि क्या भावना समीक्षा से मेल खाती है: + +```python +df = df.sort_values(by=["Negative_Sentiment"], ascending=True) +print(df[["Negative_Review", "Negative_Sentiment"]]) +df = df.sort_values(by=["Positive_Sentiment"], ascending=True) +print(df[["Positive_Review", "Positive_Sentiment"]]) +``` + +फाइल का उपयोग करने से पहले आखिरी चीज जो करनी है, वह इसे सहेजना है! आपको अपने सभी नए कॉलम को फिर से क्रमबद्ध करने पर भी विचार करना चाहिए ताकि वे काम करने में आसान हों (एक इंसान के लिए, यह एक सौंदर्य परिवर्तन है)। + +```python +# Reorder the columns (This is cosmetic, but to make it easier to explore the data later) +df = df.reindex(["Hotel_Name", "Hotel_Address", "Total_Number_of_Reviews", "Average_Score", "Reviewer_Score", "Negative_Sentiment", "Positive_Sentiment", "Reviewer_Nationality", "Leisure_trip", "Couple", "Solo_traveler", "Business_trip", "Group", "Family_with_young_children", "Family_with_older_children", "With_a_pet", "Negative_Review", "Positive_Review"], axis=1) + +print("Saving results to Hotel_Reviews_NLP.csv") +df.to_csv(r"../data/Hotel_Reviews_NLP.csv", index = False) +``` + +आपको [विश्लेषण नोटबुक](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/3-notebook.ipynb) के लिए पूरा कोड चलाना चाहिए (जैसा कि आपने [अपनी फ़िल्टरिंग नोटबुक](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/1-notebook.ipynb) चलाने के बाद Hotel_Reviews_Filtered.csv फाइल बनाने के लिए किया था)। + +समीक्षा करने के लिए, चरण हैं: + +1. मूल डेटासेट फाइल **Hotel_Reviews.csv** को पिछले पाठ में [एक्सप्लोरर नोटबुक](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/4-Hotel-Reviews-1/solution/notebook.ipynb) के साथ अन्वेषण किया गया है +2. Hotel_Reviews.csv को [फ़िल्टरिंग नोटबुक](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/1-notebook.ipynb) द्वारा फ़िल्टर किया गया है जिसके परिणामस्वरूप **Hotel_Reviews_Filtered.csv** बनता है +3. Hotel_Reviews_Filtered.csv को [भावना विश्लेषण नोटबुक](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/3-notebook.ipynb) द्वारा प्रोसेस किया गया है जिसके परिणामस्वरूप **Hotel_Reviews_NLP.csv** बनता है +4. नीचे दिए गए एनएलपी चैलेंज में Hotel_Reviews_NLP.csv का उपयोग करें + +### निष्कर्ष + +जब आपने शुरू किया, तो आपके पास कॉलम और डेटा के साथ एक डेटासेट था, लेकिन इसका सारा हिस्सा सत्यापित या उपयोग नहीं किया जा सकता था। आपने डेटा का अन्वेषण किया, जो आवश्यक नहीं था उसे फ़िल्टर किया, टैग को उपयोगी चीजों में परिवर्तित किया, अपने औसत की गणना की, कुछ भावना कॉलम जोड़े और उम्मीद है, प्राकृतिक पाठ प्रोसेसिंग के बारे में कुछ रोचक चीजें सीखी हैं। + +## [पोस्ट-व्याख्यान क्विज़](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/40/) + +## चुनौती + +अब जब आपने अपने डेटासेट का भावना के लिए विश्लेषण कर लिया है, तो देखें कि क्या आप इस पाठ्यक्रम में सीखी गई रणनीतियों (शायद क्लस्टरिंग?) का उपयोग करके भावना के आसपास पैटर्न निर्धारित कर सकते हैं। + +## समीक्षा और स्व-अध्ययन + +[इस लर्न मॉड्यूल](https://docs.microsoft.com/en-us/learn/modules/classify-user-feedback-with-the-text-analytics-api/?WT.mc_id=academic-77952-leestott) को लें ताकि आप अधिक जान सकें और पाठ में भावना का पता लगाने के लिए विभिन्न उपकरणों का उपयोग कर सकें। +## असाइनमेंट + +[एक अलग डेटासेट आज़माएं](assignment.md) + +**अस्वीकरण**: +इस दस्तावेज़ का अनुवाद मशीन आधारित एआई अनुवाद सेवाओं का उपयोग करके किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियां या अशुद्धियाँ हो सकती हैं। इसकी मूल भाषा में मूल दस्तावेज़ को प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम जिम्मेदार नहीं हैं। \ No newline at end of file diff --git a/translations/hi/6-NLP/5-Hotel-Reviews-2/assignment.md b/translations/hi/6-NLP/5-Hotel-Reviews-2/assignment.md new file mode 100644 index 000000000..c7567d897 --- /dev/null +++ b/translations/hi/6-NLP/5-Hotel-Reviews-2/assignment.md @@ -0,0 +1,14 @@ +# एक अलग डेटासेट आज़माएं + +## निर्देश + +अब जब आपने टेक्स्ट को सेंटिमेंट असाइन करने के लिए NLTK का उपयोग करना सीख लिया है, तो एक अलग डेटासेट आज़माएं। आपको शायद इसके चारों ओर कुछ डेटा प्रोसेसिंग करनी पड़ेगी, इसलिए एक नोटबुक बनाएं और अपनी सोच प्रक्रिया को दस्तावेज करें। आपको क्या पता चलता है? + +## रूब्रिक + +| मानदंड | उत्कृष्ट | पर्याप्त | सुधार की आवश्यकता | +| ------- | ----------------------------------------------------------------------------------------------------------------- | ----------------------------------------- | ---------------------- | +| | एक पूरी नोटबुक और डेटासेट प्रस्तुत किए गए हैं, जिनमें अच्छी तरह से दस्तावेजित सेल्स बताते हैं कि सेंटिमेंट कैसे असाइन किया गया है | नोटबुक में अच्छे स्पष्टीकरण गायब हैं | नोटबुक में खामियां हैं | + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयासरत हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। अपनी मूल भाषा में मूल दस्तावेज़ को प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/6-NLP/5-Hotel-Reviews-2/solution/Julia/README.md b/translations/hi/6-NLP/5-Hotel-Reviews-2/solution/Julia/README.md new file mode 100644 index 000000000..69521982c --- /dev/null +++ b/translations/hi/6-NLP/5-Hotel-Reviews-2/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवाद में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में आधिकारिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/6-NLP/5-Hotel-Reviews-2/solution/R/README.md b/translations/hi/6-NLP/5-Hotel-Reviews-2/solution/R/README.md new file mode 100644 index 000000000..01b9baf62 --- /dev/null +++ b/translations/hi/6-NLP/5-Hotel-Reviews-2/solution/R/README.md @@ -0,0 +1,4 @@ + + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में आधिकारिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/6-NLP/README.md b/translations/hi/6-NLP/README.md new file mode 100644 index 000000000..d6baa5ae2 --- /dev/null +++ b/translations/hi/6-NLP/README.md @@ -0,0 +1,27 @@ +# प्राकृतिक भाषा प्रसंस्करण के साथ शुरुआत + +प्राकृतिक भाषा प्रसंस्करण (NLP) एक कंप्यूटर प्रोग्राम की क्षमता है जो मानव भाषा को समझता है जैसे कि वह बोली और लिखी जाती है -- इसे प्राकृतिक भाषा कहा जाता है। यह कृत्रिम बुद्धिमत्ता (AI) का एक घटक है। NLP 50 से अधिक वर्षों से अस्तित्व में है और इसका जड़ें भाषाविज्ञान के क्षेत्र में हैं। पूरा क्षेत्र मशीनों को मानव भाषा को समझने और संसाधित करने में मदद करने पर केंद्रित है। इसका उपयोग तब वर्तनी जांच या मशीन अनुवाद जैसे कार्यों को करने के लिए किया जा सकता है। इसमें चिकित्सा अनुसंधान, खोज इंजन और व्यापार बुद्धिमत्ता सहित कई क्षेत्रों में वास्तविक दुनिया के अनुप्रयोगों की विविधता है। + +## क्षेत्रीय विषय: यूरोपीय भाषाएं और साहित्य और यूरोप के रोमांटिक होटल ❤️ + +इस पाठ्यक्रम के इस खंड में, आपको मशीन लर्निंग के सबसे व्यापक उपयोगों में से एक से परिचित कराया जाएगा: प्राकृतिक भाषा प्रसंस्करण (NLP)। कंप्यूटेशनल भाषाविज्ञान से व्युत्पन्न, कृत्रिम बुद्धिमत्ता की यह श्रेणी आवाज़ या पाठ्य संचार के माध्यम से मनुष्यों और मशीनों के बीच पुल है। + +इन पाठों में हम छोटे संवादात्मक बॉट्स बनाकर NLP की मूल बातें सीखेंगे ताकि यह समझ सकें कि मशीन लर्निंग इन वार्तालापों को और अधिक 'स्मार्ट' बनाने में कैसे मदद करती है। आप समय में पीछे की यात्रा करेंगे, जेन ऑस्टेन के क्लासिक उपन्यास, **प्राइड एंड प्रेजुडिस**, जो 1813 में प्रकाशित हुआ था, के एलिजाबेथ बेनेट और मिस्टर डार्सी से बातचीत करेंगे। फिर, आप होटल समीक्षाओं के माध्यम से भावना विश्लेषण के बारे में सीखकर अपने ज्ञान को और बढ़ाएंगे। + + +> Photo by Elaine Howlin on Unsplash + +## पाठ + +1. [प्राकृतिक भाषा प्रसंस्करण का परिचय](1-Introduction-to-NLP/README.md) +2. [सामान्य NLP कार्य और तकनीकें](2-Tasks/README.md) +3. [मशीन लर्निंग के साथ अनुवाद और भावना विश्लेषण](3-Translation-Sentiment/README.md) +4. [अपने डेटा की तैयारी](4-Hotel-Reviews-1/README.md) +5. [भावना विश्लेषण के लिए NLTK](5-Hotel-Reviews-2/README.md) + +## श्रेय + +ये प्राकृतिक भाषा प्रसंस्करण पाठ ☕ के साथ [Stephen Howell](https://twitter.com/Howell_MSFT) द्वारा लिखे गए थे। + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयासरत हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/6-NLP/data/README.md b/translations/hi/6-NLP/data/README.md new file mode 100644 index 000000000..2d89e051f --- /dev/null +++ b/translations/hi/6-NLP/data/README.md @@ -0,0 +1,4 @@ + + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवाद में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम जिम्मेदार नहीं हैं। \ No newline at end of file diff --git a/translations/hi/7-TimeSeries/1-Introduction/README.md b/translations/hi/7-TimeSeries/1-Introduction/README.md new file mode 100644 index 000000000..4e73881c7 --- /dev/null +++ b/translations/hi/7-TimeSeries/1-Introduction/README.md @@ -0,0 +1,188 @@ +# टाइम सीरीज़ पूर्वानुमान का परिचय + + + +> स्केच नोट [Tomomi Imura](https://www.twitter.com/girlie_mac) द्वारा + +इस पाठ और अगले पाठ में, आप टाइम सीरीज़ पूर्वानुमान के बारे में थोड़ा जानेंगे, जो एक एमएल वैज्ञानिक के शस्त्रागार का एक दिलचस्प और मूल्यवान हिस्सा है, जो अन्य विषयों की तुलना में थोड़ा कम जाना जाता है। टाइम सीरीज़ पूर्वानुमान एक प्रकार का 'क्रिस्टल बॉल' है: जैसे मूल्य जैसी चर के पिछले प्रदर्शन के आधार पर, आप इसके भविष्य के संभावित मूल्य की भविष्यवाणी कर सकते हैं। + +[](https://youtu.be/cBojo1hsHiI "टाइम सीरीज़ पूर्वानुमान का परिचय") + +> 🎥 टाइम सीरीज़ पूर्वानुमान के बारे में वीडियो के लिए ऊपर की छवि पर क्लिक करें + +## [पूर्व-व्याख्यान प्रश्नोत्तरी](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/41/) + +यह एक उपयोगी और दिलचस्प क्षेत्र है जिसका व्यवसाय में वास्तविक मूल्य है, इसकी मूल्य निर्धारण, इन्वेंटरी और आपूर्ति श्रृंखला समस्याओं के प्रत्यक्ष अनुप्रयोग को देखते हुए। जबकि गहन सीखने की तकनीकों का उपयोग भविष्य के प्रदर्शन को बेहतर ढंग से पूर्वानुमान लगाने के लिए अधिक अंतर्दृष्टि प्राप्त करने के लिए किया जाने लगा है, टाइम सीरीज़ पूर्वानुमान एक ऐसा क्षेत्र है जो क्लासिक एमएल तकनीकों द्वारा बहुत सूचित है। + +> पेन स्टेट का उपयोगी टाइम सीरीज़ पाठ्यक्रम [यहाँ](https://online.stat.psu.edu/stat510/lesson/1) पाया जा सकता है + +## परिचय + +मान लीजिए कि आप स्मार्ट पार्किंग मीटर की एक श्रृंखला बनाए रखते हैं जो समय के साथ कितनी बार उपयोग किए जाते हैं और कितनी देर तक उपयोग किए जाते हैं, इसका डेटा प्रदान करते हैं। + +> क्या होगा यदि आप मीटर के पिछले प्रदर्शन के आधार पर आपूर्ति और मांग के नियमों के अनुसार इसके भविष्य के मूल्य की भविष्यवाणी कर सकते हैं? + +अपने लक्ष्य को प्राप्त करने के लिए कब कार्य करना है, इसका सटीक पूर्वानुमान लगाना एक चुनौती है जिसे टाइम सीरीज़ पूर्वानुमान द्वारा निपटाया जा सकता है। व्यस्त समय में जब लोग पार्किंग स्थान की तलाश कर रहे हों तो अधिक शुल्क लेना लोगों को खुश नहीं करेगा, लेकिन यह सड़कों की सफाई के लिए राजस्व उत्पन्न करने का एक निश्चित तरीका होगा! + +आइए टाइम सीरीज़ एल्गोरिदम के कुछ प्रकारों का अन्वेषण करें और कुछ डेटा को साफ और तैयार करने के लिए एक नोटबुक शुरू करें। जिस डेटा का आप विश्लेषण करेंगे वह GEFCom2014 पूर्वानुमान प्रतियोगिता से लिया गया है। इसमें 2012 और 2014 के बीच 3 वर्षों के प्रति घंटे के बिजली लोड और तापमान के मान शामिल हैं। बिजली लोड और तापमान के ऐतिहासिक पैटर्न को देखते हुए, आप बिजली लोड के भविष्य के मानों की भविष्यवाणी कर सकते हैं। + +इस उदाहरण में, आप केवल ऐतिहासिक लोड डेटा का उपयोग करके एक समय कदम आगे का पूर्वानुमान लगाना सीखेंगे। हालाँकि, शुरू करने से पहले, यह समझना उपयोगी है कि पर्दे के पीछे क्या चल रहा है। + +## कुछ परिभाषाएँ + +जब 'टाइम सीरीज़' शब्द का सामना करना पड़ता है तो आपको इसे कई अलग-अलग संदर्भों में समझने की आवश्यकता होती है। + +🎓 **टाइम सीरीज़** + +गणित में, "एक टाइम सीरीज़ समय क्रम में अनुक्रमित (या सूचीबद्ध या ग्राफ़) डेटा बिंदुओं की एक श्रृंखला है। सबसे सामान्यतः, एक टाइम सीरीज़ एक अनुक्रम है जिसे समय में समान अंतराल पर लिया गया है।" टाइम सीरीज़ का एक उदाहरण [डॉव जोन्स इंडस्ट्रियल एवरेज](https://wikipedia.org/wiki/Time_series) का दैनिक समापन मूल्य है। टाइम सीरीज़ प्लॉट्स और सांख्यिकीय मॉडलिंग का उपयोग अक्सर सिग्नल प्रोसेसिंग, मौसम पूर्वानुमान, भूकंप पूर्वानुमान और अन्य क्षेत्रों में होता है जहाँ घटनाएँ होती हैं और डेटा बिंदुओं को समय के साथ प्लॉट किया जा सकता है। + +🎓 **टाइम सीरीज़ विश्लेषण** + +टाइम सीरीज़ विश्लेषण, उपर्युक्त टाइम सीरीज़ डेटा का विश्लेषण है। टाइम सीरीज़ डेटा विभिन्न रूपों में हो सकता है, जिसमें 'अवरोधित टाइम सीरीज़' भी शामिल है जो किसी अवरोधक घटना से पहले और बाद में टाइम सीरीज़ के विकास में पैटर्न का पता लगाता है। टाइम सीरीज़ के लिए आवश्यक विश्लेषण, डेटा की प्रकृति पर निर्भर करता है। टाइम सीरीज़ डेटा स्वयं संख्याओं या वर्णों की श्रृंखला के रूप में हो सकता है। + +जो विश्लेषण किया जाना है, उसमें विभिन्न विधियाँ शामिल हैं, जिनमें आवृत्ति-डोमेन और समय-डोमेन, रैखिक और गैर-रैखिक, और अधिक शामिल हैं। इस प्रकार के डेटा का विश्लेषण करने के कई तरीकों के बारे में [अधिक जानें](https://www.itl.nist.gov/div898/handbook/pmc/section4/pmc4.htm)। + +🎓 **टाइम सीरीज़ पूर्वानुमान** + +टाइम सीरीज़ पूर्वानुमान एक मॉडल का उपयोग करके भविष्य के मानों की भविष्यवाणी करना है जो पहले एकत्रित डेटा द्वारा प्रदर्शित पैटर्न पर आधारित है जैसा कि अतीत में हुआ था। जबकि समय सूचकांक को x चर के रूप में प्लॉट पर उपयोग करके टाइम सीरीज़ डेटा का पता लगाने के लिए प्रतिगमन मॉडल का उपयोग करना संभव है, ऐसे डेटा का विश्लेषण विशेष प्रकार के मॉडलों का उपयोग करके सबसे अच्छा किया जाता है। + +टाइम सीरीज़ डेटा क्रमबद्ध टिप्पणियों की एक सूची है, जो डेटा के विपरीत है जिसे रैखिक प्रतिगमन द्वारा विश्लेषण किया जा सकता है। सबसे सामान्य एक एआरआईएमए है, एक संक्षिप्त नाम जो "ऑटोरेग्रेसिव इंटीग्रेटेड मूविंग एवरेज" के लिए खड़ा है। + +[एआरआईएमए मॉडल](https://online.stat.psu.edu/stat510/lesson/1/1.1) "श्रृंखला के वर्तमान मूल्य को पिछले मूल्यों और पिछले पूर्वानुमान त्रुटियों से संबंधित करते हैं।" वे समय-डोमेन डेटा का विश्लेषण करने के लिए सबसे उपयुक्त हैं, जहाँ डेटा समय के साथ क्रमबद्ध होता है। + +> एआरआईएमए मॉडलों के कई प्रकार हैं, जिनके बारे में आप [यहाँ](https://people.duke.edu/~rnau/411arim.htm) और अगले पाठ में जान सकते हैं। + +अगले पाठ में, आप [एकवचनीय टाइम सीरीज़](https://itl.nist.gov/div898/handbook/pmc/section4/pmc44.htm) का उपयोग करके एक एआरआईएमए मॉडल बनाएंगे, जो एक चर पर केंद्रित है जो समय के साथ अपने मान को बदलता है। इस प्रकार के डेटा का एक उदाहरण [यह डेटासेट](https://itl.nist.gov/div898/handbook/pmc/section4/pmc4411.htm) है जो माउना लोआ वेधशाला में मासिक CO2 सांद्रता को रिकॉर्ड करता है: + +| CO2 | YearMonth | Year | Month | +| :----: | :-------: | :---: | :---: | +| 330.62 | 1975.04 | 1975 | 1 | +| 331.40 | 1975.13 | 1975 | 2 | +| 331.87 | 1975.21 | 1975 | 3 | +| 333.18 | 1975.29 | 1975 | 4 | +| 333.92 | 1975.38 | 1975 | 5 | +| 333.43 | 1975.46 | 1975 | 6 | +| 331.85 | 1975.54 | 1975 | 7 | +| 330.01 | 1975.63 | 1975 | 8 | +| 328.51 | 1975.71 | 1975 | 9 | +| 328.41 | 1975.79 | 1975 | 10 | +| 329.25 | 1975.88 | 1975 | 11 | +| 330.97 | 1975.96 | 1975 | 12 | + +✅ इस डेटासेट में वह चर पहचानें जो समय के साथ बदलता है + +## टाइम सीरीज़ डेटा की विशेषताएँ जिन पर विचार करना चाहिए + +जब आप टाइम सीरीज़ डेटा को देखते हैं, तो आप देख सकते हैं कि इसमें [कुछ विशेषताएँ](https://online.stat.psu.edu/stat510/lesson/1/1.1) हैं जिन्हें आपको बेहतर समझने के लिए ध्यान में रखना और कम करना होगा। यदि आप टाइम सीरीज़ डेटा को संभावित रूप से एक 'सिग्नल' प्रदान करने के रूप में मानते हैं जिसे आप विश्लेषण करना चाहते हैं, तो इन विशेषताओं को 'शोर' के रूप में माना जा सकता है। आपको अक्सर कुछ सांख्यिकीय तकनीकों का उपयोग करके इन विशेषताओं को ऑफसेट करके इस 'शोर' को कम करने की आवश्यकता होगी। + +यहाँ कुछ अवधारणाएँ दी गई हैं जिन्हें आपको टाइम सीरीज़ के साथ काम करने में सक्षम होने के लिए जानना चाहिए: + +🎓 **रुझान** + +रुझान को समय के साथ मापने योग्य वृद्धि और कमी के रूप में परिभाषित किया गया है। [और पढ़ें](https://machinelearningmastery.com/time-series-trends-in-python)। टाइम सीरीज़ के संदर्भ में, यह इस बारे में है कि आपके टाइम सीरीज़ से रुझानों का उपयोग कैसे करें और, यदि आवश्यक हो, उन्हें कैसे हटाएँ। + +🎓 **[मौसमी](https://machinelearningmastery.com/time-series-seasonality-with-python/)** + +मौसमी को आवधिक उतार-चढ़ाव के रूप में परिभाषित किया गया है, जैसे कि छुट्टियों की भीड़ जो बिक्री को प्रभावित कर सकती है, उदाहरण के लिए। डेटा में मौसमी को प्रदर्शित करने वाले विभिन्न प्रकार के प्लॉट्स को [देखें](https://itl.nist.gov/div898/handbook/pmc/section4/pmc443.htm)। + +🎓 **असामान्य मान** + +असामान्य मान मानक डेटा भिन्नता से बहुत दूर होते हैं। + +🎓 **दीर्घकालिक चक्र** + +मौसमी से स्वतंत्र, डेटा एक दीर्घकालिक चक्र प्रदर्शित कर सकता है जैसे कि एक आर्थिक मंदी जो एक वर्ष से अधिक समय तक चलती है। + +🎓 **स्थिर विचलन** + +समय के साथ, कुछ डेटा स्थिर उतार-चढ़ाव प्रदर्शित करते हैं, जैसे दिन और रात के प्रति ऊर्जा उपयोग। + +🎓 **अचानक परिवर्तन** + +डेटा अचानक परिवर्तन प्रदर्शित कर सकता है जिसे आगे के विश्लेषण की आवश्यकता हो सकती है। उदाहरण के लिए, COVID के कारण व्यवसायों के अचानक बंद होने से डेटा में परिवर्तन हुआ। + +✅ यहाँ एक [नमूना टाइम सीरीज़ प्लॉट](https://www.kaggle.com/kashnitsky/topic-9-part-1-time-series-analysis-in-python) है जो कुछ वर्षों में दैनिक इन-गेम मुद्रा खर्च दिखाता है। क्या आप इस डेटा में ऊपर सूचीबद्ध किसी भी विशेषता की पहचान कर सकते हैं? + + + +## व्यायाम - बिजली उपयोग डेटा के साथ शुरुआत करना + +आइए पिछले उपयोग को देखते हुए भविष्य के बिजली उपयोग की भविष्यवाणी करने के लिए एक टाइम सीरीज़ मॉडल बनाना शुरू करें। + +> इस उदाहरण में डेटा GEFCom2014 पूर्वानुमान प्रतियोगिता से लिया गया है। इसमें 2012 और 2014 के बीच 3 वर्षों के प्रति घंटे के बिजली लोड और तापमान के मान शामिल हैं। +> +> Tao Hong, Pierre Pinson, Shu Fan, Hamidreza Zareipour, Alberto Troccoli और Rob J. Hyndman, "Probabilistic energy forecasting: Global Energy Forecasting Competition 2014 and beyond", International Journal of Forecasting, vol.32, no.3, pp 896-913, जुलाई-सितंबर, 2016. + +1. इस पाठ के `working` फ़ोल्डर में, _notebook.ipynb_ फ़ाइल खोलें। डेटा लोड और विज़ुअलाइज़ करने में मदद करने के लिए लाइब्रेरी जोड़कर शुरू करें + + ```python + import os + import matplotlib.pyplot as plt + from common.utils import load_data + %matplotlib inline + ``` + + ध्यान दें, आप शामिल `common` folder which set up your environment and handle downloading the data. + +2. Next, examine the data as a dataframe calling `load_data()` and `head()` से फ़ाइलों का उपयोग कर रहे हैं: + + ```python + data_dir = './data' + energy = load_data(data_dir)[['load']] + energy.head() + ``` + + आप देख सकते हैं कि दो कॉलम हैं जो तिथि और लोड का प्रतिनिधित्व करते हैं: + + | | लोड | + | :-----------------: | :----: | + | 2012-01-01 00:00:00 | 2698.0 | + | 2012-01-01 01:00:00 | 2558.0 | + | 2012-01-01 02:00:00 | 2444.0 | + | 2012-01-01 03:00:00 | 2402.0 | + | 2012-01-01 04:00:00 | 2403.0 | + +3. अब, `plot()` को कॉल करके डेटा प्लॉट करें: + + ```python + energy.plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + +4. अब, जुलाई 2014 के पहले सप्ताह को `energy` in `[from date]: [to date]` पैटर्न को इनपुट के रूप में प्रदान करके प्लॉट करें: + + ```python + energy['2014-07-01':'2014-07-07'].plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + + एक सुंदर प्लॉट! इन प्लॉट्स को देखें और देखें कि क्या आप ऊपर सूचीबद्ध किसी भी विशेषता की पहचान कर सकते हैं। डेटा को विज़ुअलाइज़ करके हम क्या निष्कर्ष निकाल सकते हैं? + +अगले पाठ में, आप कुछ पूर्वानुमान बनाने के लिए एक एआरआईएमए मॉडल बनाएंगे। + +--- + +## 🚀चुनौती + +उन सभी उद्योगों और पूछताछ के क्षेत्रों की एक सूची बनाएं जिनका आप सोच सकते हैं कि टाइम सीरीज़ पूर्वानुमान से लाभ होगा। क्या आप कला में इन तकनीकों के किसी अनुप्रयोग के बारे में सोच सकते हैं? अर्थमिति में? पारिस्थितिकी में? खुदरा? उद्योग? वित्त? और कहाँ? + +## [पोस्ट-व्याख्यान प्रश्नोत्तरी](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/42/) + +## समीक्षा और स्व-अध्ययन + +हालाँकि हम यहाँ उन्हें कवर नहीं करेंगे, लेकिन कभी-कभी टाइम सीरीज़ पूर्वानुमान के क्लासिक तरीकों को बढ़ाने के लिए न्यूरल नेटवर्क का उपयोग किया जाता है। उनके बारे में [इस लेख](https://medium.com/microsoftazure/neural-networks-for-forecasting-financial-and-economic-time-series-6aca370ff412) में और पढ़ें + +## असाइनमेंट + +[कुछ और टाइम सीरीज़ को विज़ुअलाइज़ करें](assignment.md) + +**अस्वीकरण**: +इस दस्तावेज़ का अनुवाद मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/7-TimeSeries/1-Introduction/assignment.md b/translations/hi/7-TimeSeries/1-Introduction/assignment.md new file mode 100644 index 000000000..0d2134cc6 --- /dev/null +++ b/translations/hi/7-TimeSeries/1-Introduction/assignment.md @@ -0,0 +1,14 @@ +# कुछ और समय श्रृंखला का दृश्य प्रदर्शन करें + +## निर्देश + +आपने समय श्रृंखला पूर्वानुमान के बारे में सीखना शुरू कर दिया है, जो इस विशेष मॉडलिंग की आवश्यकता वाले डेटा के प्रकार को देखकर आता है। आपने ऊर्जा के आसपास कुछ डेटा को दृश्यात्मक रूप से प्रदर्शित किया है। अब, कुछ और डेटा ढूंढें जो समय श्रृंखला पूर्वानुमान से लाभान्वित हो सकते हैं। तीन उदाहरण खोजें (प्रयास करें [Kaggle](https://kaggle.com) और [Azure Open Datasets](https://azure.microsoft.com/en-us/services/open-datasets/catalog/?WT.mc_id=academic-77952-leestott)) और उन्हें दृश्यात्मक बनाने के लिए एक नोटबुक बनाएं। नोटबुक में उनके किसी भी विशेष गुण (मौसमी, अचानक परिवर्तन, या अन्य रुझान) को नोट करें। + +## मूल्यांकन + +| मानदंड | उत्कृष्ट | पर्याप्त | सुधार की आवश्यकता | +| ------- | ------------------------------------------------------- | --------------------------------------------------- | ----------------------------------------------------------------------------------------- | +| | तीन डेटा सेट नोटबुक में प्लॉट और समझाए गए हैं | दो डेटा सेट नोटबुक में प्लॉट और समझाए गए हैं | कुछ डेटा सेट नोटबुक में प्लॉट या समझाए गए हैं या प्रस्तुत डेटा अपर्याप्त है | + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियां या अशुद्धियां हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/7-TimeSeries/1-Introduction/solution/Julia/README.md b/translations/hi/7-TimeSeries/1-Introduction/solution/Julia/README.md new file mode 100644 index 000000000..a4c41c9c2 --- /dev/null +++ b/translations/hi/7-TimeSeries/1-Introduction/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयासरत हैं, कृपया ध्यान दें कि स्वचालित अनुवाद में त्रुटियां या अशुद्धियाँ हो सकती हैं। इसकी मूल भाषा में मूल दस्तावेज़ को प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/7-TimeSeries/1-Introduction/solution/R/README.md b/translations/hi/7-TimeSeries/1-Introduction/solution/R/README.md new file mode 100644 index 000000000..80f2072eb --- /dev/null +++ b/translations/hi/7-TimeSeries/1-Introduction/solution/R/README.md @@ -0,0 +1,4 @@ + + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवाद में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। अपनी मूल भाषा में मूल दस्तावेज़ को प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/7-TimeSeries/2-ARIMA/README.md b/translations/hi/7-TimeSeries/2-ARIMA/README.md new file mode 100644 index 000000000..cf1a3ebf4 --- /dev/null +++ b/translations/hi/7-TimeSeries/2-ARIMA/README.md @@ -0,0 +1,397 @@ +# एआरआईएमए के साथ टाइम सीरीज भविष्यवाणी + +पिछले पाठ में, आपने टाइम सीरीज भविष्यवाणी के बारे में थोड़ा सीखा और एक डेटासेट लोड किया जो एक समय अवधि में विद्युत भार के उतार-चढ़ाव को दर्शाता है। + +[](https://youtu.be/IUSk-YDau10 "Introduction to ARIMA") + +> 🎥 वीडियो के लिए ऊपर की छवि पर क्लिक करें: एआरआईएमए मॉडल्स का संक्षिप्त परिचय। उदाहरण R में किया गया है, लेकिन अवधारणाएँ सार्वभौमिक हैं। + +## [प्री-लेक्चर क्विज़](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/43/) + +## परिचय + +इस पाठ में, आप [एआरआईएमए: *ऑटो*रेग्रेसिव *इंटीग्रेटेड *मूविंग *एवरेज](https://wikipedia.org/wiki/Autoregressive_integrated_moving_average) के साथ मॉडल बनाने का एक विशिष्ट तरीका खोजेंगे। एआरआईएमए मॉडल विशेष रूप से [गैर-स्टेशनरिटी](https://wikipedia.org/wiki/Stationary_process) दिखाने वाले डेटा को फिट करने के लिए उपयुक्त होते हैं। + +## सामान्य अवधारणाएँ + +एआरआईएमए के साथ काम करने में सक्षम होने के लिए, कुछ अवधारणाएँ हैं जिन्हें आपको जानना आवश्यक है: + +- 🎓 **स्टेशनरिटी**। सांख्यिकीय संदर्भ से, स्टेशनरिटी उन डेटा को संदर्भित करता है जिनका वितरण समय में स्थानांतरित होने पर नहीं बदलता है। गैर-स्टेशनरी डेटा, फिर, रुझानों के कारण उतार-चढ़ाव दिखाता है जिसे विश्लेषण करने के लिए परिवर्तित करना आवश्यक है। उदाहरण के लिए, सीजनलिटी डेटा में उतार-चढ़ाव ला सकती है और इसे 'सीजनल-डिफरेंसिंग' की प्रक्रिया द्वारा समाप्त किया जा सकता है। + +- 🎓 **[डिफरेंसिंग](https://wikipedia.org/wiki/Autoregressive_integrated_moving_average#Differencing)**। सांख्यिकीय संदर्भ से फिर से, डिफरेंसिंग डेटा को स्थिर बनाने के लिए गैर-स्टेशनरी डेटा को परिवर्तित करने की प्रक्रिया को संदर्भित करता है। "डिफरेंसिंग समय श्रृंखला के स्तर में बदलाव को हटा देता है, रुझान और सीजनलिटी को समाप्त करता है और परिणामस्वरूप समय श्रृंखला के माध्य को स्थिर करता है।" [शिक्सिओंग एट अल का पेपर](https://arxiv.org/abs/1904.07632) + +## टाइम सीरीज के संदर्भ में एआरआईएमए + +आइए एआरआईएमए के भागों को समझें ताकि यह समझ सकें कि यह हमें टाइम सीरीज मॉडल बनाने और इसके खिलाफ भविष्यवाणियाँ करने में कैसे मदद करता है। + +- **एआर - ऑटोरेग्रेसिव के लिए**। जैसा कि नाम से पता चलता है, ऑटोरेग्रेसिव मॉडल आपके डेटा में पिछली मानों को 'पीछे' देखने और उनके बारे में धारणाएँ बनाने के लिए देखता है। इन पिछली मानों को 'लैग्स' कहा जाता है। एक उदाहरण पेंसिल की मासिक बिक्री दिखाने वाले डेटा का होगा। प्रत्येक महीने की बिक्री कुल को डेटासेट में एक 'विकसित हो रहा चर' माना जाएगा। यह मॉडल इस प्रकार बनाया गया है कि "रुचि का विकसित चर अपने स्वयं के लैग्ड (यानी, पूर्व) मानों पर पुनरावृत्त होता है।" [विकिपीडिया](https://wikipedia.org/wiki/Autoregressive_integrated_moving_average) + +- **आई - इंटीग्रेटेड के लिए**। समान 'एआरएमए' मॉडल के विपरीत, एआरआईएमए में 'आई' इसके *[इंटीग्रेटेड](https://wikipedia.org/wiki/Order_of_integration)* पहलू को संदर्भित करता है। गैर-स्टेशनरिटी को समाप्त करने के लिए डिफरेंसिंग चरणों को लागू करने पर डेटा 'इंटीग्रेटेड' हो जाता है। + +- **एमए - मूविंग एवरेज के लिए**। इस मॉडल के [मूविंग-एवरेज](https://wikipedia.org/wiki/Moving-average_model) पहलू का तात्पर्य आउटपुट वेरिएबल से है जो लैग्स के वर्तमान और पिछले मानों का निरीक्षण करके निर्धारित होता है। + +निचला रेखा: एआरआईएमए का उपयोग विशेष प्रकार के टाइम सीरीज डेटा को यथासंभव निकटता से फिट करने के लिए किया जाता है। + +## व्यायाम - एक एआरआईएमए मॉडल बनाएं + +इस पाठ में [_/working_](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA/working) फ़ोल्डर खोलें और [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/7-TimeSeries/2-ARIMA/working/notebook.ipynb) फ़ाइल खोजें। + +1. नोटबुक चलाएं ताकि आप `statsmodels` Python लाइब्रेरी को लोड कर सकें; आपको एआरआईएमए मॉडल के लिए इसकी आवश्यकता होगी। + +1. आवश्यक लाइब्रेरी लोड करें + +1. अब, डेटा को प्लॉट करने के लिए उपयोगी कई और लाइब्रेरी लोड करें: + + ```python + import os + import warnings + import matplotlib.pyplot as plt + import numpy as np + import pandas as pd + import datetime as dt + import math + + from pandas.plotting import autocorrelation_plot + from statsmodels.tsa.statespace.sarimax import SARIMAX + from sklearn.preprocessing import MinMaxScaler + from common.utils import load_data, mape + from IPython.display import Image + + %matplotlib inline + pd.options.display.float_format = '{:,.2f}'.format + np.set_printoptions(precision=2) + warnings.filterwarnings("ignore") # specify to ignore warning messages + ``` + +1. `/data/energy.csv` फ़ाइल से डेटा को एक पांडा डेटा फ्रेम में लोड करें और एक नज़र डालें: + + ```python + energy = load_data('./data')[['load']] + energy.head(10) + ``` + +1. जनवरी 2012 से दिसंबर 2014 तक सभी उपलब्ध ऊर्जा डेटा को प्लॉट करें। कोई आश्चर्य नहीं होना चाहिए क्योंकि हमने इस डेटा को पिछले पाठ में देखा था: + + ```python + energy.plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + + अब, आइए एक मॉडल बनाएं! + +### प्रशिक्षण और परीक्षण डेटासेट बनाएं + +अब आपका डेटा लोड हो गया है, इसलिए आप इसे ट्रेन और टेस्ट सेट में अलग कर सकते हैं। आप अपने मॉडल को ट्रेन सेट पर प्रशिक्षित करेंगे। हमेशा की तरह, मॉडल के प्रशिक्षण समाप्त होने के बाद, आप इसके सटीकता का मूल्यांकन परीक्षण सेट का उपयोग करके करेंगे। आपको यह सुनिश्चित करने की आवश्यकता है कि परीक्षण सेट प्रशिक्षण सेट की तुलना में समय की एक बाद की अवधि को कवर करता है ताकि यह सुनिश्चित हो सके कि मॉडल भविष्य की समय अवधि से जानकारी प्राप्त नहीं करता है। + +1. 1 सितंबर से 31 अक्टूबर, 2014 की दो महीने की अवधि को ट्रेनिंग सेट में आवंटित करें। परीक्षण सेट में 1 नवंबर से 31 दिसंबर, 2014 की दो महीने की अवधि शामिल होगी: + + ```python + train_start_dt = '2014-11-01 00:00:00' + test_start_dt = '2014-12-30 00:00:00' + ``` + + चूंकि यह डेटा ऊर्जा की दैनिक खपत को दर्शाता है, इसलिए एक मजबूत मौसमी पैटर्न है, लेकिन खपत हाल के दिनों में खपत के समान है। + +1. अंतर को दृश्य रूप में देखें: + + ```python + energy[(energy.index < test_start_dt) & (energy.index >= train_start_dt)][['load']].rename(columns={'load':'train'}) \ + .join(energy[test_start_dt:][['load']].rename(columns={'load':'test'}), how='outer') \ + .plot(y=['train', 'test'], figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + + इसलिए, डेटा को प्रशिक्षित करने के लिए अपेक्षाकृत छोटे समय विंडो का उपयोग करना पर्याप्त होना चाहिए। + + > नोट: चूंकि हम एआरआईएमए मॉडल को फिट करने के लिए जिस फ़ंक्शन का उपयोग करते हैं वह फिटिंग के दौरान इन-सैंपल सत्यापन का उपयोग करता है, हम सत्यापन डेटा को छोड़ देंगे। + +### प्रशिक्षण के लिए डेटा तैयार करें + +अब, आपको अपने डेटा को फिल्टर और स्केल करके प्रशिक्षण के लिए तैयार करना होगा। अपने डेटासेट को केवल आवश्यक समय अवधि और कॉलम को शामिल करने के लिए फिल्टर करें, और यह सुनिश्चित करने के लिए स्केलिंग करें कि डेटा को 0,1 के अंतराल में प्रक्षेपित किया गया है। + +1. मूल डेटासेट को केवल उपरोक्त समय अवधि प्रति सेट और केवल आवश्यक कॉलम 'लोड' और तारीख को शामिल करने के लिए फिल्टर करें: + + ```python + train = energy.copy()[(energy.index >= train_start_dt) & (energy.index < test_start_dt)][['load']] + test = energy.copy()[energy.index >= test_start_dt][['load']] + + print('Training data shape: ', train.shape) + print('Test data shape: ', test.shape) + ``` + + आप डेटा का आकार देख सकते हैं: + + ```output + Training data shape: (1416, 1) + Test data shape: (48, 1) + ``` + +1. डेटा को (0, 1) के रेंज में स्केल करें। + + ```python + scaler = MinMaxScaler() + train['load'] = scaler.fit_transform(train) + train.head(10) + ``` + +1. मूल बनाम स्केल डेटा को दृश्य रूप में देखें: + + ```python + energy[(energy.index >= train_start_dt) & (energy.index < test_start_dt)][['load']].rename(columns={'load':'original load'}).plot.hist(bins=100, fontsize=12) + train.rename(columns={'load':'scaled load'}).plot.hist(bins=100, fontsize=12) + plt.show() + ``` + +  + + > मूल डेटा + +  + + > स्केल किया हुआ डेटा + +1. अब जब आपने स्केल किए गए डेटा को कैलिब्रेट कर लिया है, तो आप परीक्षण डेटा को स्केल कर सकते हैं: + + ```python + test['load'] = scaler.transform(test) + test.head() + ``` + +### एआरआईएमए लागू करें + +अब एआरआईएमए लागू करने का समय है! अब आप `statsmodels` लाइब्रेरी का उपयोग करेंगे जिसे आपने पहले इंस्टॉल किया था। + +अब आपको कई चरणों का पालन करना होगा + + 1. `SARIMAX()` and passing in the model parameters: p, d, and q parameters, and P, D, and Q parameters. + 2. Prepare the model for the training data by calling the fit() function. + 3. Make predictions calling the `forecast()` function and specifying the number of steps (the `horizon`) to forecast. + +> 🎓 What are all these parameters for? In an ARIMA model there are 3 parameters that are used to help model the major aspects of a time series: seasonality, trend, and noise. These parameters are: + +`p`: the parameter associated with the auto-regressive aspect of the model, which incorporates *past* values. +`d`: the parameter associated with the integrated part of the model, which affects the amount of *differencing* (🎓 remember differencing 👆?) to apply to a time series. +`q`: the parameter associated with the moving-average part of the model. + +> Note: If your data has a seasonal aspect - which this one does - , we use a seasonal ARIMA model (SARIMA). In that case you need to use another set of parameters: `P`, `D`, and `Q` which describe the same associations as `p`, `d`, and `q` कॉल करके मॉडल को परिभाषित करें, लेकिन मॉडल के मौसमी घटकों से संबंधित हैं। + +1. अपनी पसंदीदा क्षितिज मान सेट करके प्रारंभ करें। आइए 3 घंटे आजमाएं: + + ```python + # Specify the number of steps to forecast ahead + HORIZON = 3 + print('Forecasting horizon:', HORIZON, 'hours') + ``` + + एआरआईएमए मॉडल के पैरामीटर के लिए सर्वोत्तम मानों का चयन करना चुनौतीपूर्ण हो सकता है क्योंकि यह कुछ हद तक व्यक्तिपरक और समय लेने वाला है। आप `auto_arima()` function from the [`pyramid` लाइब्रेरी](https://alkaline-ml.com/pmdarima/0.9.0/modules/generated/pyramid.arima.auto_arima.html) का उपयोग करने पर विचार कर सकते हैं, + +1. अभी के लिए कुछ मैनुअल चयन आजमाएं ताकि एक अच्छा मॉडल मिल सके। + + ```python + order = (4, 1, 0) + seasonal_order = (1, 1, 0, 24) + + model = SARIMAX(endog=train, order=order, seasonal_order=seasonal_order) + results = model.fit() + + print(results.summary()) + ``` + + परिणामों की एक तालिका मुद्रित होती है। + +आपने अपना पहला मॉडल बना लिया है! अब हमें इसे मूल्यांकन करने का तरीका खोजना होगा। + +### अपने मॉडल का मूल्यांकन करें + +अपने मॉडल का मूल्यांकन करने के लिए, आप तथाकथित `वॉक फॉरवर्ड` सत्यापन कर सकते हैं। व्यवहार में, टाइम सीरीज मॉडल को हर बार एक नया डेटा उपलब्ध होने पर पुन: प्रशिक्षित किया जाता है। यह मॉडल को प्रत्येक समय चरण पर सर्वोत्तम पूर्वानुमान बनाने की अनुमति देता है। + +इस तकनीक का उपयोग करके टाइम सीरीज की शुरुआत में शुरू करते हुए, ट्रेन डेटा सेट पर मॉडल को प्रशिक्षित करें। फिर अगले समय चरण पर एक भविष्यवाणी करें। भविष्यवाणी ज्ञात मान के खिलाफ मूल्यांकित की जाती है। फिर ट्रेनिंग सेट को ज्ञात मान को शामिल करने के लिए विस्तारित किया जाता है और प्रक्रिया को दोहराया जाता है। + +> नोट: आपको अधिक कुशल प्रशिक्षण के लिए प्रशिक्षण सेट विंडो को स्थिर रखना चाहिए ताकि हर बार जब आप प्रशिक्षण सेट में एक नया अवलोकन जोड़ते हैं, तो आप सेट की शुरुआत से अवलोकन को हटा देते हैं। + +यह प्रक्रिया इस बात का अधिक मजबूत अनुमान प्रदान करती है कि मॉडल व्यवहार में कैसा प्रदर्शन करेगा। हालाँकि, यह इतने सारे मॉडल बनाने की गणना लागत पर आता है। यदि डेटा छोटा है या मॉडल सरल है तो यह स्वीकार्य है, लेकिन पैमाने पर एक समस्या हो सकती है। + +वॉक-फॉरवर्ड वैलिडेशन टाइम सीरीज मॉडल मूल्यांकन का स्वर्ण मानक है और आपके अपने प्रोजेक्ट के लिए अनुशंसित है। + +1. सबसे पहले, प्रत्येक HORIZON चरण के लिए एक परीक्षण डेटा बिंदु बनाएं। + + ```python + test_shifted = test.copy() + + for t in range(1, HORIZON+1): + test_shifted['load+'+str(t)] = test_shifted['load'].shift(-t, freq='H') + + test_shifted = test_shifted.dropna(how='any') + test_shifted.head(5) + ``` + + | | | लोड | लोड+1 | लोड+2 | + | ---------- | -------- | ---- | ------ | ------ | + | 2014-12-30 | 00:00:00 | 0.33 | 0.29 | 0.27 | + | 2014-12-30 | 01:00:00 | 0.29 | 0.27 | 0.27 | + | 2014-12-30 | 02:00:00 | 0.27 | 0.27 | 0.30 | + | 2014-12-30 | 03:00:00 | 0.27 | 0.30 | 0.41 | + | 2014-12-30 | 04:00:00 | 0.30 | 0.41 | 0.57 | + + डेटा को उसके क्षितिज बिंदु के अनुसार क्षैतिज रूप से स्थानांतरित किया गया है। + +1. इस स्लाइडिंग विंडो दृष्टिकोण का उपयोग करके अपने परीक्षण डेटा पर भविष्यवाणियाँ करें और परीक्षण डेटा की लंबाई के आकार में एक लूप में करें: + + ```python + %%time + training_window = 720 # dedicate 30 days (720 hours) for training + + train_ts = train['load'] + test_ts = test_shifted + + history = [x for x in train_ts] + history = history[(-training_window):] + + predictions = list() + + order = (2, 1, 0) + seasonal_order = (1, 1, 0, 24) + + for t in range(test_ts.shape[0]): + model = SARIMAX(endog=history, order=order, seasonal_order=seasonal_order) + model_fit = model.fit() + yhat = model_fit.forecast(steps = HORIZON) + predictions.append(yhat) + obs = list(test_ts.iloc[t]) + # move the training window + history.append(obs[0]) + history.pop(0) + print(test_ts.index[t]) + print(t+1, ': predicted =', yhat, 'expected =', obs) + ``` + + आप प्रशिक्षण होते हुए देख सकते हैं: + + ```output + 2014-12-30 00:00:00 + 1 : predicted = [0.32 0.29 0.28] expected = [0.32945389435989236, 0.2900626678603402, 0.2739480752014323] + + 2014-12-30 01:00:00 + 2 : predicted = [0.3 0.29 0.3 ] expected = [0.2900626678603402, 0.2739480752014323, 0.26812891674127126] + + 2014-12-30 02:00:00 + 3 : predicted = [0.27 0.28 0.32] expected = [0.2739480752014323, 0.26812891674127126, 0.3025962399283795] + ``` + +1. भविष्यवाणियों की तुलना वास्तविक लोड से करें: + + ```python + eval_df = pd.DataFrame(predictions, columns=['t+'+str(t) for t in range(1, HORIZON+1)]) + eval_df['timestamp'] = test.index[0:len(test.index)-HORIZON+1] + eval_df = pd.melt(eval_df, id_vars='timestamp', value_name='prediction', var_name='h') + eval_df['actual'] = np.array(np.transpose(test_ts)).ravel() + eval_df[['prediction', 'actual']] = scaler.inverse_transform(eval_df[['prediction', 'actual']]) + eval_df.head() + ``` + + आउटपुट + | | | टाइमस्टैम्प | एच | भविष्यवाणी | वास्तविक | + | --- | ---------- | --------- | --- | ---------- | -------- | + | 0 | 2014-12-30 | 00:00:00 | t+1 | 3,008.74 | 3,023.00 | + | 1 | 2014-12-30 | 01:00:00 | t+1 | 2,955.53 | 2,935.00 | + | 2 | 2014-12-30 | 02:00:00 | t+1 | 2,900.17 | 2,899.00 | + | 3 | 2014-12-30 | 03:00:00 | t+1 | 2,917.69 | 2,886.00 | + | 4 | 2014-12-30 | 04:00:00 | t+1 | 2,946.99 | 2,963.00 | + + + वास्तविक लोड की तुलना में प्रति घंटे डेटा की भविष्यवाणी देखें। यह कितना सटीक है? + +### मॉडल सटीकता की जांच करें + +सभी भविष्यवाणियों पर अपने मॉडल की सटीकता की जांच उसके माध्य पूर्ण प्रतिशत त्रुटि (MAPE) का परीक्षण करके करें। + +> **🧮 गणित दिखाओ** +> +>  +> +> [MAPE](https://www.linkedin.com/pulse/what-mape-mad-msd-time-series-allameh-statistics/) को उपरोक्त सूत्र द्वारा परिभाषित अनुपात के रूप में पूर्वानुमान सटीकता दिखाने के लिए उपयोग किया जाता है। वास्तविकt और पूर्वानुमानितt के बीच का अंतर वास्तविकt द्वारा विभाजित किया जाता है। "इस गणना में पूर्ण मान को समय में प्रत्येक पूर्वानुमानित बिंदु के लिए जोड़ा जाता है और फिट किए गए बिंदुओं n की संख्या से विभाजित किया जाता है।" [विकिपीडिया](https://wikipedia.org/wiki/Mean_absolute_percentage_error) + +1. कोड में समीकरण व्यक्त करें: + + ```python + if(HORIZON > 1): + eval_df['APE'] = (eval_df['prediction'] - eval_df['actual']).abs() / eval_df['actual'] + print(eval_df.groupby('h')['APE'].mean()) + ``` + +1. एक चरण का MAPE गणना करें: + + ```python + print('One step forecast MAPE: ', (mape(eval_df[eval_df['h'] == 't+1']['prediction'], eval_df[eval_df['h'] == 't+1']['actual']))*100, '%') + ``` + + एक चरण पूर्वानुमान MAPE: 0.5570581332313952 % + +1. बहु-चरण पूर्वानुमान MAPE प्रिंट करें: + + ```python + print('Multi-step forecast MAPE: ', mape(eval_df['prediction'], eval_df['actual'])*100, '%') + ``` + + ```output + Multi-step forecast MAPE: 1.1460048657704118 % + ``` + + एक अच्छा कम संख्या सबसे अच्छा है: विचार करें कि 10 का MAPE वाला पूर्वानुमान 10% से बंद है। + +1. लेकिन हमेशा की तरह, इस प्रकार की सटीकता माप को दृश्य रूप से देखना आसान होता है, इसलिए आइए इसे प्लॉट करें: + + ```python + if(HORIZON == 1): + ## Plotting single step forecast + eval_df.plot(x='timestamp', y=['actual', 'prediction'], style=['r', 'b'], figsize=(15, 8)) + + else: + ## Plotting multi step forecast + plot_df = eval_df[(eval_df.h=='t+1')][['timestamp', 'actual']] + for t in range(1, HORIZON+1): + plot_df['t+'+str(t)] = eval_df[(eval_df.h=='t+'+str(t))]['prediction'].values + + fig = plt.figure(figsize=(15, 8)) + ax = plt.plot(plot_df['timestamp'], plot_df['actual'], color='red', linewidth=4.0) + ax = fig.add_subplot(111) + for t in range(1, HORIZON+1): + x = plot_df['timestamp'][(t-1):] + y = plot_df['t+'+str(t)][0:len(x)] + ax.plot(x, y, color='blue', linewidth=4*math.pow(.9,t), alpha=math.pow(0.8,t)) + + ax.legend(loc='best') + + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + +🏆 एक बहुत ही अच्छा प्लॉट, जो एक अच्छे सटीकता वाले मॉडल को दिखा रहा है। बहुत बढ़िया! + +--- + +## 🚀चुनौती + +टाइम सीरीज मॉडल की सटीकता का परीक्षण करने के तरीकों में गहराई से जाएं। हम इस पाठ में MAPE को छूते हैं, लेकिन क्या अन्य विधियाँ हैं जिन्हें आप उपयोग कर सकते हैं? उनका शोध करें और उन्हें एनोटेट करें। एक सहायक दस्तावेज़ [यहां](https://otexts.com/fpp2/accuracy.html) पाया जा सकता है + +## [पोस्ट-लेक्चर क्विज़](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/44/) + +## समीक्षा और स्व-अध्ययन + +यह पाठ एआरआईएमए के साथ टाइम सीरीज भविष्यवाणी की केवल मूल बातें छूता है। [इस भंडार](https://microsoft.github.io/forecasting/) और इसके विभिन्न मॉडल प्रकारों में गहराई से जानकारी लेकर अन्य तरीकों से टाइम सीरीज मॉडल बनाने के तरीकों को सीखने के लिए अपना ज्ञान बढ़ाने के लिए समय निकालें। + +## असाइनमेंट + +[एक नया एआरआईएमए मॉडल](assignment.md) + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या गलतियाँ हो सकती हैं। इसकी मूल भाषा में मूल दस्तावेज़ को आधिकारिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/7-TimeSeries/2-ARIMA/assignment.md b/translations/hi/7-TimeSeries/2-ARIMA/assignment.md new file mode 100644 index 000000000..a1d47ae04 --- /dev/null +++ b/translations/hi/7-TimeSeries/2-ARIMA/assignment.md @@ -0,0 +1,14 @@ +# एक नया ARIMA मॉडल + +## निर्देश + +अब जब आपने एक ARIMA मॉडल बना लिया है, तो ताज़ा डेटा के साथ एक नया मॉडल बनाएं (इनमें से किसी एक [ड्यूक के डेटासेट्स](http://www2.stat.duke.edu/~mw/ts_data_sets.html) को आज़माएं)। अपने काम को एक नोटबुक में एनोटेट करें, डेटा और अपने मॉडल को विज़ुअलाइज़ करें, और इसकी सटीकता को MAPE का उपयोग करके परीक्षण करें। + +## मूल्यांकन मानदंड + +| मानदंड | उत्कृष्ट | पर्याप्त | सुधार की आवश्यकता है | +| -------- | ------------------------------------------------------------------------------------------------------------------- | -------------------------------------------------------- | --------------------------------- | +| | एक नोटबुक प्रस्तुत की गई है जिसमें एक नया ARIMA मॉडल बनाया गया है, परीक्षण किया गया है और विज़ुअलाइज़ेशन और सटीकता के साथ समझाया गया है। | प्रस्तुत नोटबुक एनोटेट नहीं है या इसमें बग्स हैं | एक अधूरी नोटबुक प्रस्तुत की गई है | + +**अस्वीकरण**: +इस दस्तावेज़ का अनुवाद मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवाद में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल भाषा में मूल दस्तावेज़ को प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/7-TimeSeries/2-ARIMA/solution/Julia/README.md b/translations/hi/7-TimeSeries/2-ARIMA/solution/Julia/README.md new file mode 100644 index 000000000..69521982c --- /dev/null +++ b/translations/hi/7-TimeSeries/2-ARIMA/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवाद में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में आधिकारिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/7-TimeSeries/2-ARIMA/solution/R/README.md b/translations/hi/7-TimeSeries/2-ARIMA/solution/R/README.md new file mode 100644 index 000000000..9acee712b --- /dev/null +++ b/translations/hi/7-TimeSeries/2-ARIMA/solution/R/README.md @@ -0,0 +1,4 @@ + + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/7-TimeSeries/3-SVR/README.md b/translations/hi/7-TimeSeries/3-SVR/README.md new file mode 100644 index 000000000..2ba4db7bc --- /dev/null +++ b/translations/hi/7-TimeSeries/3-SVR/README.md @@ -0,0 +1,382 @@ +# सपोर्ट वेक्टर रिग्रेशर के साथ टाइम सीरीज फोरकास्टिंग + +पिछले पाठ में, आपने ARIMA मॉडल का उपयोग करके टाइम सीरीज प्रेडिक्शन करना सीखा था। अब आप सपोर्ट वेक्टर रिग्रेशर मॉडल को देखेंगे, जो एक रिग्रेशर मॉडल है जिसका उपयोग निरंतर डेटा की भविष्यवाणी करने के लिए किया जाता है। + +## [पूर्व-व्याख्यान क्विज़](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/51/) + +## परिचय + +इस पाठ में, आप रिग्रेशन के लिए [**SVM**: **S**upport **V**ector **M**achine](https://en.wikipedia.org/wiki/Support-vector_machine) के साथ मॉडल बनाने का एक विशिष्ट तरीका खोजेंगे, जिसे **SVR: Support Vector Regressor** कहा जाता है। + +### टाइम सीरीज के संदर्भ में SVR [^1] + +टाइम सीरीज प्रेडिक्शन में SVR के महत्व को समझने से पहले, यहाँ कुछ महत्वपूर्ण अवधारणाएँ हैं जिन्हें आपको जानना आवश्यक है: + +- **रिग्रेशन:** सुपरवाइज्ड लर्निंग तकनीक जो दिए गए इनपुट सेट से निरंतर मानों की भविष्यवाणी करती है। विचार यह है कि फीचर स्पेस में एक कर्व (या लाइन) फिट करना जिसमें अधिकतम संख्या में डेटा पॉइंट्स हों। अधिक जानकारी के लिए [यहाँ क्लिक करें](https://en.wikipedia.org/wiki/Regression_analysis)। +- **सपोर्ट वेक्टर मशीन (SVM):** एक प्रकार का सुपरवाइज्ड मशीन लर्निंग मॉडल जो वर्गीकरण, रिग्रेशन और आउटलेयर डिटेक्शन के लिए उपयोग किया जाता है। मॉडल फीचर स्पेस में एक हाइपरप्लेन होता है, जो वर्गीकरण के मामले में एक सीमा के रूप में कार्य करता है, और रिग्रेशन के मामले में बेस्ट-फिट लाइन के रूप में कार्य करता है। SVM में, आमतौर पर एक कर्नल फंक्शन का उपयोग करके डेटासेट को उच्च आयामों की जगह में बदल दिया जाता है, ताकि उन्हें आसानी से विभाजित किया जा सके। SVMs पर अधिक जानकारी के लिए [यहाँ क्लिक करें](https://en.wikipedia.org/wiki/Support-vector_machine)। +- **सपोर्ट वेक्टर रिग्रेशर (SVR):** SVM का एक प्रकार, जो बेस्ट फिट लाइन (जो SVM के मामले में एक हाइपरप्लेन है) खोजने के लिए उपयोग किया जाता है जिसमें अधिकतम संख्या में डेटा पॉइंट्स होते हैं। + +### SVR क्यों? [^1] + +पिछले पाठ में आपने ARIMA के बारे में सीखा, जो टाइम सीरीज डेटा की भविष्यवाणी के लिए एक बहुत ही सफल सांख्यिकीय रैखिक विधि है। हालाँकि, कई मामलों में, टाइम सीरीज डेटा में *नॉन-लाइनियरिटी* होती है, जिसे रैखिक मॉडलों द्वारा मैप नहीं किया जा सकता। ऐसे मामलों में, रिग्रेशन कार्यों के लिए डेटा में नॉन-लाइनियरिटी पर विचार करने की SVM की क्षमता SVR को टाइम सीरीज फोरकास्टिंग में सफल बनाती है। + +## अभ्यास - एक SVR मॉडल बनाना + +डेटा तैयारी के पहले कुछ चरण पिछले पाठ [ARIMA](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA) के समान हैं। + +इस पाठ में [_/working_](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/3-SVR/working) फ़ोल्डर खोलें और [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/7-TimeSeries/3-SVR/working/notebook.ipynb) फ़ाइल खोजें।[^2] + +1. नोटबुक चलाएं और आवश्यक लाइब्रेरीज़ इम्पोर्ट करें: [^2] + + ```python + import sys + sys.path.append('../../') + ``` + + ```python + import os + import warnings + import matplotlib.pyplot as plt + import numpy as np + import pandas as pd + import datetime as dt + import math + + from sklearn.svm import SVR + from sklearn.preprocessing import MinMaxScaler + from common.utils import load_data, mape + ``` + +2. `/data/energy.csv` फ़ाइल से डेटा को एक पांडास डेटा फ्रेम में लोड करें और एक नज़र डालें: [^2] + + ```python + energy = load_data('../../data')[['load']] + ``` + +3. जनवरी 2012 से दिसंबर 2014 तक उपलब्ध सभी ऊर्जा डेटा को प्लॉट करें: [^2] + + ```python + energy.plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + + अब, चलिए हमारा SVR मॉडल बनाते हैं। + +### प्रशिक्षण और परीक्षण डेटा सेट बनाएं + +अब आपका डेटा लोड हो गया है, इसलिए आप इसे ट्रेन और टेस्ट सेट में विभाजित कर सकते हैं। फिर आप डेटा को समय-चरण आधारित डेटासेट बनाने के लिए रीशेप करेंगे, जो SVR के लिए आवश्यक होगा। आप अपने मॉडल को ट्रेन सेट पर प्रशिक्षित करेंगे। मॉडल के प्रशिक्षण के बाद, आप इसके सटीकता का मूल्यांकन ट्रेनिंग सेट, टेस्टिंग सेट और फिर पूरे डेटासेट पर करेंगे ताकि समग्र प्रदर्शन देखा जा सके। आपको यह सुनिश्चित करने की आवश्यकता है कि टेस्ट सेट ट्रेनिंग सेट से एक बाद की अवधि को कवर करता है ताकि यह सुनिश्चित किया जा सके कि मॉडल भविष्य की समय अवधि से जानकारी प्राप्त न करे [^2] (एक स्थिति जिसे *ओवरफिटिंग* के रूप में जाना जाता है)। + +1. 1 सितंबर से 31 अक्टूबर 2014 की दो महीने की अवधि को ट्रेनिंग सेट के लिए आवंटित करें। टेस्ट सेट में 1 नवंबर से 31 दिसंबर 2014 की दो महीने की अवधि शामिल होगी: [^2] + + ```python + train_start_dt = '2014-11-01 00:00:00' + test_start_dt = '2014-12-30 00:00:00' + ``` + +2. अंतर को विज़ुअलाइज़ करें: [^2] + + ```python + energy[(energy.index < test_start_dt) & (energy.index >= train_start_dt)][['load']].rename(columns={'load':'train'}) \ + .join(energy[test_start_dt:][['load']].rename(columns={'load':'test'}), how='outer') \ + .plot(y=['train', 'test'], figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + +### प्रशिक्षण के लिए डेटा तैयार करें + +अब, आपको अपने डेटा को फ़िल्टर और स्केल करके प्रशिक्षण के लिए तैयार करने की आवश्यकता है। अपने डेटासेट को केवल उन समय अवधि और कॉलम को शामिल करने के लिए फ़िल्टर करें जिन्हें आपको चाहिए, और यह सुनिश्चित करने के लिए स्केलिंग करें कि डेटा 0,1 के अंतराल में प्रक्षेपित हो। + +1. मूल डेटासेट को फ़िल्टर करें ताकि केवल उपर्युक्त समय अवधि प्रति सेट और केवल आवश्यक कॉलम 'लोड' और तारीख शामिल हों: [^2] + + ```python + train = energy.copy()[(energy.index >= train_start_dt) & (energy.index < test_start_dt)][['load']] + test = energy.copy()[energy.index >= test_start_dt][['load']] + + print('Training data shape: ', train.shape) + print('Test data shape: ', test.shape) + ``` + + ```output + Training data shape: (1416, 1) + Test data shape: (48, 1) + ``` + +2. ट्रेनिंग डेटा को (0, 1) की सीमा में स्केल करें: [^2] + + ```python + scaler = MinMaxScaler() + train['load'] = scaler.fit_transform(train) + ``` + +4. अब, आप टेस्टिंग डेटा को स्केल करें: [^2] + + ```python + test['load'] = scaler.transform(test) + ``` + +### समय-चरणों के साथ डेटा बनाएं [^1] + +SVR के लिए, आप इनपुट डेटा को `[batch, timesteps]`. So, you reshape the existing `train_data` and `test_data` के रूप में बदलते हैं ताकि एक नया आयाम हो जो समय-चरणों को संदर्भित करता है। + +```python +# Converting to numpy arrays +train_data = train.values +test_data = test.values +``` + +इस उदाहरण के लिए, हम `timesteps = 5` लेते हैं। इसलिए, मॉडल के इनपुट पहले 4 समय-चरणों के डेटा हैं, और आउटपुट 5वें समय-चरण का डेटा होगा। + +```python +timesteps=5 +``` + +नेस्टेड सूची समग्रण का उपयोग करके प्रशिक्षण डेटा को 2D टेंसर में परिवर्तित करना: + +```python +train_data_timesteps=np.array([[j for j in train_data[i:i+timesteps]] for i in range(0,len(train_data)-timesteps+1)])[:,:,0] +train_data_timesteps.shape +``` + +```output +(1412, 5) +``` + +टेस्टिंग डेटा को 2D टेंसर में परिवर्तित करना: + +```python +test_data_timesteps=np.array([[j for j in test_data[i:i+timesteps]] for i in range(0,len(test_data)-timesteps+1)])[:,:,0] +test_data_timesteps.shape +``` + +```output +(44, 5) +``` + +प्रशिक्षण और परीक्षण डेटा से इनपुट और आउटपुट का चयन करना: + +```python +x_train, y_train = train_data_timesteps[:,:timesteps-1],train_data_timesteps[:,[timesteps-1]] +x_test, y_test = test_data_timesteps[:,:timesteps-1],test_data_timesteps[:,[timesteps-1]] + +print(x_train.shape, y_train.shape) +print(x_test.shape, y_test.shape) +``` + +```output +(1412, 4) (1412, 1) +(44, 4) (44, 1) +``` + +### SVR लागू करें [^1] + +अब, SVR को लागू करने का समय है। इस कार्यान्वयन के बारे में अधिक पढ़ने के लिए, आप [इस दस्तावेज़](https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVR.html) को संदर्भित कर सकते हैं। हमारे कार्यान्वयन के लिए, हम इन चरणों का पालन करते हैं: + + 1. मॉडल को `SVR()` and passing in the model hyperparameters: kernel, gamma, c and epsilon + 2. Prepare the model for the training data by calling the `fit()` function + 3. Make predictions calling the `predict()` फ़ंक्शन को कॉल करके परिभाषित करें + +अब हम एक SVR मॉडल बनाते हैं। यहाँ हम [RBF कर्नल](https://scikit-learn.org/stable/modules/svm.html#parameters-of-the-rbf-kernel) का उपयोग करते हैं, और हाइपरपैरामीटर गामा, C और एप्सिलॉन को क्रमशः 0.5, 10 और 0.05 के रूप में सेट करते हैं। + +```python +model = SVR(kernel='rbf',gamma=0.5, C=10, epsilon = 0.05) +``` + +#### प्रशिक्षण डेटा पर मॉडल फिट करें [^1] + +```python +model.fit(x_train, y_train[:,0]) +``` + +```output +SVR(C=10, cache_size=200, coef0=0.0, degree=3, epsilon=0.05, gamma=0.5, + kernel='rbf', max_iter=-1, shrinking=True, tol=0.001, verbose=False) +``` + +#### मॉडल प्रेडिक्शन बनाएं [^1] + +```python +y_train_pred = model.predict(x_train).reshape(-1,1) +y_test_pred = model.predict(x_test).reshape(-1,1) + +print(y_train_pred.shape, y_test_pred.shape) +``` + +```output +(1412, 1) (44, 1) +``` + +आपने अपना SVR बना लिया है! अब हमें इसका मूल्यांकन करना है। + +### अपने मॉडल का मूल्यांकन करें [^1] + +मूल्यांकन के लिए, पहले हम डेटा को हमारे मूल पैमाने पर वापस स्केल करेंगे। फिर, प्रदर्शन की जांच करने के लिए, हम मूल और भविष्यवाणी किए गए समय श्रृंखला प्लॉट को प्लॉट करेंगे, और MAPE परिणाम भी प्रिंट करेंगे। + +भविष्यवाणी और मूल आउटपुट को स्केल करें: + +```python +# Scaling the predictions +y_train_pred = scaler.inverse_transform(y_train_pred) +y_test_pred = scaler.inverse_transform(y_test_pred) + +print(len(y_train_pred), len(y_test_pred)) +``` + +```python +# Scaling the original values +y_train = scaler.inverse_transform(y_train) +y_test = scaler.inverse_transform(y_test) + +print(len(y_train), len(y_test)) +``` + +#### प्रशिक्षण और परीक्षण डेटा पर मॉडल प्रदर्शन की जांच करें [^1] + +हम अपने प्लॉट के x-अक्ष में दिखाने के लिए डेटासेट से टाइमस्टैम्प निकालते हैं। ध्यान दें कि हम पहले ```timesteps-1``` मानों का उपयोग पहले आउटपुट के लिए इनपुट के रूप में कर रहे हैं, इसलिए आउटपुट के लिए टाइमस्टैम्प उसके बाद शुरू होंगे। + +```python +train_timestamps = energy[(energy.index < test_start_dt) & (energy.index >= train_start_dt)].index[timesteps-1:] +test_timestamps = energy[test_start_dt:].index[timesteps-1:] + +print(len(train_timestamps), len(test_timestamps)) +``` + +```output +1412 44 +``` + +प्रशिक्षण डेटा के लिए भविष्यवाणियों को प्लॉट करें: + +```python +plt.figure(figsize=(25,6)) +plt.plot(train_timestamps, y_train, color = 'red', linewidth=2.0, alpha = 0.6) +plt.plot(train_timestamps, y_train_pred, color = 'blue', linewidth=0.8) +plt.legend(['Actual','Predicted']) +plt.xlabel('Timestamp') +plt.title("Training data prediction") +plt.show() +``` + + + +प्रशिक्षण डेटा के लिए MAPE प्रिंट करें + +```python +print('MAPE for training data: ', mape(y_train_pred, y_train)*100, '%') +``` + +```output +MAPE for training data: 1.7195710200875551 % +``` + +परीक्षण डेटा के लिए भविष्यवाणियों को प्लॉट करें + +```python +plt.figure(figsize=(10,3)) +plt.plot(test_timestamps, y_test, color = 'red', linewidth=2.0, alpha = 0.6) +plt.plot(test_timestamps, y_test_pred, color = 'blue', linewidth=0.8) +plt.legend(['Actual','Predicted']) +plt.xlabel('Timestamp') +plt.show() +``` + + + +परीक्षण डेटा के लिए MAPE प्रिंट करें + +```python +print('MAPE for testing data: ', mape(y_test_pred, y_test)*100, '%') +``` + +```output +MAPE for testing data: 1.2623790187854018 % +``` + +🏆 आपके पास परीक्षण डेटासेट पर बहुत अच्छा परिणाम है! + +### पूर्ण डेटासेट पर मॉडल प्रदर्शन की जांच करें [^1] + +```python +# Extracting load values as numpy array +data = energy.copy().values + +# Scaling +data = scaler.transform(data) + +# Transforming to 2D tensor as per model input requirement +data_timesteps=np.array([[j for j in data[i:i+timesteps]] for i in range(0,len(data)-timesteps+1)])[:,:,0] +print("Tensor shape: ", data_timesteps.shape) + +# Selecting inputs and outputs from data +X, Y = data_timesteps[:,:timesteps-1],data_timesteps[:,[timesteps-1]] +print("X shape: ", X.shape,"\nY shape: ", Y.shape) +``` + +```output +Tensor shape: (26300, 5) +X shape: (26300, 4) +Y shape: (26300, 1) +``` + +```python +# Make model predictions +Y_pred = model.predict(X).reshape(-1,1) + +# Inverse scale and reshape +Y_pred = scaler.inverse_transform(Y_pred) +Y = scaler.inverse_transform(Y) +``` + +```python +plt.figure(figsize=(30,8)) +plt.plot(Y, color = 'red', linewidth=2.0, alpha = 0.6) +plt.plot(Y_pred, color = 'blue', linewidth=0.8) +plt.legend(['Actual','Predicted']) +plt.xlabel('Timestamp') +plt.show() +``` + + + +```python +print('MAPE: ', mape(Y_pred, Y)*100, '%') +``` + +```output +MAPE: 2.0572089029888656 % +``` + +🏆 बहुत अच्छे प्लॉट्स, एक अच्छे सटीकता वाले मॉडल को दिखाते हुए। बहुत बढ़िया! + +--- + +## 🚀चुनौती + +- मॉडल बनाते समय हाइपरपैरामीटर (गामा, C, एप्सिलॉन) को ट्वीक करने का प्रयास करें और डेटा पर मूल्यांकन करें कि कौन सा हाइपरपैरामीटर सेट परीक्षण डेटा पर सर्वोत्तम परिणाम देता है। इन हाइपरपैरामीटर के बारे में अधिक जानने के लिए, आप [यहाँ](https://scikit-learn.org/stable/modules/svm.html#parameters-of-the-rbf-kernel) दस्तावेज़ संदर्भित कर सकते हैं। +- मॉडल के लिए विभिन्न कर्नल फंक्शन का उपयोग करने का प्रयास करें और उनके प्रदर्शन का विश्लेषण करें। एक सहायक दस्तावेज़ [यहाँ](https://scikit-learn.org/stable/modules/svm.html#kernel-functions) पाया जा सकता है। +- मॉडल को भविष्यवाणी करने के लिए पीछे देखने के लिए `timesteps` के विभिन्न मानों का उपयोग करने का प्रयास करें। + +## [व्याख्यान के बाद का क्विज़](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/52/) + +## समीक्षा और स्व-अध्ययन + +यह पाठ टाइम सीरीज फोरकास्टिंग के लिए SVR के अनुप्रयोग को प्रस्तुत करने के लिए था। SVR के बारे में अधिक पढ़ने के लिए, आप [इस ब्लॉग](https://www.analyticsvidhya.com/blog/2020/03/support-vector-regression-tutorial-for-machine-learning/) को संदर्भित कर सकते हैं। यह [scikit-learn पर दस्तावेज़](https://scikit-learn.org/stable/modules/svm.html) सामान्य रूप से SVMs के बारे में अधिक व्यापक स्पष्टीकरण प्रदान करता है, [SVRs](https://scikit-learn.org/stable/modules/svm.html#regression) और अन्य कार्यान्वयन विवरण जैसे कि विभिन्न [कर्नल फंक्शन](https://scikit-learn.org/stable/modules/svm.html#kernel-functions) जो उपयोग किए जा सकते हैं, और उनके पैरामीटर। + +## असाइनमेंट + +[एक नया SVR मॉडल](assignment.md) + +## क्रेडिट्स + +[^1]: इस अनुभाग में पाठ, कोड और आउटपुट [@AnirbanMukherjeeXD](https://github.com/AnirbanMukherjeeXD) द्वारा योगदान किया गया था +[^2]: इस अनुभाग में पाठ, कोड और आउटपुट [ARIMA](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA) से लिया गया था + +**अस्वीकरण**: +यह दस्तावेज़ मशीन आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयासरत हैं, कृपया ध्यान दें कि स्वचालित अनुवाद में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल भाषा में दस्तावेज़ को प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/7-TimeSeries/3-SVR/assignment.md b/translations/hi/7-TimeSeries/3-SVR/assignment.md new file mode 100644 index 000000000..70ccd7135 --- /dev/null +++ b/translations/hi/7-TimeSeries/3-SVR/assignment.md @@ -0,0 +1,16 @@ +# एक नया SVR मॉडल + +## निर्देश [^1] + +अब जब आपने एक SVR मॉडल बना लिया है, तो नए डेटा के साथ एक नया मॉडल बनाएं (इनमें से किसी एक [Duke के डेटासेट्स](http://www2.stat.duke.edu/~mw/ts_data_sets.html) को आज़माएं)। अपने काम को एक नोटबुक में एनोटेट करें, डेटा और अपने मॉडल को विज़ुअलाइज़ करें, और उचित प्लॉट्स और MAPE का उपयोग करके इसकी सटीकता का परीक्षण करें। विभिन्न हाइपरपैरामीटर्स को ट्वीक करने और टाइमस्टेप्स के लिए अलग-अलग मानों का उपयोग करने की भी कोशिश करें। + +## मूल्यांकन [^1] + +| मानदंड | उत्कृष्टता | पर्याप्त | सुधार की आवश्यकता | +| ------- | -------------------------------------------------------------- | -------------------------------------------------------- | ----------------------------------- | +| | एक नोटबुक प्रस्तुत की गई है जिसमें SVR मॉडल बनाया गया है, परीक्षण किया गया है और विज़ुअलाइज़ेशन और सटीकता के साथ समझाया गया है। | प्रस्तुत की गई नोटबुक एनोटेट नहीं है या इसमें बग्स हैं। | एक अधूरी नोटबुक प्रस्तुत की गई है | + +[^1]:इस अनुभाग का पाठ [ARIMA से असाइनमेंट](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA/assignment.md) पर आधारित है। + +**अस्वीकरण**: +यह दस्तावेज़ मशीन आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया अवगत रहें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/7-TimeSeries/README.md b/translations/hi/7-TimeSeries/README.md new file mode 100644 index 000000000..a2233676b --- /dev/null +++ b/translations/hi/7-TimeSeries/README.md @@ -0,0 +1,26 @@ +# समय श्रृंखला पूर्वानुमान का परिचय + +समय श्रृंखला पूर्वानुमान क्या है? यह अतीत के रुझानों का विश्लेषण करके भविष्य की घटनाओं की भविष्यवाणी करने के बारे में है। + +## क्षेत्रीय विषय: वैश्विक बिजली उपयोग ✨ + +इन दो पाठों में, आपको समय श्रृंखला पूर्वानुमान से परिचित कराया जाएगा, जो मशीन लर्निंग का एक अपेक्षाकृत कम ज्ञात क्षेत्र है, लेकिन फिर भी उद्योग और व्यापार अनुप्रयोगों के लिए बेहद मूल्यवान है, अन्य क्षेत्रों के अलावा। जबकि न्यूरल नेटवर्क का उपयोग इन मॉडलों की उपयोगिता बढ़ाने के लिए किया जा सकता है, हम इन्हें पारंपरिक मशीन लर्निंग के संदर्भ में अध्ययन करेंगे क्योंकि मॉडल अतीत के आधार पर भविष्य के प्रदर्शन की भविष्यवाणी करने में मदद करते हैं। + +हमारा क्षेत्रीय ध्यान दुनिया में विद्युत उपयोग पर है, जो भविष्य के विद्युत उपयोग की भविष्यवाणी करने के लिए अतीत के लोड पैटर्न के आधार पर सीखने के लिए एक दिलचस्प डेटासेट है। आप देख सकते हैं कि इस प्रकार का पूर्वानुमान व्यावसायिक वातावरण में कितना सहायक हो सकता है। + + + +[Peddi Sai hrithik](https://unsplash.com/@shutter_log?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText) द्वारा राजस्थान में सड़क पर विद्युत टावरों की तस्वीर [Unsplash](https://unsplash.com/s/photos/electric-india?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText) पर। + +## पाठ + +1. [समय श्रृंखला पूर्वानुमान का परिचय](1-Introduction/README.md) +2. [ARIMA समय श्रृंखला मॉडल बनाना](2-ARIMA/README.md) +3. [समय श्रृंखला पूर्वानुमान के लिए सपोर्ट वेक्टर रिग्रेसर बनाना](3-SVR/README.md) + +## श्रेय + +"समय श्रृंखला पूर्वानुमान का परिचय" ⚡️ के साथ [Francesca Lazzeri](https://twitter.com/frlazzeri) और [Jen Looper](https://twitter.com/jenlooper) द्वारा लिखा गया था। नोटबुक्स पहली बार ऑनलाइन [Azure "Deep Learning For Time Series" repo](https://github.com/Azure/DeepLearningForTimeSeriesForecasting) में दिखाई दिए, जो मूल रूप से Francesca Lazzeri द्वारा लिखे गए थे। SVR पाठ [Anirban Mukherjee](https://github.com/AnirbanMukherjeeXD) द्वारा लिखा गया था। + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवाद में त्रुटियां या अशुद्धियाँ हो सकती हैं। मूल भाषा में मूल दस्तावेज़ को प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/8-Reinforcement/1-QLearning/README.md b/translations/hi/8-Reinforcement/1-QLearning/README.md new file mode 100644 index 000000000..2fe964fb1 --- /dev/null +++ b/translations/hi/8-Reinforcement/1-QLearning/README.md @@ -0,0 +1,59 @@ +## नीति की जाँच करना + +चूंकि Q-Table प्रत्येक स्थिति में प्रत्येक क्रिया की "आकर्षण" सूचीबद्ध करता है, इसलिए इसका उपयोग हमारे विश्व में कुशल नेविगेशन को परिभाषित करने के लिए काफी आसान है। सबसे सरल मामले में, हम उस क्रिया का चयन कर सकते हैं जो Q-Table के उच्चतम मूल्य से मेल खाती है: (कोड ब्लॉक 9) + +```python +def qpolicy_strict(m): + x,y = m.human + v = probs(Q[x,y]) + a = list(actions)[np.argmax(v)] + return a + +walk(m,qpolicy_strict) +``` + +> यदि आप ऊपर दिए गए कोड को कई बार आजमाते हैं, तो आप देख सकते हैं कि कभी-कभी यह "लटक" जाता है, और आपको इसे बाधित करने के लिए नोटबुक में STOP बटन दबाने की आवश्यकता होती है। ऐसा इसलिए होता है क्योंकि ऐसी स्थितियाँ हो सकती हैं जब दो राज्य इष्टतम Q-Value के संदर्भ में एक-दूसरे की ओर "इशारा" करते हैं, इस स्थिति में एजेंट उन राज्यों के बीच अनिश्चितकाल तक चलता रहता है। + +## 🚀चुनौती + +> **कार्य 1:** `walk` function to limit the maximum length of path by a certain number of steps (say, 100), and watch the code above return this value from time to time. + +> **Task 2:** Modify the `walk` function so that it does not go back to the places where it has already been previously. This will prevent `walk` from looping, however, the agent can still end up being "trapped" in a location from which it is unable to escape. + +## Navigation + +A better navigation policy would be the one that we used during training, which combines exploitation and exploration. In this policy, we will select each action with a certain probability, proportional to the values in the Q-Table. This strategy may still result in the agent returning back to a position it has already explored, but, as you can see from the code below, it results in a very short average path to the desired location (remember that `print_statistics` को संशोधित करें ताकि यह सिमुलेशन को 100 बार चलाए: (कोड ब्लॉक 10) + +```python +def qpolicy(m): + x,y = m.human + v = probs(Q[x,y]) + a = random.choices(list(actions),weights=v)[0] + return a + +print_statistics(qpolicy) +``` + +इस कोड को चलाने के बाद, आपको पहले की तुलना में औसत पथ लंबाई बहुत कम मिलनी चाहिए, जो 3-6 की सीमा में होगी। + +## सीखने की प्रक्रिया की जांच + +जैसा कि हमने उल्लेख किया है, सीखने की प्रक्रिया समस्या स्थान की संरचना के बारे में प्राप्त ज्ञान की खोज और अन्वेषण के बीच एक संतुलन है। हमने देखा है कि सीखने के परिणाम (एक एजेंट को लक्ष्य तक पहुँचने के लिए एक छोटा रास्ता खोजने की क्षमता) में सुधार हुआ है, लेकिन यह भी देखना दिलचस्प है कि सीखने की प्रक्रिया के दौरान औसत पथ लंबाई कैसे व्यवहार करती है: + +## सीखने को इस प्रकार संक्षेपित किया जा सकता है: + +- **औसत पथ लंबाई बढ़ जाती है**। यहां हम देखते हैं कि पहले औसत पथ लंबाई बढ़ जाती है। ऐसा शायद इसलिए होता है क्योंकि जब हमें पर्यावरण के बारे में कुछ नहीं पता होता है, तो हम खराब राज्यों, पानी या भेड़िये में फंसने की संभावना रखते हैं। जैसे-जैसे हम अधिक सीखते हैं और इस ज्ञान का उपयोग करना शुरू करते हैं, हम लंबे समय तक पर्यावरण का पता लगा सकते हैं, लेकिन हमें अभी भी सेब कहाँ हैं इसके बारे में अच्छी तरह से पता नहीं होता है। + +- **जैसे-जैसे हम अधिक सीखते हैं, पथ की लंबाई कम हो जाती है**। एक बार जब हम पर्याप्त सीख लेते हैं, तो एजेंट के लिए लक्ष्य प्राप्त करना आसान हो जाता है, और पथ लंबाई कम होने लगती है। हालांकि, हम अभी भी अन्वेषण के लिए खुले हैं, इसलिए हम अक्सर सबसे अच्छे रास्ते से भटकते हैं, और नए विकल्पों का पता लगाते हैं, जिससे रास्ता इष्टतम से लंबा हो जाता है। + +- **लंबाई अचानक बढ़ जाती है**। इस ग्राफ पर हम यह भी देखते हैं कि किसी बिंदु पर, लंबाई अचानक बढ़ जाती है। यह प्रक्रिया की यादृच्छिक प्रकृति को इंगित करता है, और यह कि हम किसी बिंदु पर Q-Table गुणांक को नए मानों के साथ अधिलेखित करके "बिगाड़" सकते हैं। आदर्श रूप से इसे सीखने की दर को कम करके कम किया जाना चाहिए (उदाहरण के लिए, प्रशिक्षण के अंत की ओर, हम Q-Table मानों को एक छोटे मान से ही समायोजित करते हैं)। + +कुल मिलाकर, यह याद रखना महत्वपूर्ण है कि सीखने की प्रक्रिया की सफलता और गुणवत्ता काफी हद तक मापदंडों पर निर्भर करती है, जैसे सीखने की दर, सीखने की दर में कमी, और छूट कारक। इन्हें अक्सर **हाइपरपैरामीटर्स** कहा जाता है, ताकि उन्हें **पैरामीटर्स** से अलग किया जा सके, जिन्हें हम प्रशिक्षण के दौरान अनुकूलित करते हैं (उदाहरण के लिए, Q-Table गुणांक)। सर्वोत्तम हाइपरपैरामीटर मानों को खोजने की प्रक्रिया को **हाइपरपैरामीटर ऑप्टिमाइज़ेशन** कहा जाता है, और यह एक अलग विषय का हकदार है। + +## [पोस्ट-लेक्चर क्विज़](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/46/) + +## असाइनमेंट +[एक अधिक यथार्थवादी दुनिया](assignment.md) + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या गलतियाँ हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/8-Reinforcement/1-QLearning/assignment.md b/translations/hi/8-Reinforcement/1-QLearning/assignment.md new file mode 100644 index 000000000..462cbabe6 --- /dev/null +++ b/translations/hi/8-Reinforcement/1-QLearning/assignment.md @@ -0,0 +1,30 @@ +# एक अधिक यथार्थवादी दुनिया + +हमारी स्थिति में, पीटर लगभग बिना थके या भूखे हुए इधर-उधर घूम सकता था। एक अधिक यथार्थवादी दुनिया में, उसे समय-समय पर बैठकर आराम करना पड़ता है और खुद को खिलाना भी पड़ता है। आइए निम्नलिखित नियमों को लागू करके हमारी दुनिया को अधिक यथार्थवादी बनाएं: + +1. एक स्थान से दूसरे स्थान पर जाने से पीटर की **ऊर्जा** कम हो जाती है और कुछ **थकान** बढ़ जाती है। +2. पीटर सेब खाकर अधिक ऊर्जा प्राप्त कर सकता है। +3. पीटर पेड़ के नीचे या घास पर आराम करके थकान से छुटकारा पा सकता है (यानी, बोर्ड के किसी स्थान पर जाकर जहां पेड़ या घास हो - हरा क्षेत्र) +4. पीटर को भेड़िये को खोजना और मारना होगा। +5. भेड़िये को मारने के लिए, पीटर के पास ऊर्जा और थकान के निश्चित स्तर होने चाहिए, अन्यथा वह लड़ाई हार जाएगा। + +## निर्देश + +अपने समाधान के लिए मूल [notebook.ipynb](../../../../8-Reinforcement/1-QLearning/notebook.ipynb) नोटबुक का उपयोग प्रारंभिक बिंदु के रूप में करें। + +ऊपर दिए गए गेम के नियमों के अनुसार इनाम फ़ंक्शन को संशोधित करें, गेम जीतने की सर्वोत्तम रणनीति सीखने के लिए पुनर्बलन सीखने के एल्गोरिदम को चलाएं, और रैंडम वॉक के परिणामों की तुलना अपने एल्गोरिदम के साथ करें कि कितने गेम जीते और हारे गए। + +> **Note**: आपकी नई दुनिया में, स्थिति अधिक जटिल है, और मानव स्थिति के अलावा थकान और ऊर्जा स्तर भी शामिल हैं। आप स्थिति का प्रतिनिधित्व एक ट्यूपल (Board, energy, fatigue) के रूप में कर सकते हैं, या स्थिति के लिए एक क्लास परिभाषित कर सकते हैं (आप इसे `Board` से भी व्युत्पन्न कर सकते हैं), या यहां तक कि मूल `Board` क्लास को [rlboard.py](../../../../8-Reinforcement/1-QLearning/rlboard.py) के अंदर संशोधित कर सकते हैं। + +अपने समाधान में, कृपया रैंडम वॉक रणनीति के लिए जिम्मेदार कोड को बनाए रखें, और अंत में अपने एल्गोरिदम के परिणामों की तुलना रैंडम वॉक से करें। + +> **Note**: आपको इसे काम करने के लिए हाइपरपैरामीटर को समायोजित करने की आवश्यकता हो सकती है, विशेष रूप से युगों की संख्या। क्योंकि गेम की सफलता (भेड़िये से लड़ाई) एक दुर्लभ घटना है, आप बहुत अधिक प्रशिक्षण समय की उम्मीद कर सकते हैं। + +## मूल्यांकन मानदंड + +| मानदंड | उत्कृष्ट | पर्याप्त | सुधार की आवश्यकता | +| -------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------ | +| | एक नोटबुक प्रस्तुत की गई है जिसमें नई दुनिया के नियमों की परिभाषा, Q-लर्निंग एल्गोरिदम और कुछ पाठ्य विवरण शामिल हैं। Q-लर्निंग रैंडम वॉक की तुलना में परिणामों को महत्वपूर्ण रूप से सुधारने में सक्षम है। | नोटबुक प्रस्तुत की गई है, Q-लर्निंग लागू किया गया है और रैंडम वॉक की तुलना में परिणामों में सुधार करता है, लेकिन महत्वपूर्ण रूप से नहीं; या नोटबुक खराब तरीके से प्रलेखित है और कोड अच्छी तरह से संरचित नहीं है | दुनिया के नियमों को फिर से परिभाषित करने का कुछ प्रयास किया गया है, लेकिन Q-लर्निंग एल्गोरिदम काम नहीं करता, या इनाम फ़ंक्शन पूरी तरह से परिभाषित नहीं है | + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में प्राधिकृत स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/8-Reinforcement/1-QLearning/solution/Julia/README.md b/translations/hi/8-Reinforcement/1-QLearning/solution/Julia/README.md new file mode 100644 index 000000000..89b5e8f2a --- /dev/null +++ b/translations/hi/8-Reinforcement/1-QLearning/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**अस्वीकरण**: +इस दस्तावेज़ का अनुवाद मशीन-आधारित AI अनुवाद सेवाओं का उपयोग करके किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/8-Reinforcement/1-QLearning/solution/R/README.md b/translations/hi/8-Reinforcement/1-QLearning/solution/R/README.md new file mode 100644 index 000000000..64cc9fa55 --- /dev/null +++ b/translations/hi/8-Reinforcement/1-QLearning/solution/R/README.md @@ -0,0 +1,4 @@ + + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या गलतियाँ हो सकती हैं। अपनी मूल भाषा में मूल दस्तावेज़ को आधिकारिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/8-Reinforcement/2-Gym/README.md b/translations/hi/8-Reinforcement/2-Gym/README.md new file mode 100644 index 000000000..6255e576f --- /dev/null +++ b/translations/hi/8-Reinforcement/2-Gym/README.md @@ -0,0 +1,342 @@ +# CartPole स्केटिंग + +पिछले पाठ में हमने जिस समस्या को हल किया था, वह एक खिलौना समस्या की तरह लग सकती है, जो वास्तव में वास्तविक जीवन परिदृश्यों के लिए लागू नहीं होती है। ऐसा नहीं है, क्योंकि कई वास्तविक दुनिया की समस्याएं भी इस परिदृश्य को साझा करती हैं - जिसमें शतरंज या गो खेलना भी शामिल है। वे समान हैं, क्योंकि हमारे पास दिए गए नियमों के साथ एक बोर्ड भी है और एक **डिस्क्रीट स्टेट**। + +## [प्री-लेक्चर क्विज़](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/47/) + +## परिचय + +इस पाठ में हम Q-लर्निंग के समान सिद्धांतों को एक समस्या पर लागू करेंगे जिसमें **कंटीन्यूअस स्टेट** होता है, यानी एक स्टेट जो एक या अधिक वास्तविक संख्याओं द्वारा दी जाती है। हम निम्नलिखित समस्या से निपटेंगे: + +> **समस्या**: अगर पीटर को भेड़िये से बचना है, तो उसे तेजी से चलने में सक्षम होना चाहिए। हम देखेंगे कि पीटर कैसे स्केट करना सीख सकता है, विशेष रूप से संतुलन बनाए रखना, Q-लर्निंग का उपयोग करके। + + + +> पीटर और उसके दोस्त भेड़िये से बचने के लिए रचनात्मक हो जाते हैं! चित्र [Jen Looper](https://twitter.com/jenlooper) द्वारा + +हम संतुलन के रूप में ज्ञात एक सरलीकृत संस्करण का उपयोग करेंगे जिसे **CartPole** समस्या कहा जाता है। CartPole की दुनिया में, हमारे पास एक क्षैतिज स्लाइडर है जो बाएं या दाएं चल सकता है, और लक्ष्य स्लाइडर के ऊपर एक लंबवत पोल को संतुलित करना है। + +## आवश्यकताएँ + +इस पाठ में, हम **OpenAI Gym** नामक एक लाइब्रेरी का उपयोग करेंगे विभिन्न **एनवायरनमेंट्स** का अनुकरण करने के लिए। आप इस पाठ के कोड को स्थानीय रूप से (जैसे कि Visual Studio Code से) चला सकते हैं, इस स्थिति में अनुकरण एक नई विंडो में खुलेगा। ऑनलाइन कोड चलाते समय, आपको कोड में कुछ समायोजन करने की आवश्यकता हो सकती है, जैसा कि [यहाँ](https://towardsdatascience.com/rendering-openai-gym-envs-on-binder-and-google-colab-536f99391cc7) वर्णित है। + +## OpenAI Gym + +पिछले पाठ में, खेल के नियम और स्टेट `Board` क्लास द्वारा दिए गए थे जिसे हमने स्वयं परिभाषित किया था। यहाँ हम एक विशेष **सिमुलेशन एनवायरनमेंट** का उपयोग करेंगे, जो संतुलन पोल के पीछे के भौतिकी का अनुकरण करेगा। सबसे लोकप्रिय सिमुलेशन एनवायरनमेंट्स में से एक जिसे रिइनफोर्समेंट लर्निंग एल्गोरिदम के प्रशिक्षण के लिए उपयोग किया जाता है, उसे [Gym](https://gym.openai.com/) कहा जाता है, जो [OpenAI](https://openai.com/) द्वारा बनाए रखा जाता है। इस जिम का उपयोग करके हम कार्टपोल सिमुलेशन से लेकर अटारी गेम्स तक विभिन्न **एनवायरनमेंट्स** बना सकते हैं। + +> **नोट**: आप OpenAI Gym से उपलब्ध अन्य एनवायरनमेंट्स को [यहाँ](https://gym.openai.com/envs/#classic_control) देख सकते हैं। + +पहले, जिम को इंस्टॉल करें और आवश्यक लाइब्रेरीज़ को इम्पोर्ट करें (कोड ब्लॉक 1): + +```python +import sys +!{sys.executable} -m pip install gym + +import gym +import matplotlib.pyplot as plt +import numpy as np +import random +``` + +## व्यायाम - एक कार्टपोल एनवायरनमेंट को प्रारंभ करें + +कार्टपोल संतुलन समस्या के साथ काम करने के लिए, हमें संबंधित एनवायरनमेंट को प्रारंभ करना होगा। प्रत्येक एनवायरनमेंट के साथ एक: + +- **ऑब्जर्वेशन स्पेस** जुड़ा होता है जो उस जानकारी की संरचना को परिभाषित करता है जो हमें एनवायरनमेंट से प्राप्त होती है। कार्टपोल समस्या के लिए, हमें पोल की स्थिति, वेग और कुछ अन्य मान प्राप्त होते हैं। + +- **एक्शन स्पेस** जो संभावित कार्यों को परिभाषित करता है। हमारे मामले में एक्शन स्पेस डिस्क्रीट है, और इसमें दो कार्य शामिल हैं - **बाएं** और **दाएं**। (कोड ब्लॉक 2) + +1. प्रारंभ करने के लिए, निम्नलिखित कोड टाइप करें: + + ```python + env = gym.make("CartPole-v1") + print(env.action_space) + print(env.observation_space) + print(env.action_space.sample()) + ``` + +एनवायरनमेंट कैसे काम करता है यह देखने के लिए, चलिए 100 चरणों के लिए एक छोटी सिमुलेशन चलाते हैं। प्रत्येक चरण में, हम एक कार्य प्रदान करते हैं - इस सिमुलेशन में हम बस `action_space` से एक कार्य को यादृच्छिक रूप से चुनते हैं। + +1. नीचे दिए गए कोड को चलाएं और देखें कि इसका परिणाम क्या है। + + ✅ याद रखें कि इस कोड को स्थानीय Python इंस्टॉलेशन पर चलाना बेहतर है! (कोड ब्लॉक 3) + + ```python + env.reset() + + for i in range(100): + env.render() + env.step(env.action_space.sample()) + env.close() + ``` + + आपको इस छवि के समान कुछ देखना चाहिए: + +  + +1. सिमुलेशन के दौरान, हमें यह तय करने के लिए ऑब्जर्वेशन प्राप्त करने की आवश्यकता होती है कि कैसे कार्य करना है। वास्तव में, स्टेप फ़ंक्शन वर्तमान ऑब्जर्वेशन, एक रिवार्ड फ़ंक्शन और डन फ्लैग लौटाता है जो इंगित करता है कि सिमुलेशन जारी रखने का कोई मतलब है या नहीं: (कोड ब्लॉक 4) + + ```python + env.reset() + + done = False + while not done: + env.render() + obs, rew, done, info = env.step(env.action_space.sample()) + print(f"{obs} -> {rew}") + env.close() + ``` + + आपको नोटबुक आउटपुट में कुछ ऐसा ही देखना चाहिए: + + ```text + [ 0.03403272 -0.24301182 0.02669811 0.2895829 ] -> 1.0 + [ 0.02917248 -0.04828055 0.03248977 0.00543839] -> 1.0 + [ 0.02820687 0.14636075 0.03259854 -0.27681916] -> 1.0 + [ 0.03113408 0.34100283 0.02706215 -0.55904489] -> 1.0 + [ 0.03795414 0.53573468 0.01588125 -0.84308041] -> 1.0 + ... + [ 0.17299878 0.15868546 -0.20754175 -0.55975453] -> 1.0 + [ 0.17617249 0.35602306 -0.21873684 -0.90998894] -> 1.0 + ``` + + सिमुलेशन के प्रत्येक चरण में लौटाए गए ऑब्जर्वेशन वेक्टर में निम्नलिखित मान शामिल होते हैं: + - कार्ट की स्थिति + - कार्ट की वेग + - पोल का कोण + - पोल का रोटेशन दर + +1. उन संख्याओं का न्यूनतम और अधिकतम मान प्राप्त करें: (कोड ब्लॉक 5) + + ```python + print(env.observation_space.low) + print(env.observation_space.high) + ``` + + आप यह भी देख सकते हैं कि प्रत्येक सिमुलेशन चरण पर रिवार्ड मान हमेशा 1 होता है। इसका कारण यह है कि हमारा लक्ष्य जितना संभव हो सके जीवित रहना है, यानी पोल को यथासंभव लंबवत स्थिति में रखना है। + + ✅ वास्तव में, यदि हम 100 लगातार परीक्षणों में 195 का औसत रिवार्ड प्राप्त करने में सफल होते हैं तो CartPole सिमुलेशन को हल किया जाता है। + +## स्टेट का डिस्क्रीटाइजेशन + +Q-लर्निंग में, हमें Q-टेबल बनाना होता है जो परिभाषित करता है कि प्रत्येक स्टेट पर क्या करना है। ऐसा करने में सक्षम होने के लिए, हमें स्टेट को **डिस्क्रीट** बनाना होगा, अधिक सटीक रूप से, इसमें सीमित संख्या में डिस्क्रीट मान शामिल होने चाहिए। इस प्रकार, हमें किसी प्रकार से अपने ऑब्जर्वेशन को **डिस्क्रीटाइज** करना होगा, उन्हें सीमित स्टेट सेट में मैप करना होगा। + +हम इसे करने के कुछ तरीके हैं: + +- **बिन्स में विभाजित करें**। यदि हमें किसी मान का अंतराल पता है, तो हम इस अंतराल को कई **बिन्स** में विभाजित कर सकते हैं, और फिर उस मान को बिन नंबर से बदल सकते हैं जिसमें यह आता है। यह numpy [`digitize`](https://numpy.org/doc/stable/reference/generated/numpy.digitize.html) विधि का उपयोग करके किया जा सकता है। इस मामले में, हम स्टेट आकार को ठीक से जानेंगे, क्योंकि यह उन बिन्स की संख्या पर निर्भर करेगा जिन्हें हम डिजिटलीकरण के लिए चुनते हैं। + +✅ हम मूल्यों को किसी सीमित अंतराल (कहें, -20 से 20 तक) में लाने के लिए रैखिक इंटरपोलेशन का उपयोग कर सकते हैं, और फिर उन्हें गोल करके पूर्णांकों में बदल सकते हैं। इससे हमें स्टेट के आकार पर थोड़ा कम नियंत्रण मिलता है, विशेष रूप से यदि हमें इनपुट मूल्यों की सटीक रेंज नहीं पता है। उदाहरण के लिए, हमारे मामले में 4 में से 2 मानों की कोई ऊपरी/निचली सीमा नहीं है, जिससे असीमित संख्या में स्टेट हो सकते हैं। + +हमारे उदाहरण में, हम दूसरे दृष्टिकोण के साथ जाएंगे। जैसा कि आप बाद में देख सकते हैं, अपरिभाषित ऊपरी/निचली सीमाओं के बावजूद, वे मान शायद ही कभी कुछ सीमित अंतरालों के बाहर मान लेते हैं, इस प्रकार उन स्टेट्स के साथ चरम मान बहुत दुर्लभ होंगे। + +1. यहाँ वह फ़ंक्शन है जो हमारे मॉडल से ऑब्जर्वेशन लेगा और 4 पूर्णांक मानों का एक ट्यूपल उत्पन्न करेगा: (कोड ब्लॉक 6) + + ```python + def discretize(x): + return tuple((x/np.array([0.25, 0.25, 0.01, 0.1])).astype(np.int)) + ``` + +1. चलिए बिन्स का उपयोग करके एक और डिस्क्रीटाइजेशन विधि का भी अन्वेषण करते हैं: (कोड ब्लॉक 7) + + ```python + def create_bins(i,num): + return np.arange(num+1)*(i[1]-i[0])/num+i[0] + + print("Sample bins for interval (-5,5) with 10 bins\n",create_bins((-5,5),10)) + + ints = [(-5,5),(-2,2),(-0.5,0.5),(-2,2)] # intervals of values for each parameter + nbins = [20,20,10,10] # number of bins for each parameter + bins = [create_bins(ints[i],nbins[i]) for i in range(4)] + + def discretize_bins(x): + return tuple(np.digitize(x[i],bins[i]) for i in range(4)) + ``` + +1. अब चलिए एक छोटी सिमुलेशन चलाते हैं और उन डिस्क्रीट एनवायरनमेंट मूल्यों का अवलोकन करते हैं। `discretize` and `discretize_bins` दोनों का उपयोग करने का प्रयास करें और देखें कि क्या कोई अंतर है। + + ✅ discretize_bins बिन नंबर लौटाता है, जो 0-आधारित होता है। इस प्रकार इनपुट वेरिएबल के चारों ओर 0 के मानों के लिए यह अंतराल के मध्य से संख्या लौटाता है (10)। डिस्क्रीटाइज में, हमने आउटपुट मानों की रेंज की परवाह नहीं की, उन्हें नकारात्मक होने की अनुमति दी, इस प्रकार स्टेट मान स्थानांतरित नहीं होते, और 0 का मतलब 0 होता है। (कोड ब्लॉक 8) + + ```python + env.reset() + + done = False + while not done: + #env.render() + obs, rew, done, info = env.step(env.action_space.sample()) + #print(discretize_bins(obs)) + print(discretize(obs)) + env.close() + ``` + + ✅ यदि आप देखना चाहते हैं कि एनवायरनमेंट कैसे निष्पादित होता है तो env.render से शुरू होने वाली पंक्ति को अनकमेंट करें। अन्यथा आप इसे पृष्ठभूमि में निष्पादित कर सकते हैं, जो तेज है। हम इस "अदृश्य" निष्पादन का उपयोग Q-लर्निंग प्रक्रिया के दौरान करेंगे। + +## Q-टेबल संरचना + +हमारे पिछले पाठ में, स्टेट एक साधारण संख्या जोड़ी थी 0 से 8 तक, और इस प्रकार Q-टेबल को 8x8x2 आकार के numpy टेंसर द्वारा प्रस्तुत करना सुविधाजनक था। यदि हम बिन्स डिस्क्रीटाइजेशन का उपयोग करते हैं, तो हमारे स्टेट वेक्टर का आकार भी ज्ञात होता है, इसलिए हम उसी दृष्टिकोण का उपयोग कर सकते हैं और स्टेट को 20x20x10x10x2 आकार के एक सरणी द्वारा प्रस्तुत कर सकते हैं (यहाँ 2 एक्शन स्पेस का आयाम है, और पहले आयाम ऑब्जर्वेशन स्पेस में प्रत्येक पैरामीटर के लिए उपयोग किए गए बिन्स की संख्या से मेल खाते हैं)। + +हालांकि, कभी-कभी ऑब्जर्वेशन स्पेस के सटीक आयाम ज्ञात नहीं होते हैं। `discretize` फ़ंक्शन के मामले में, हम कभी भी यह सुनिश्चित नहीं कर सकते कि हमारा स्टेट निश्चित सीमाओं के भीतर रहता है, क्योंकि कुछ मूल मान बाउंड नहीं होते। इस प्रकार, हम एक अलग दृष्टिकोण का उपयोग करेंगे और Q-टेबल को एक डिक्शनरी द्वारा प्रस्तुत करेंगे। + +1. *(state,action)* जोड़ी का उपयोग डिक्शनरी की कुंजी के रूप में करें, और मान Q-टेबल प्रविष्टि मान से मेल खाता होगा। (कोड ब्लॉक 9) + + ```python + Q = {} + actions = (0,1) + + def qvalues(state): + return [Q.get((state,a),0) for a in actions] + ``` + + यहाँ हम एक फ़ंक्शन `qvalues()` भी परिभाषित करते हैं, जो एक दिए गए स्टेट के लिए सभी संभावित कार्यों से मेल खाने वाले Q-टेबल मानों की एक सूची लौटाता है। यदि प्रविष्टि Q-टेबल में मौजूद नहीं है, तो हम डिफ़ॉल्ट रूप से 0 लौटाएंगे। + +## चलिए Q-लर्निंग शुरू करते हैं + +अब हम पीटर को संतुलन सिखाने के लिए तैयार हैं! + +1. पहले, कुछ हाइपरपैरामीटर्स सेट करें: (कोड ब्लॉक 10) + + ```python + # hyperparameters + alpha = 0.3 + gamma = 0.9 + epsilon = 0.90 + ``` + + यहाँ, `alpha` is the **learning rate** that defines to which extent we should adjust the current values of Q-Table at each step. In the previous lesson we started with 1, and then decreased `alpha` to lower values during training. In this example we will keep it constant just for simplicity, and you can experiment with adjusting `alpha` values later. + + `gamma` is the **discount factor** that shows to which extent we should prioritize future reward over current reward. + + `epsilon` is the **exploration/exploitation factor** that determines whether we should prefer exploration to exploitation or vice versa. In our algorithm, we will in `epsilon` percent of the cases select the next action according to Q-Table values, and in the remaining number of cases we will execute a random action. This will allow us to explore areas of the search space that we have never seen before. + + ✅ In terms of balancing - choosing random action (exploration) would act as a random punch in the wrong direction, and the pole would have to learn how to recover the balance from those "mistakes" + +### Improve the algorithm + +We can also make two improvements to our algorithm from the previous lesson: + +- **Calculate average cumulative reward**, over a number of simulations. We will print the progress each 5000 iterations, and we will average out our cumulative reward over that period of time. It means that if we get more than 195 point - we can consider the problem solved, with even higher quality than required. + +- **Calculate maximum average cumulative result**, `Qmax`, and we will store the Q-Table corresponding to that result. When you run the training you will notice that sometimes the average cumulative result starts to drop, and we want to keep the values of Q-Table that correspond to the best model observed during training. + +1. Collect all cumulative rewards at each simulation at `rewards` वेक्टर आगे की प्लॉटिंग के लिए। (कोड ब्लॉक 11) + + ```python + def probs(v,eps=1e-4): + v = v-v.min()+eps + v = v/v.sum() + return v + + Qmax = 0 + cum_rewards = [] + rewards = [] + for epoch in range(100000): + obs = env.reset() + done = False + cum_reward=0 + # == do the simulation == + while not done: + s = discretize(obs) + if random.random()- [Python](2-Regression/1-Tools/README.md)
- [R](../../2-Regression/1-Tools/solution/R/lesson_1.html)
- जेन
- एरिक वंजाउ
- [Python](2-Regression/2-Data/README.md)
- [R](../../2-Regression/2-Data/solution/R/lesson_2.html)
- जेन
- एरिक वंजाउ
- [Python](2-Regression/3-Linear/README.md)
- [R](../../2-Regression/3-Linear/solution/R/lesson_3.html)
- जेन और दिमित्री
- एरिक वंजाउ
- [Python](2-Regression/4-Logistic/README.md)
- [R](../../2-Regression/4-Logistic/solution/R/lesson_4.html)
- जेन
- एरिक वंजाउ
- [Python](4-Classification/1-Introduction/README.md)
- [R](../../4-Classification/1-Introduction/solution/R/lesson_10.html) |
- जेन और कैसी
- एरिक वंजाउ
- [Python](4-Classification/2-Classifiers-1/README.md)
- [R](../../4-Classification/2-Classifiers-1/solution/R/lesson_11.html) |
- जेन और कैसी
- एरिक वंजाउ
- [Python](4-Classification/3-Classifiers-2/README.md)
- [R](../../4-Classification/3-Classifiers-2/solution/R/lesson_12.html) |
- जेन और कैसी
- एरिक वंजाउ
- [Python](5-Clustering/1-Visualize/README.md)
- [R](../../5-Clustering/1-Visualize/solution/R/lesson_14.html) |
- जेन
- एरिक वंजाउ
- [Python](5-Clustering/2-K-Means/README.md)
- [R](../../5-Clustering/2-K-Means/solution/R/lesson_15.html) |
- Jen
- Eric Wanjau
.yml)। यह वर्कफ़्लो निर्माण और तैनाती प्रक्रिया को संभालेगा। + +6. तैनाती की निगरानी करें +अपने GitHub रिपॉजिटरी में “Actions” टैब पर जाएं। +आपको एक वर्कफ़्लो चलता हुआ दिखाई देना चाहिए। यह वर्कफ़्लो आपके स्थिर वेब ऐप को Azure पर निर्माण और तैनात करेगा। +एक बार वर्कफ़्लो पूरा हो जाने पर, आपका ऐप प्रदान किए गए Azure URL पर लाइव हो जाएगा। + +### उदाहरण वर्कफ़्लो फ़ाइल + +यहां एक उदाहरण है कि GitHub Actions वर्कफ़्लो फ़ाइल कैसी दिख सकती है: +name: Azure Static Web Apps CI/CD +``` +on: + push: + branches: + - main + pull_request: + types: [opened, synchronize, reopened, closed] + branches: + - main + +jobs: + build_and_deploy_job: + runs-on: ubuntu-latest + name: Build and Deploy Job + steps: + - uses: actions/checkout@v2 + - name: Build And Deploy + id: builddeploy + uses: Azure/static-web-apps-deploy@v1 + with: + azure_static_web_apps_api_token: ${{ secrets.AZURE_STATIC_WEB_APPS_API_TOKEN }} + repo_token: ${{ secrets.GITHUB_TOKEN }} + action: "upload" + app_location: "/quiz-app" # App source code path + api_location: ""API source code path optional + output_location: "dist" #Built app content directory - optional +``` + +### अतिरिक्त संसाधन +- [Azure Static Web Apps Documentation](https://learn.microsoft.com/azure/static-web-apps/getting-started) +- [GitHub Actions Documentation](https://docs.github.com/actions/use-cases-and-examples/deploying/deploying-to-azure-static-web-app) + +**अस्वीकरण**: +यह दस्तावेज़ मशीन-आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवाद में त्रुटियाँ या गलतियाँ हो सकती हैं। अपनी मूल भाषा में मूल दस्तावेज़ को प्राधिकृत स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/sketchnotes/LICENSE.md b/translations/hi/sketchnotes/LICENSE.md new file mode 100644 index 000000000..1f07a327c --- /dev/null +++ b/translations/hi/sketchnotes/LICENSE.md @@ -0,0 +1,139 @@ +Attribution-ShareAlike 4.0 International + +======================================================================= + +Creative Commons Corporation ("Creative Commons") कोई कानून फर्म नहीं है और कानूनी सेवाएं या कानूनी सलाह नहीं प्रदान करता है। Creative Commons सार्वजनिक लाइसेंस का वितरण वकील-ग्राहक या अन्य संबंध नहीं बनाता है। Creative Commons अपने लाइसेंस और संबंधित जानकारी "जैसा है" के आधार पर उपलब्ध कराता है। Creative Commons अपने लाइसेंस, उनके नियमों और शर्तों के तहत लाइसेंस प्राप्त किसी भी सामग्री, या किसी भी संबंधित जानकारी के संबंध में कोई वारंटी नहीं देता है। Creative Commons उनके उपयोग से होने वाले नुकसान के लिए पूरी हद तक किसी भी जिम्मेदारी से इनकार करता है। + +Creative Commons सार्वजनिक लाइसेंस का उपयोग करना + +Creative Commons सार्वजनिक लाइसेंस रचनाकारों और अन्य अधिकार धारकों द्वारा मौलिक लेखन कार्यों और अन्य सामग्री को साझा करने के लिए उपयोग किए जाने वाले एक मानक सेट की शर्तें और शर्तें प्रदान करते हैं, जो कॉपीराइट और नीचे निर्दिष्ट सार्वजनिक लाइसेंस में निर्दिष्ट कुछ अन्य अधिकारों के अधीन हैं। निम्नलिखित विचार केवल जानकारी के लिए हैं, पूर्ण नहीं हैं, और हमारे लाइसेंस का हिस्सा नहीं हैं। + + लाइसेंसदाताओं के लिए विचार: हमारे सार्वजनिक लाइसेंस उन लोगों द्वारा उपयोग के लिए अभिप्रेत हैं जिन्हें सामग्री को सार्वजनिक रूप से उपयोग करने की अनुमति देने के लिए अधिकृत किया गया है, अन्यथा कॉपीराइट और कुछ अन्य अधिकारों द्वारा प्रतिबंधित। हमारे लाइसेंस अपरिवर्तनीय हैं। लाइसेंसदाताओं को लाइसेंस को लागू करने से पहले चुने गए लाइसेंस की शर्तों और शर्तों को पढ़ना और समझना चाहिए। लाइसेंसदाताओं को लाइसेंस लागू करने से पहले सभी आवश्यक अधिकार सुरक्षित करने चाहिए ताकि जनता अपेक्षित रूप से सामग्री का पुन: उपयोग कर सके। लाइसेंसदाताओं को स्पष्ट रूप से किसी भी सामग्री को चिह्नित करना चाहिए जो लाइसेंस के अधीन नहीं है। इसमें अन्य CC-लाइसेंस प्राप्त सामग्री या कॉपीराइट के अपवाद या सीमा के तहत उपयोग की गई सामग्री शामिल है। लाइसेंसदाताओं के लिए अधिक विचार: wiki.creativecommons.org/Considerations_for_licensors + + जनता के लिए विचार: हमारे सार्वजनिक लाइसेंस में से एक का उपयोग करके, एक लाइसेंसदाता जनता को निर्दिष्ट शर्तों और शर्तों के तहत लाइसेंस प्राप्त सामग्री का उपयोग करने की अनुमति देता है। यदि किसी कारण से लाइसेंसदाता की अनुमति आवश्यक नहीं है - उदाहरण के लिए, किसी लागू अपवाद या कॉपीराइट की सीमा के कारण - तो उस उपयोग को लाइसेंस द्वारा विनियमित नहीं किया जाता है। हमारे लाइसेंस केवल कॉपीराइट और कुछ अन्य अधिकारों के तहत अनुमति देते हैं जिन्हें एक लाइसेंसदाता देने का अधिकार रखता है। लाइसेंस प्राप्त सामग्री का उपयोग अभी भी अन्य कारणों से प्रतिबंधित हो सकता है, जिसमें अन्य लोगों के पास सामग्री में कॉपीराइट या अन्य अधिकार हैं। एक लाइसेंसदाता विशेष अनुरोध कर सकता है, जैसे कि सभी परिवर्तनों को चिह्नित या वर्णित किया जाए। यद्यपि हमारे लाइसेंस द्वारा आवश्यक नहीं है, आपसे अनुरोधों का सम्मान करने के लिए प्रोत्साहित किया जाता है जहां उचित हो। जनता के लिए अधिक विचार: wiki.creativecommons.org/Considerations_for_licensees + +======================================================================= + +Creative Commons Attribution-ShareAlike 4.0 International Public License + +लाइसेंस प्राप्त अधिकारों (नीचे परिभाषित) का उपयोग करके, आप इस Creative Commons Attribution-ShareAlike 4.0 International Public License ("Public License") की शर्तों और शर्तों से बंधे होने के लिए सहमति देते हैं। जहां तक इस सार्वजनिक लाइसेंस को एक अनुबंध के रूप में व्याख्यायित किया जा सकता है, आपको इन शर्तों और शर्तों की स्वीकृति के बदले में लाइसेंस प्राप्त अधिकार दिए जाते हैं, और लाइसेंसदाता आपको इन शर्तों और शर्तों के तहत उपलब्ध कराई गई सामग्री से प्राप्त लाभों के बदले में ऐसे अधिकार प्रदान करता है। + +अनुभाग 1 -- परिभाषाएं। + + a. अनुकूलित सामग्री का अर्थ है कॉपीराइट और समान अधिकारों के अधीन सामग्री जो लाइसेंस प्राप्त सामग्री से व्युत्पन्न है या उस पर आधारित है और जिसमें लाइसेंस प्राप्त सामग्री का अनुवाद, परिवर्तन, व्यवस्था, रूपांतरण, या अन्यथा संशोधन किया गया है, जिसके लिए लाइसेंसदाता द्वारा रखे गए कॉपीराइट और समान अधिकारों के तहत अनुमति की आवश्यकता होती है। इस सार्वजनिक लाइसेंस के प्रयोजनों के लिए, जहां लाइसेंस प्राप्त सामग्री एक संगीत कार्य, प्रदर्शन, या ध्वनि रिकॉर्डिंग है, अनुकूलित सामग्री हमेशा उत्पन्न होती है जहां लाइसेंस प्राप्त सामग्री को एक चलती छवि के साथ समयबद्ध संबंध में समकालीन किया जाता है। + + b. अनुकूलक का लाइसेंस का अर्थ है आपके द्वारा आपके योगदान के अनुकूलित सामग्री में आपके कॉपीराइट और समान अधिकारों को इस सार्वजनिक लाइसेंस की शर्तों और शर्तों के अनुसार लागू किया गया लाइसेंस। + + c. BY-SA संगत लाइसेंस का अर्थ है एक लाइसेंस जो creativecommons.org/compatiblelicenses पर सूचीबद्ध है, जिसे Creative Commons द्वारा इस सार्वजनिक लाइसेंस के समकक्ष के रूप में स्वीकृत किया गया है। + + d. कॉपीराइट और समान अधिकार का अर्थ है कॉपीराइट और/या समान अधिकार जो कॉपीराइट से निकटता से संबंधित हैं, जिसमें प्रदर्शन, प्रसारण, ध्वनि रिकॉर्डिंग, और सूई जेनेरिस डेटाबेस अधिकार शामिल हैं, बिना यह ध्यान दिए कि अधिकारों को कैसे लेबल किया गया है या वर्गीकृत किया गया है। इस सार्वजनिक लाइसेंस के प्रयोजनों के लिए, अनुभाग 2(b)(1)-(2) में निर्दिष्ट अधिकार कॉपीराइट और समान अधिकार नहीं हैं। + + e. प्रभावी तकनीकी उपाय का अर्थ है वे उपाय जो, उचित प्राधिकरण के अभाव में, 20 दिसंबर 1996 को अपनाई गई WIPO कॉपीराइट संधि के अनुच्छेद 11 के तहत दायित्वों को पूरा करने वाले कानूनों के तहत दरकिनार नहीं किए जा सकते हैं, और/या समान अंतर्राष्ट्रीय समझौतों के तहत। + + f. अपवाद और सीमाएं का अर्थ है उचित उपयोग, उचित व्यवहार, और/या कोई अन्य अपवाद या सीमा जो कॉपीराइट और समान अधिकारों पर लागू होती है जो आपके द्वारा लाइसेंस प्राप्त सामग्री के उपयोग पर लागू होती है। + + g. लाइसेंस तत्वों का अर्थ है एक Creative Commons सार्वजनिक लाइसेंस के नाम में सूचीबद्ध लाइसेंस गुण। इस सार्वजनिक लाइसेंस के लाइसेंस तत्व हैं Attribution और ShareAlike। + + h. लाइसेंस प्राप्त सामग्री का अर्थ है वह कलात्मक या साहित्यिक कार्य, डेटाबेस, या अन्य सामग्री जिस पर लाइसेंसदाता ने इस सार्वजनिक लाइसेंस को लागू किया है। + + i. लाइसेंस प्राप्त अधिकार का अर्थ है इस सार्वजनिक लाइसेंस की शर्तों और शर्तों के अधीन आपको दिए गए अधिकार, जो आपके द्वारा लाइसेंस प्राप्त सामग्री के उपयोग पर लागू सभी कॉपीराइट और समान अधिकारों तक सीमित हैं और जिनके लाइसेंसदाता को लाइसेंस देने का अधिकार है। + + j. लाइसेंसदाता का अर्थ है वह व्यक्ति(यों) या इकाई(यों) जो इस सार्वजनिक लाइसेंस के तहत अधिकार प्रदान कर रहे हैं। + + k. साझा करना का अर्थ है किसी भी माध्यम या प्रक्रिया द्वारा जनता को सामग्री प्रदान करना जिसके लिए लाइसेंस प्राप्त अधिकारों के तहत अनुमति की आवश्यकता होती है, जैसे पुनरुत्पादन, सार्वजनिक प्रदर्शन, सार्वजनिक प्रदर्शन, वितरण, प्रसार, संचार, या आयात, और जनता को सामग्री उपलब्ध कराना जिसमें वे सामग्री को एक स्थान और समय पर व्यक्तिगत रूप से चुन सकते हैं। + + l. सूई जेनेरिस डेटाबेस अधिकार का अर्थ है कॉपीराइट के अलावा अन्य अधिकार जो 11 मार्च 1996 को यूरोपीय संसद और परिषद के निर्देश 96/9/EC से उत्पन्न होते हैं, जैसा कि संशोधित और/या सफल हुआ है, साथ ही दुनिया में कहीं भी अन्य समान अधिकार। + + m. आप का अर्थ है वह व्यक्ति या इकाई जो इस सार्वजनिक लाइसेंस के तहत लाइसेंस प्राप्त अधिकारों का उपयोग कर रहा है। आपका का एक संबंधित अर्थ है। + +अनुभाग 2 -- दायरा। + + a. लाइसेंस अनुदान। + + 1. इस सार्वजनिक लाइसेंस की शर्तों और शर्तों के अधीन, लाइसेंसदाता आपको एक विश्वव्यापी, रॉयल्टी-मुक्त, गैर-सब-लाइसेंस योग्य, गैर-विशेष, अपरिवर्तनीय लाइसेंस प्रदान करता है ताकि लाइसेंस प्राप्त सामग्री में लाइसेंस प्राप्त अधिकारों का उपयोग किया जा सके: + + a. लाइसेंस प्राप्त सामग्री का पुनरुत्पादन और साझा करना, पूरे या आंशिक रूप में; और + + b. अनुकूलित सामग्री का उत्पादन, पुनरुत्पादन, और साझा करना। + + 2. अपवाद और सीमाएं। संदेह से बचने के लिए, जहां अपवाद और सीमाएं आपके उपयोग पर लागू होती हैं, यह सार्वजनिक लाइसेंस लागू नहीं होता है, और आपको इसकी शर्तों और शर्तों का पालन करने की आवश्यकता नहीं है। + + 3. अवधि। इस सार्वजनिक लाइसेंस की अवधि अनुभाग 6(a) में निर्दिष्ट है। + + 4. मीडिया और प्रारूप; तकनीकी संशोधनों की अनुमति। लाइसेंसदाता आपको सभी मीडिया और प्रारूपों में लाइसेंस प्राप्त अधिकारों का उपयोग करने के लिए अधिकृत करता है, चाहे अब ज्ञात हो या बाद में बनाया गया हो, और ऐसा करने के लिए आवश्यक तकनीकी संशोधन करने के लिए। लाइसेंसदाता किसी भी अधिकार या प्राधिकरण को छोड़ देता है और/या सहमत होता है कि आपको लाइसेंस प्राप्त अधिकारों का उपयोग करने के लिए आवश्यक तकनीकी संशोधन करने से मना नहीं करेगा, जिसमें प्रभावी तकनीकी उपायों को दरकिनार करने के लिए आवश्यक तकनीकी संशोधन शामिल हैं। इस सार्वजनिक लाइसेंस के प्रयोजनों के लिए, इस अनुभाग 2(a)(4) द्वारा अधिकृत संशोधन करने से कभी भी अनुकूलित सामग्री उत्पन्न नहीं होती है। + + 5. डाउनस्ट्रीम प्राप्तकर्ता। + + a. लाइसेंसदाता से प्रस्ताव -- लाइसेंस प्राप्त सामग्री। लाइसेंस प्राप्त सामग्री के हर प्राप्तकर्ता को स्वचालित रूप से लाइसेंसदाता से इस सार्वजनिक लाइसेंस की शर्तों और शर्तों के तहत लाइसेंस प्राप्त अधिकारों का उपयोग करने का प्रस्ताव मिलता है। + + b. लाइसेंसदाता से अतिरिक्त प्रस्ताव -- अनुकूलित सामग्री। आपसे अनुकूलित सामग्री के हर प्राप्तकर्ता को स्वचालित रूप से लाइसेंसदाता से अनुकूलित सामग्री में लाइसेंस प्राप्त अधिकारों का उपयोग करने का प्रस्ताव मिलता है, जिस शर्तों के तहत आप अनुकूलक का लाइसेंस लागू करते हैं। + + c. डाउनस्ट्रीम प्रतिबंध नहीं। आप किसी भी प्राप्तकर्ता को लाइसेंस प्राप्त सामग्री के किसी भी अतिरिक्त या अलग शर्तों और शर्तों की पेशकश या लागू नहीं कर सकते हैं, या लाइसेंस प्राप्त सामग्री पर कोई प्रभावी तकनीकी उपाय लागू नहीं कर सकते हैं, यदि ऐसा करने से लाइसेंस प्राप्त सामग्री के किसी भी प्राप्तकर्ता द्वारा लाइसेंस प्राप्त अधिकारों का उपयोग प्रतिबंधित होता है। + + 6. अनुमोदन नहीं। इस सार्वजनिक लाइसेंस में कुछ भी ऐसा नहीं है या ऐसा व्याख्यायित किया जा सकता है कि आपसे यह अनुमति दी जाए या यह संकेत दिया जाए कि आप, या आपका लाइसेंस प्राप्त सामग्री का उपयोग, लाइसेंसदाता या अन्य द्वारा अनुमोदित, प्रायोजित, या आधिकारिक स्थिति प्राप्त है, जैसा कि अनुभाग 3(a)(1)(A)(i) में निर्दिष्ट किया गया है। + + b. अन्य अधिकार। + + 1. नैतिक अधिकार, जैसे अखंडता का अधिकार, इस सार्वजनिक लाइसेंस के तहत लाइसेंस प्राप्त नहीं हैं, न ही प्रचार, गोपनीयता, और/या अन्य समान व्यक्तित्व अधिकार; हालांकि, जहां तक संभव हो, लाइसेंसदाता ऐसे किसी भी अधिकार को छोड़ देता है और/या सहमत होता है कि लाइसेंसदाता द्वारा रखे गए ऐसे अधिकारों को इस हद तक सीमित करने के लिए आवश्यक है ताकि आपको लाइसेंस प्राप्त अधिकारों का उपयोग करने की अनुमति दी जा सके, लेकिन अन्यथा नहीं। + + 2. पेटेंट और ट्रेडमार्क अधिकार इस सार्वजनिक लाइसेंस के तहत लाइसेंस प्राप्त नहीं हैं। + + 3. जहां तक संभव हो, लाइसेंसदाता किसी भी स्वैच्छिक या छोड़े जाने योग्य सांविधिक या अनिवार्य लाइसेंसिंग योजना के तहत सीधे या किसी संग्रहण समाज के माध्यम से लाइसेंस प्राप्त अधिकारों के उपयोग के लिए रॉयल्टी एकत्र करने के किसी भी अधिकार को छोड़ देता है। अन्य सभी मामलों में, लाइसेंसदाता स्पष्ट रूप से ऐसे रॉयल्टी एकत्र करने के किसी भी अधिकार को सुरक्षित रखता है। + +अनुभाग 3 -- लाइसेंस शर्तें। + +आपके द्वारा लाइसेंस प्राप्त अधिकारों का उपयोग विशेष रूप से निम्नलिखित शर्तों के अधीन किया गया है। + + a. श्रेय। + + 1. यदि आप लाइसेंस प्राप्त सामग्री को साझा करते हैं (संशोधित रूप में भी), तो आपको निम्नलिखित को बनाए रखना चाहिए यदि यह लाइसेंसदाता द्वारा लाइसेंस प्राप्त सामग्री के साथ प्रदान किया गया है: + + a. लाइसेंस प्राप्त सामग्री के निर्माता(यों) की पहचान और किसी भी अन्य को श्रेय प्राप्त करने के लिए निर्दिष्ट किया गया है, किसी भी उचित तरीके से जैसा कि लाइसेंसदाता द्वारा अनुरोध किया गया है (छद्म नाम द्वारा भी यदि निर्दिष्ट है); + + ii. एक कॉपीराइट नोटिस; + + iii. एक नोटिस जो इस सार्वजनिक लाइसेंस का उल्लेख करता है; + + iv. एक नोटिस जो वारंटी के अस्वीकरण का उल्लेख करता है; + + v. एक URI या हाइपरलिंक लाइसेंस प्राप्त सामग्री के लिए जहां तक सम्भव हो; + + b. यदि आपने लाइसेंस प्राप्त सामग्री को संशोधित किया है तो संकेत दें और किसी भी पिछले संशोधनों का संकेत बनाए रखें; और + + c. संकेत दें कि लाइसेंस प्राप्त सामग्री इस सार्वजनिक लाइसेंस के तहत लाइसेंस प्राप्त है, और इस सार्वजनिक लाइसेंस के पाठ, या URI या हाइपरलिंक को शामिल करें। + + 2. आप अनुभाग 3(a)(1) में शर्तों को किसी भी उचित तरीके से पूरा कर सकते हैं, जिस माध्यम, साधन, और संदर्भ के आधार पर जिसमें आप लाइसेंस प्राप्त सामग्री साझा करते हैं। उदाहरण के लिए, यह शर्तों को पूरा करने के लिए एक संसाधन के URI या हाइपरलिंक प्रदान करके उचित हो सकता है जिसमें आवश्यक जानकारी शामिल है। + + 3. यदि लाइसेंसदाता द्वारा अनुरोध किया गया है, तो आपको अनुभाग 3(a)(1)(A) द्वारा आवश्यक किसी भी जानकारी को हटाना होगा जहां तक सम्भव हो। + + b. ShareAlike। + + अनुभाग 3(a) में शर्तों के अलावा, यदि आप अनुकूलित सामग्री साझा करते हैं जिसे आपने उत्पादित किया है, तो निम्नलिखित शर्तें भी लागू होती हैं। + + 1. अनुकूलक का लाइसेंस जिसे आप लागू करते हैं वह Creative Commons लाइसेंस होना चाहिए जिसमें वही लाइसेंस तत्व हों, यह संस्करण या बाद का, या एक BY-SA संगत लाइसेंस। + + 2. आपको अनुकूलक का लाइसेंस जिसे आप लागू करते हैं, के पाठ, या URI या हाइपरलिंक को शामिल करना होगा। आप इस शर्त को किसी भी उचित तरीके से पूरा कर सकते हैं, जिस माध्यम, साधन, और संदर्भ के आधार पर जिसमें आप अनुकूलित सामग्री साझा करते हैं। + + 3. आप अनुकूलित सामग्री पर कोई अतिरिक्त या अलग शर्तें या शर्तें लागू नहीं कर सकते हैं, या कोई प्रभावी तकनीकी उपाय लागू नहीं कर सकते हैं, जो अनुकूलक के लाइसेंस के तहत दिए गए अधिकारों के उपयोग को प्रतिबंधित करते हैं जिसे आप लागू करते हैं। + +अनुभाग 4 -- सूई जेनेरिस डेटाबेस अधिकार। + +जहां लाइसेंस प्राप्त अधिकारों में सूई जेनेरिस डेटाबेस अधिकार शामिल हैं जो आपके द्वारा लाइसेंस प्राप्त सामग्री के उपयोग पर लागू होते हैं: + + a. संदेह से बचने के लिए, अनुभाग 2(a)(1) आपको डेटाबेस की सामग्री का निष्कर्षण, पुन: उपयोग, पुनरुत्पादन, और साझा करने का अधिकार देता है; + + b. यदि आप डेटाबेस की सभी या एक महत्वपूर्ण हिस्से की सामग्री को एक डेटाबेस में शामिल करते हैं जिसमें आपके पास सूई जेनेरिस डेटाबेस अधिकार हैं, तो आपके पास सूई जेनेरिस डेटाबेस अधिकार (लेकिन इसकी व्यक्तिगत सामग्री नहीं) वाले डेटाबेस को अनुकूलित सामग्री माना जाता है, + + अनुभाग 3(b) के प्रयोजनों के लिए; और + c. आपको अनुभाग 3(a) में शर्तों का पालन करना होगा यदि आप डेटाबेस की सभी या एक महत्वपूर्ण हिस्से की सामग्री को साझा करते हैं। + +संदेह से बचने के लिए, यह अनुभाग 4 आपके दायित्वों को इस सार्वजनिक लाइसेंस के तहत पूरक करता है जहां लाइसेंस प्राप्त अधिकारों में अन्य कॉपीराइट और समान अधिकार शामिल हैं। + +अनुभाग 5 -- वारंटी अस्वीकरण और देयता की सीमा। + + a. जब तक लाइसेंसदाता द्वारा अलग से नहीं किया गया है, जहां तक संभव हो, लाइसेंसदाता लाइसेंस प्राप्त सामग्री को "जैसा है" और "जहां उपलब्ध है" के आधार पर प्रदान करता है, और लाइसेंस प्राप्त सामग्री के संबंध में किसी भी प्रकार की कोई प्रतिनिधित्व या वारंटी नहीं देता है, चाहे वह स्पष्ट हो, निहित हो, सांविधिक हो, या अन्य। इसमें, बिना सीमा के, शीर्षक की वारंटी, व्यापारिकता, किसी विशेष उद्देश्य के लिए उपयुक्तता, गैर-उल्लंघन, छिपे हुए या अन्य दोषों की अनुपस्थिति, सटीकता, या त्रुटियों की उपस्थिति या अनुपस्थिति, चाहे ज्ञात हो या खोज योग्य हो। जहां वारंटी अस्वीकरण पूरी तरह से या आंशिक रूप से अनुमति नहीं है, यह अस्वीकरण आप पर लागू नहीं हो सकता है। + + b. जहां तक संभव हो, किसी भी स्थिति में लाइसेंसदाता आपके लिए किसी भी कानूनी सिद्धांत (शामिल, बिना सीमा के, लापरवाही) या अन्यथा किसी भी प्रत्यक्ष, विशेष, अप्रत्यक्ष, आकस्मिक, परिणामी, दंडात्मक, अनुकरणीय, या अन्य हानि, लागत, खर्च + +**अस्वीकरण**: +यह दस्तावेज़ मशीन आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयास करते हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या अशुद्धियाँ हो सकती हैं। मूल दस्तावेज़ को उसकी मूल भाषा में प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/hi/sketchnotes/README.md b/translations/hi/sketchnotes/README.md new file mode 100644 index 000000000..a4b53d9c4 --- /dev/null +++ b/translations/hi/sketchnotes/README.md @@ -0,0 +1,10 @@ +सभी पाठ्यक्रम की स्केच नोट्स यहाँ से डाउनलोड की जा सकती हैं। + +🖨 उच्च-रिज़ॉल्यूशन में प्रिंटिंग के लिए, TIFF संस्करण [इस रिपॉज़िटरी](https://github.com/girliemac/a-picture-is-worth-a-1000-words/tree/main/ml/tiff) पर उपलब्ध हैं। + +🎨 बनाया गया: [Tomomi Imura](https://github.com/girliemac) (Twitter: [@girlie_mac](https://twitter.com/girlie_mac)) + +[](https://creativecommons.org/licenses/by-sa/4.0/) + +**अस्वीकरण**: +यह दस्तावेज़ मशीन आधारित एआई अनुवाद सेवाओं का उपयोग करके अनुवादित किया गया है। जबकि हम सटीकता के लिए प्रयासरत हैं, कृपया ध्यान दें कि स्वचालित अनुवादों में त्रुटियाँ या गलतियाँ हो सकती हैं। मूल भाषा में दस्तावेज़ को प्रामाणिक स्रोत माना जाना चाहिए। महत्वपूर्ण जानकारी के लिए, पेशेवर मानव अनुवाद की सिफारिश की जाती है। इस अनुवाद के उपयोग से उत्पन्न किसी भी गलतफहमी या गलत व्याख्या के लिए हम उत्तरदायी नहीं हैं। \ No newline at end of file diff --git a/translations/it/1-Introduction/1-intro-to-ML/README.md b/translations/it/1-Introduction/1-intro-to-ML/README.md new file mode 100644 index 000000000..0941b011d --- /dev/null +++ b/translations/it/1-Introduction/1-intro-to-ML/README.md @@ -0,0 +1,148 @@ +# Introduzione al machine learning + +## [Quiz pre-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/1/) + +--- + +[](https://youtu.be/6mSx_KJxcHI "ML per principianti - Introduzione al Machine Learning per Principianti") + +> 🎥 Clicca sull'immagine sopra per un breve video che esplora questa lezione. + +Benvenuto a questo corso sul machine learning classico per principianti! Che tu sia completamente nuovo a questo argomento o un praticante esperto di ML che vuole rinfrescare alcune conoscenze, siamo felici che tu ti unisca a noi! Vogliamo creare un punto di partenza accogliente per il tuo studio del ML e saremmo felici di valutare, rispondere e incorporare i tuoi [feedback](https://github.com/microsoft/ML-For-Beginners/discussions). + +[](https://youtu.be/h0e2HAPTGF4 "Introduzione al ML") + +> 🎥 Clicca sull'immagine sopra per un video: John Guttag del MIT introduce il machine learning + +--- +## Iniziare con il machine learning + +Prima di iniziare con questo curriculum, è necessario configurare il computer e prepararlo per eseguire notebook localmente. + +- **Configura il tuo computer con questi video**. Utilizza i seguenti link per imparare [come installare Python](https://youtu.be/CXZYvNRIAKM) nel tuo sistema e [configurare un editor di testo](https://youtu.be/EU8eayHWoZg) per lo sviluppo. +- **Impara Python**. È anche raccomandato avere una comprensione di base di [Python](https://docs.microsoft.com/learn/paths/python-language/?WT.mc_id=academic-77952-leestott), un linguaggio di programmazione utile per i data scientist che utilizziamo in questo corso. +- **Impara Node.js e JavaScript**. Utilizziamo anche JavaScript alcune volte in questo corso quando costruiamo applicazioni web, quindi sarà necessario avere [node](https://nodejs.org) e [npm](https://www.npmjs.com/) installati, oltre a [Visual Studio Code](https://code.visualstudio.com/) disponibile per lo sviluppo sia in Python che in JavaScript. +- **Crea un account GitHub**. Dato che ci hai trovato qui su [GitHub](https://github.com), potresti già avere un account, ma se non lo hai, creane uno e poi fork questo curriculum per utilizzarlo da solo. (Sentiti libero di darci una stella, 😊) +- **Esplora Scikit-learn**. Familiarizza con [Scikit-learn](https://scikit-learn.org/stable/user_guide.html), un insieme di librerie ML che citiamo in queste lezioni. + +--- +## Cos'è il machine learning? + +Il termine 'machine learning' è uno dei più popolari e frequentemente utilizzati al giorno d'oggi. È molto probabile che tu abbia sentito questo termine almeno una volta se hai una certa familiarità con la tecnologia, indipendentemente dal settore in cui lavori. La meccanica del machine learning, tuttavia, è un mistero per la maggior parte delle persone. Per un principiante del machine learning, l'argomento può a volte sembrare travolgente. Pertanto, è importante capire cosa sia realmente il machine learning e impararlo passo dopo passo, attraverso esempi pratici. + +--- +## La curva dell'hype + + + +> Google Trends mostra la recente 'curva dell'hype' del termine 'machine learning' + +--- +## Un universo misterioso + +Viviamo in un universo pieno di misteri affascinanti. Grandi scienziati come Stephen Hawking, Albert Einstein e molti altri hanno dedicato la loro vita alla ricerca di informazioni significative che svelino i misteri del mondo che ci circonda. Questa è la condizione umana dell'apprendimento: un bambino umano impara nuove cose e scopre la struttura del suo mondo anno dopo anno mentre cresce fino all'età adulta. + +--- +## Il cervello del bambino + +Il cervello e i sensi di un bambino percepiscono i fatti del loro ambiente e gradualmente apprendono i modelli nascosti della vita che aiutano il bambino a creare regole logiche per identificare i modelli appresi. Il processo di apprendimento del cervello umano rende gli esseri umani la creatura vivente più sofisticata di questo mondo. Imparare continuamente scoprendo modelli nascosti e poi innovando su quei modelli ci permette di migliorare sempre di più nel corso della nostra vita. Questa capacità di apprendimento e capacità di evoluzione è correlata a un concetto chiamato [plasticità cerebrale](https://www.simplypsychology.org/brain-plasticity.html). Superficialmente, possiamo tracciare alcune somiglianze motivazionali tra il processo di apprendimento del cervello umano e i concetti del machine learning. + +--- +## Il cervello umano + +Il [cervello umano](https://www.livescience.com/29365-human-brain.html) percepisce le cose dal mondo reale, elabora le informazioni percepite, prende decisioni razionali e compie determinate azioni in base alle circostanze. Questo è ciò che chiamiamo comportarsi in modo intelligente. Quando programmiamo una copia del processo comportamentale intelligente su una macchina, viene chiamata intelligenza artificiale (AI). + +--- +## Alcuni termini + +Sebbene i termini possano essere confusi, il machine learning (ML) è un sottoinsieme importante dell'intelligenza artificiale. **ML si occupa di utilizzare algoritmi specializzati per scoprire informazioni significative e trovare modelli nascosti dai dati percepiti per corroborare il processo decisionale razionale**. + +--- +## AI, ML, Deep Learning + + + +> Un diagramma che mostra le relazioni tra AI, ML, deep learning e data science. Infografica di [Jen Looper](https://twitter.com/jenlooper) ispirata da [questa grafica](https://softwareengineering.stackexchange.com/questions/366996/distinction-between-ai-ml-neural-networks-deep-learning-and-data-mining) + +--- +## Concetti da coprire + +In questo curriculum, copriremo solo i concetti fondamentali del machine learning che un principiante deve conoscere. Copriamo ciò che chiamiamo 'machine learning classico' utilizzando principalmente Scikit-learn, un'ottima libreria che molti studenti utilizzano per imparare le basi. Per comprendere concetti più ampi di intelligenza artificiale o deep learning, è indispensabile una solida conoscenza fondamentale del machine learning, e quindi vorremmo offrirla qui. + +--- +## In questo corso imparerai: + +- concetti fondamentali del machine learning +- la storia del ML +- ML e equità +- tecniche di regressione ML +- tecniche di classificazione ML +- tecniche di clustering ML +- tecniche di elaborazione del linguaggio naturale ML +- tecniche di previsione delle serie temporali ML +- apprendimento per rinforzo +- applicazioni reali per ML + +--- +## Cosa non copriremo + +- deep learning +- reti neurali +- AI + +Per migliorare l'esperienza di apprendimento, eviteremo le complessità delle reti neurali, del 'deep learning' - costruzione di modelli a più strati utilizzando reti neurali - e dell'AI, che discuteremo in un curriculum diverso. Offriremo anche un prossimo curriculum di data science per concentrarci su quell'aspetto di questo campo più ampio. + +--- +## Perché studiare il machine learning? + +Il machine learning, da una prospettiva di sistemi, è definito come la creazione di sistemi automatizzati che possono apprendere modelli nascosti dai dati per aiutare a prendere decisioni intelligenti. + +Questa motivazione è vagamente ispirata da come il cervello umano apprende certe cose basate sui dati che percepisce dal mondo esterno. + +✅ Pensa per un minuto perché un'azienda vorrebbe provare a utilizzare strategie di machine learning rispetto a creare un motore basato su regole codificate. + +--- +## Applicazioni del machine learning + +Le applicazioni del machine learning sono ora quasi ovunque e sono tanto onnipresenti quanto i dati che fluiscono nelle nostre società, generati dai nostri smartphone, dispositivi connessi e altri sistemi. Considerando l'immenso potenziale degli algoritmi di machine learning all'avanguardia, i ricercatori hanno esplorato la loro capacità di risolvere problemi reali multidimensionali e multidisciplinari con grandi risultati positivi. + +--- +## Esempi di ML applicato + +**Puoi utilizzare il machine learning in molti modi**: + +- Per prevedere la probabilità di una malattia dalla storia medica di un paziente o dai rapporti. +- Per sfruttare i dati meteorologici per prevedere eventi meteorologici. +- Per comprendere il sentimento di un testo. +- Per rilevare notizie false per fermare la diffusione della propaganda. + +Finanza, economia, scienze della terra, esplorazione spaziale, ingegneria biomedica, scienze cognitive e persino campi nelle scienze umane hanno adattato il machine learning per risolvere i problemi ardui e pesanti di elaborazione dei dati del loro settore. + +--- +## Conclusione + +Il machine learning automatizza il processo di scoperta dei modelli trovando intuizioni significative dai dati reali o generati. Si è dimostrato altamente prezioso in applicazioni aziendali, sanitarie e finanziarie, tra le altre. + +Nel prossimo futuro, comprendere le basi del machine learning sarà un must per le persone di qualsiasi settore a causa della sua adozione diffusa. + +--- +# 🚀 Sfida + +Disegna, su carta o utilizzando un'app online come [Excalidraw](https://excalidraw.com/), la tua comprensione delle differenze tra AI, ML, deep learning e data science. Aggiungi alcune idee sui problemi che ciascuna di queste tecniche è brava a risolvere. + +# [Quiz post-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/2/) + +--- +# Revisione & Studio Autonomo + +Per saperne di più su come puoi lavorare con gli algoritmi ML nel cloud, segui questo [Percorso di Apprendimento](https://docs.microsoft.com/learn/paths/create-no-code-predictive-models-azure-machine-learning/?WT.mc_id=academic-77952-leestott). + +Segui un [Percorso di Apprendimento](https://docs.microsoft.com/learn/modules/introduction-to-machine-learning/?WT.mc_id=academic-77952-leestott) sui fondamenti del ML. + +--- +# Compito + +[Inizia a lavorare](assignment.md) + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatizzata basati su intelligenza artificiale. Sebbene ci impegniamo per l'accuratezza, si prega di notare che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/1-Introduction/1-intro-to-ML/assignment.md b/translations/it/1-Introduction/1-intro-to-ML/assignment.md new file mode 100644 index 000000000..6af698e00 --- /dev/null +++ b/translations/it/1-Introduction/1-intro-to-ML/assignment.md @@ -0,0 +1,12 @@ +# Iniziare a Lavorare + +## Istruzioni + +In questo compito non valutato, dovresti ripassare Python e configurare il tuo ambiente per eseguire i notebook. + +Segui questo [Percorso di Apprendimento Python](https://docs.microsoft.com/learn/paths/python-language/?WT.mc_id=academic-77952-leestott), e poi configura i tuoi sistemi guardando questi video introduttivi: + +https://www.youtube.com/playlist?list=PLlrxD0HtieHhS8VzuMCfQD4uJ9yne1mE6 + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su AI. Sebbene ci sforziamo di garantire l'accuratezza, si prega di notare che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione umana professionale. Non siamo responsabili per eventuali fraintendimenti o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/1-Introduction/2-history-of-ML/README.md b/translations/it/1-Introduction/2-history-of-ML/README.md new file mode 100644 index 000000000..7f4c5a2af --- /dev/null +++ b/translations/it/1-Introduction/2-history-of-ML/README.md @@ -0,0 +1,152 @@ +# Storia del machine learning + + +> Schizzo di [Tomomi Imura](https://www.twitter.com/girlie_mac) + +## [Quiz pre-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/3/) + +--- + +[](https://youtu.be/N6wxM4wZ7V0 "ML per principianti - Storia del Machine Learning") + +> 🎥 Clicca sull'immagine qui sopra per un breve video su questa lezione. + +In questa lezione, passeremo in rassegna i principali traguardi nella storia del machine learning e dell'intelligenza artificiale. + +La storia dell'intelligenza artificiale (AI) come campo è intrecciata con la storia del machine learning, poiché gli algoritmi e i progressi computazionali che sostengono il ML hanno alimentato lo sviluppo dell'AI. È utile ricordare che, sebbene questi campi come aree di indagine distinte abbiano iniziato a cristallizzarsi negli anni '50, importanti [scoperte algoritmiche, statistiche, matematiche, computazionali e tecniche](https://wikipedia.org/wiki/Timeline_of_machine_learning) hanno preceduto e si sono sovrapposte a questa era. In effetti, le persone hanno pensato a queste domande per [centinaia di anni](https://wikipedia.org/wiki/History_of_artificial_intelligence): questo articolo discute le basi intellettuali storiche dell'idea di una 'macchina pensante'. + +--- +## Scoperte notevoli + +- 1763, 1812 [Teorema di Bayes](https://wikipedia.org/wiki/Bayes%27_theorem) e i suoi predecessori. Questo teorema e le sue applicazioni sono alla base dell'inferenza, descrivendo la probabilità che un evento si verifichi basandosi su conoscenze pregresse. +- 1805 [Teoria dei minimi quadrati](https://wikipedia.org/wiki/Least_squares) del matematico francese Adrien-Marie Legendre. Questa teoria, che imparerai nella nostra unità sulla Regressione, aiuta nell'adattamento dei dati. +- 1913 [Catene di Markov](https://wikipedia.org/wiki/Markov_chain), chiamate così in onore del matematico russo Andrey Markov, vengono utilizzate per descrivere una sequenza di eventi possibili basati su uno stato precedente. +- 1957 [Perceptron](https://wikipedia.org/wiki/Perceptron) è un tipo di classificatore lineare inventato dallo psicologo americano Frank Rosenblatt che è alla base dei progressi nel deep learning. + +--- + +- 1967 [Nearest Neighbor](https://wikipedia.org/wiki/Nearest_neighbor) è un algoritmo originariamente progettato per mappare percorsi. In un contesto ML viene utilizzato per rilevare modelli. +- 1970 [Backpropagation](https://wikipedia.org/wiki/Backpropagation) viene utilizzato per addestrare le [reti neurali feedforward](https://wikipedia.org/wiki/Feedforward_neural_network). +- 1982 [Reti Neurali Ricorrenti](https://wikipedia.org/wiki/Recurrent_neural_network) sono reti neurali artificiali derivate dalle reti neurali feedforward che creano grafici temporali. + +✅ Fai una piccola ricerca. Quali altre date si distinguono come fondamentali nella storia del ML e dell'AI? + +--- +## 1950: Macchine che pensano + +Alan Turing, una persona davvero straordinaria che è stata votata [dal pubblico nel 2019](https://wikipedia.org/wiki/Icons:_The_Greatest_Person_of_the_20th_Century) come il più grande scienziato del XX secolo, è accreditato di aver contribuito a gettare le basi per il concetto di 'macchina che può pensare'. Ha lottato con i detrattori e con il proprio bisogno di prove empiriche di questo concetto in parte creando il [Test di Turing](https://www.bbc.com/news/technology-18475646), che esplorerai nelle nostre lezioni di NLP. + +--- +## 1956: Progetto di ricerca estivo di Dartmouth + +"Il Progetto di ricerca estivo di Dartmouth sull'intelligenza artificiale è stato un evento fondamentale per l'intelligenza artificiale come campo," ed è stato qui che il termine 'intelligenza artificiale' è stato coniato ([fonte](https://250.dartmouth.edu/highlights/artificial-intelligence-ai-coined-dartmouth)). + +> Ogni aspetto dell'apprendimento o di qualsiasi altra caratteristica dell'intelligenza può, in linea di principio, essere descritto così precisamente che una macchina può essere costruita per simularlo. + +--- + +Il ricercatore principale, il professore di matematica John McCarthy, sperava "di procedere sulla base dell'ipotesi che ogni aspetto dell'apprendimento o di qualsiasi altra caratteristica dell'intelligenza possa, in linea di principio, essere descritto così precisamente che una macchina può essere costruita per simularlo." I partecipanti includevano un'altra luminare nel campo, Marvin Minsky. + +Il workshop è accreditato di aver avviato e incoraggiato diverse discussioni, tra cui "l'ascesa dei metodi simbolici, sistemi focalizzati su domini limitati (primi sistemi esperti) e sistemi deduttivi contro sistemi induttivi." ([fonte](https://wikipedia.org/wiki/Dartmouth_workshop)). + +--- +## 1956 - 1974: "Gli anni d'oro" + +Dagli anni '50 fino alla metà degli anni '70, l'ottimismo era alto nella speranza che l'AI potesse risolvere molti problemi. Nel 1967, Marvin Minsky affermava con sicurezza che "Entro una generazione ... il problema di creare 'intelligenza artificiale' sarà sostanzialmente risolto." (Minsky, Marvin (1967), Computation: Finite and Infinite Machines, Englewood Cliffs, N.J.: Prentice-Hall) + +la ricerca sul natural language processing fiorì, la ricerca fu perfezionata e resa più potente, e fu creato il concetto di 'micro-mondi', dove compiti semplici venivano completati usando istruzioni in linguaggio naturale. + +--- + +La ricerca era ben finanziata da agenzie governative, si fecero progressi nel calcolo e negli algoritmi, e furono costruiti prototipi di macchine intelligenti. Alcune di queste macchine includono: + +* [Shakey il robot](https://wikipedia.org/wiki/Shakey_the_robot), che poteva manovrare e decidere come eseguire i compiti 'intelligentemente'. + +  + > Shakey nel 1972 + +--- + +* Eliza, un primo 'chatterbot', poteva conversare con le persone e agire come un primitivo 'terapeuta'. Imparerai di più su Eliza nelle lezioni di NLP. + +  + > Una versione di Eliza, un chatbot + +--- + +* "Blocks world" era un esempio di micro-mondo dove i blocchi potevano essere impilati e ordinati, e si potevano testare esperimenti nell'insegnare alle macchine a prendere decisioni. I progressi costruiti con librerie come [SHRDLU](https://wikipedia.org/wiki/SHRDLU) hanno aiutato a spingere avanti l'elaborazione del linguaggio. + + [](https://www.youtube.com/watch?v=QAJz4YKUwqw "blocks world con SHRDLU") + + > 🎥 Clicca sull'immagine qui sopra per un video: Blocks world con SHRDLU + +--- +## 1974 - 1980: "AI Winter" + +Entro la metà degli anni '70, era diventato evidente che la complessità di creare 'macchine intelligenti' era stata sottovalutata e che la sua promessa, data la potenza di calcolo disponibile, era stata sopravvalutata. I finanziamenti si prosciugarono e la fiducia nel campo rallentò. Alcuni problemi che hanno influenzato la fiducia includevano: +--- +- **Limitazioni**. La potenza di calcolo era troppo limitata. +- **Esplosione combinatoria**. La quantità di parametri che dovevano essere addestrati cresceva esponenzialmente man mano che si chiedeva di più ai computer, senza un'evoluzione parallela della potenza di calcolo e delle capacità. +- **Scarsità di dati**. C'era una scarsità di dati che ostacolava il processo di test, sviluppo e raffinamento degli algoritmi. +- **Stiamo facendo le domande giuste?**. Le stesse domande che venivano poste cominciarono a essere messe in discussione. I ricercatori iniziarono a ricevere critiche sui loro approcci: + - I test di Turing furono messi in discussione tramite, tra le altre idee, la 'teoria della stanza cinese' che postulava che, "programmare un computer digitale può farlo apparire come se comprendesse il linguaggio ma non potrebbe produrre una vera comprensione." ([fonte](https://plato.stanford.edu/entries/chinese-room/)) + - L'etica dell'introduzione di intelligenze artificiali come il "terapeuta" ELIZA nella società fu messa in discussione. + +--- + +Allo stesso tempo, varie scuole di pensiero sull'AI cominciarono a formarsi. Si stabilì una dicotomia tra le pratiche ["scruffy" e "neat AI"](https://wikipedia.org/wiki/Neats_and_scruffies). I laboratori _scruffy_ modificavano i programmi per ore fino a ottenere i risultati desiderati. I laboratori _neat_ "si concentravano sulla logica e sulla risoluzione formale dei problemi". ELIZA e SHRDLU erano sistemi _scruffy_ ben noti. Negli anni '80, con l'emergere della domanda di rendere i sistemi ML riproducibili, l'approccio _neat_ prese gradualmente il sopravvento poiché i suoi risultati sono più spiegabili. + +--- +## Sistemi esperti degli anni '80 + +Man mano che il campo cresceva, il suo beneficio per il business diventava più chiaro, e negli anni '80 proliferarono i 'sistemi esperti'. "I sistemi esperti furono tra le prime forme di software di intelligenza artificiale (AI) veramente di successo." ([fonte](https://wikipedia.org/wiki/Expert_system)). + +Questo tipo di sistema è in realtà _ibrido_, costituito in parte da un motore di regole che definisce i requisiti aziendali, e un motore di inferenza che sfruttava il sistema di regole per dedurre nuovi fatti. + +Quest'era vide anche una crescente attenzione rivolta alle reti neurali. + +--- +## 1987 - 1993: "Chill" dell'AI + +La proliferazione dell'hardware specializzato dei sistemi esperti ebbe l'effetto sfortunato di diventare troppo specializzata. L'ascesa dei personal computer competeva anche con questi grandi, specializzati, sistemi centralizzati. La democratizzazione del calcolo era iniziata, e alla fine spianò la strada all'esplosione moderna dei big data. + +--- +## 1993 - 2011 + +Quest'epoca vide una nuova era per il ML e l'AI per poter risolvere alcuni dei problemi che erano stati causati in precedenza dalla mancanza di dati e potenza di calcolo. La quantità di dati iniziò a crescere rapidamente e a diventare più ampiamente disponibile, nel bene e nel male, soprattutto con l'avvento dello smartphone intorno al 2007. La potenza di calcolo si espanse esponenzialmente, e gli algoritmi si evolvettero di pari passo. Il campo iniziò a maturare man mano che i giorni liberi del passato cominciarono a cristallizzarsi in una vera disciplina. + +--- +## Oggi + +Oggi il machine learning e l'AI toccano quasi ogni parte delle nostre vite. Quest'era richiede una comprensione attenta dei rischi e degli effetti potenziali di questi algoritmi sulle vite umane. Come ha affermato Brad Smith di Microsoft, "La tecnologia dell'informazione solleva questioni che vanno al cuore delle protezioni fondamentali dei diritti umani come la privacy e la libertà di espressione. Queste questioni aumentano la responsabilità delle aziende tecnologiche che creano questi prodotti. A nostro avviso, richiedono anche una regolamentazione governativa ponderata e lo sviluppo di norme sull'uso accettabile" ([fonte](https://www.technologyreview.com/2019/12/18/102365/the-future-of-ais-impact-on-society/)). + +--- + +Resta da vedere cosa riserva il futuro, ma è importante comprendere questi sistemi informatici e il software e gli algoritmi che eseguono. Speriamo che questo curriculum ti aiuti a ottenere una migliore comprensione in modo che tu possa decidere da solo. + +[](https://www.youtube.com/watch?v=mTtDfKgLm54 "La storia del deep learning") +> 🎥 Clicca sull'immagine qui sopra per un video: Yann LeCun discute la storia del deep learning in questa lezione + +--- +## 🚀Sfida + +Approfondisci uno di questi momenti storici e scopri di più sulle persone dietro di essi. Ci sono personaggi affascinanti, e nessuna scoperta scientifica è mai stata creata in un vuoto culturale. Cosa scopri? + +## [Quiz post-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/4/) + +--- +## Revisione e studio autonomo + +Ecco alcuni elementi da guardare e ascoltare: + +[Questo podcast dove Amy Boyd discute l'evoluzione dell'AI](http://runasradio.com/Shows/Show/739) +[](https://www.youtube.com/watch?v=EJt3_bFYKss "La storia dell'IA di Amy Boyd") + +--- + +## Compito + +[Crea una timeline](assignment.md) + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su AI. Sebbene ci sforziamo di garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/1-Introduction/2-history-of-ML/assignment.md b/translations/it/1-Introduction/2-history-of-ML/assignment.md new file mode 100644 index 000000000..252537062 --- /dev/null +++ b/translations/it/1-Introduction/2-history-of-ML/assignment.md @@ -0,0 +1,14 @@ +# Creare una timeline + +## Istruzioni + +Usando [questo repo](https://github.com/Digital-Humanities-Toolkit/timeline-builder), crea una timeline di qualche aspetto della storia degli algoritmi, della matematica, della statistica, dell'AI o del ML, o una combinazione di questi. Puoi concentrarti su una persona, un'idea o un lungo periodo di pensiero. Assicurati di aggiungere elementi multimediali. + +## Rubrica + +| Criteri | Esemplare | Adeguato | Necessita Miglioramenti | +| -------- | -------------------------------------------------- | --------------------------------------- | ---------------------------------------------------------------- | +| | Una timeline pubblicata è presentata come pagina GitHub | Il codice è incompleto e non pubblicato | La timeline è incompleta, non ben ricercata e non pubblicata | + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su intelligenza artificiale. Anche se ci impegniamo per garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua madre dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione umana professionale. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/1-Introduction/3-fairness/README.md b/translations/it/1-Introduction/3-fairness/README.md new file mode 100644 index 000000000..08ddc1abc --- /dev/null +++ b/translations/it/1-Introduction/3-fairness/README.md @@ -0,0 +1,151 @@ +# Costruire soluzioni di Machine Learning con AI responsabile + + +> Sketchnote di [Tomomi Imura](https://www.twitter.com/girlie_mac) + +## [Quiz pre-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/5/) + +## Introduzione + +In questo curriculum, inizierai a scoprire come il machine learning può influenzare e sta influenzando le nostre vite quotidiane. Anche ora, sistemi e modelli sono coinvolti in compiti decisionali quotidiani, come diagnosi sanitarie, approvazioni di prestiti o rilevamento di frodi. Pertanto, è importante che questi modelli funzionino bene per fornire risultati affidabili. Come qualsiasi applicazione software, i sistemi AI possono non soddisfare le aspettative o avere un esito indesiderato. Ecco perché è essenziale essere in grado di comprendere e spiegare il comportamento di un modello AI. + +Immagina cosa può accadere quando i dati che usi per costruire questi modelli mancano di determinate demografie, come razza, genere, opinione politica, religione, o rappresentano queste demografie in modo sproporzionato. E se l'output del modello fosse interpretato in modo da favorire alcune demografie? Quali sono le conseguenze per l'applicazione? Inoltre, cosa succede quando il modello ha un esito negativo e danneggia le persone? Chi è responsabile del comportamento dei sistemi AI? Queste sono alcune delle domande che esploreremo in questo curriculum. + +In questa lezione, tu: + +- Aumenterai la consapevolezza dell'importanza dell'equità nel machine learning e dei danni correlati all'equità. +- Diventerai familiare con la pratica di esplorare casi anomali e scenari insoliti per garantire affidabilità e sicurezza. +- Capirai la necessità di potenziare tutti progettando sistemi inclusivi. +- Esplorerai quanto sia vitale proteggere la privacy e la sicurezza dei dati e delle persone. +- Vedrai l'importanza di avere un approccio a scatola trasparente per spiegare il comportamento dei modelli AI. +- Sarai consapevole di come la responsabilità sia essenziale per costruire fiducia nei sistemi AI. + +## Prerequisito + +Come prerequisito, segui il percorso di apprendimento "Principi di AI Responsabile" e guarda il video qui sotto sull'argomento: + +Scopri di più sull'AI Responsabile seguendo questo [Percorso di Apprendimento](https://docs.microsoft.com/learn/modules/responsible-ai-principles/?WT.mc_id=academic-77952-leestott) + +[](https://youtu.be/dnC8-uUZXSc "Approccio di Microsoft all'AI Responsabile") + +> 🎥 Clicca sull'immagine sopra per un video: Approccio di Microsoft all'AI Responsabile + +## Equità + +I sistemi AI dovrebbero trattare tutti in modo equo ed evitare di influenzare gruppi simili di persone in modi diversi. Ad esempio, quando i sistemi AI forniscono indicazioni su trattamenti medici, domande di prestito o occupazione, dovrebbero fare le stesse raccomandazioni a tutti con sintomi simili, circostanze finanziarie o qualifiche professionali. Ognuno di noi come esseri umani porta con sé pregiudizi ereditati che influenzano le nostre decisioni e azioni. Questi pregiudizi possono essere evidenti nei dati che usiamo per addestrare i sistemi AI. Tale manipolazione può a volte accadere involontariamente. È spesso difficile sapere consapevolmente quando stai introducendo pregiudizi nei dati. + +**"Ingiustizia"** comprende impatti negativi, o "danni", per un gruppo di persone, come quelli definiti in termini di razza, genere, età o stato di disabilità. I principali danni correlati all'equità possono essere classificati come: + +- **Allocazione**, se un genere o un'etnia, ad esempio, è favorita rispetto a un'altra. +- **Qualità del servizio**. Se addestri i dati per uno scenario specifico ma la realtà è molto più complessa, porta a un servizio di scarsa qualità. Ad esempio, un dispenser di sapone per le mani che non riesce a rilevare persone con pelle scura. [Riferimento](https://gizmodo.com/why-cant-this-soap-dispenser-identify-dark-skin-1797931773) +- **Denigrazione**. Criticare e etichettare ingiustamente qualcosa o qualcuno. Ad esempio, una tecnologia di etichettatura delle immagini ha infamemente etichettato erroneamente immagini di persone con pelle scura come gorilla. +- **Sovra- o sotto-rappresentazione**. L'idea è che un certo gruppo non sia visto in una certa professione, e qualsiasi servizio o funzione che continua a promuovere ciò sta contribuendo al danno. +- **Stereotipizzazione**. Associare un determinato gruppo con attributi preassegnati. Ad esempio, un sistema di traduzione linguistica tra inglese e turco può avere inesattezze dovute a parole con associazioni stereotipate al genere. + + +> traduzione in turco + + +> traduzione di ritorno in inglese + +Quando progettiamo e testiamo sistemi AI, dobbiamo garantire che l'AI sia equa e non programmata per prendere decisioni pregiudizievoli o discriminatorie, che anche gli esseri umani sono proibiti dal prendere. Garantire l'equità nell'AI e nel machine learning rimane una sfida socio-tecnica complessa. + +### Affidabilità e sicurezza + +Per costruire fiducia, i sistemi AI devono essere affidabili, sicuri e coerenti in condizioni normali e inattese. È importante sapere come si comporteranno i sistemi AI in una varietà di situazioni, specialmente quando sono anomali. Quando si costruiscono soluzioni AI, è necessario concentrarsi notevolmente su come gestire una vasta gamma di circostanze che le soluzioni AI incontreranno. Ad esempio, un'auto a guida autonoma deve mettere la sicurezza delle persone come priorità assoluta. Di conseguenza, l'AI che alimenta l'auto deve considerare tutti gli scenari possibili che l'auto potrebbe incontrare come notte, temporali o bufere di neve, bambini che attraversano la strada, animali domestici, lavori stradali ecc. Quanto bene un sistema AI può gestire una vasta gamma di condizioni in modo affidabile e sicuro riflette il livello di anticipazione che lo scienziato dei dati o lo sviluppatore AI ha considerato durante la progettazione o il test del sistema. + +> [🎥 Clicca qui per un video: ](https://www.microsoft.com/videoplayer/embed/RE4vvIl) + +### Inclusività + +I sistemi AI dovrebbero essere progettati per coinvolgere e potenziare tutti. Quando progettano e implementano sistemi AI, gli scienziati dei dati e gli sviluppatori AI identificano e affrontano potenziali barriere nel sistema che potrebbero escludere involontariamente le persone. Ad esempio, ci sono 1 miliardo di persone con disabilità in tutto il mondo. Con l'avanzamento dell'AI, possono accedere a una vasta gamma di informazioni e opportunità più facilmente nella loro vita quotidiana. Affrontando le barriere, si creano opportunità per innovare e sviluppare prodotti AI con migliori esperienze che beneficiano tutti. + +> [🎥 Clicca qui per un video: inclusività nell'AI](https://www.microsoft.com/videoplayer/embed/RE4vl9v) + +### Sicurezza e privacy + +I sistemi AI devono essere sicuri e rispettare la privacy delle persone. Le persone hanno meno fiducia nei sistemi che mettono a rischio la loro privacy, le loro informazioni o le loro vite. Quando addestriamo modelli di machine learning, ci affidiamo ai dati per ottenere i migliori risultati. Facendo ciò, è necessario considerare l'origine dei dati e la loro integrità. Ad esempio, i dati sono stati inviati dagli utenti o sono pubblicamente disponibili? Inoltre, mentre si lavora con i dati, è cruciale sviluppare sistemi AI che possano proteggere le informazioni riservate e resistere agli attacchi. Con l'aumento della diffusione dell'AI, proteggere la privacy e garantire la sicurezza delle informazioni personali e aziendali sta diventando sempre più critico e complesso. Le questioni di privacy e sicurezza dei dati richiedono un'attenzione particolarmente attenta per l'AI perché l'accesso ai dati è essenziale per i sistemi AI per fare previsioni e decisioni accurate e informate sulle persone. + +> [🎥 Clicca qui per un video: sicurezza nell'AI](https://www.microsoft.com/videoplayer/embed/RE4voJF) + +- Come industria, abbiamo fatto significativi progressi in Privacy e Sicurezza, alimentati significativamente da regolamenti come il GDPR (Regolamento Generale sulla Protezione dei Dati). +- Tuttavia, con i sistemi AI dobbiamo riconoscere la tensione tra la necessità di più dati personali per rendere i sistemi più personali ed efficaci - e la privacy. +- Proprio come con la nascita dei computer connessi a Internet, stiamo anche vedendo un enorme aumento del numero di problemi di sicurezza legati all'AI. +- Allo stesso tempo, abbiamo visto l'AI essere utilizzata per migliorare la sicurezza. Ad esempio, la maggior parte degli scanner antivirus moderni sono guidati da euristiche AI. +- Dobbiamo garantire che i nostri processi di Data Science si armonizzino con le più recenti pratiche di privacy e sicurezza. + +### Trasparenza + +I sistemi AI devono essere comprensibili. Una parte cruciale della trasparenza è spiegare il comportamento dei sistemi AI e dei loro componenti. Migliorare la comprensione dei sistemi AI richiede che gli stakeholder comprendano come e perché funzionano in modo che possano identificare potenziali problemi di prestazione, preoccupazioni sulla sicurezza e sulla privacy, pregiudizi, pratiche esclusive o risultati indesiderati. Crediamo anche che coloro che usano i sistemi AI debbano essere onesti e trasparenti su quando, perché e come scelgono di utilizzarli. Così come i limiti dei sistemi che utilizzano. Ad esempio, se una banca utilizza un sistema AI per supportare le sue decisioni di prestito ai consumatori, è importante esaminare i risultati e capire quali dati influenzano le raccomandazioni del sistema. I governi stanno iniziando a regolamentare l'AI in vari settori, quindi gli scienziati dei dati e le organizzazioni devono spiegare se un sistema AI soddisfa i requisiti normativi, specialmente quando c'è un risultato indesiderato. + +> [🎥 Clicca qui per un video: trasparenza nell'AI](https://www.microsoft.com/videoplayer/embed/RE4voJF) + +- Poiché i sistemi AI sono così complessi, è difficile capire come funzionano e interpretare i risultati. +- Questa mancanza di comprensione influisce sul modo in cui questi sistemi sono gestiti, operazionalizzati e documentati. +- Questa mancanza di comprensione influisce soprattutto sulle decisioni prese utilizzando i risultati prodotti da questi sistemi. + +### Responsabilità + +Le persone che progettano e implementano sistemi AI devono essere responsabili del modo in cui i loro sistemi operano. La necessità di responsabilità è particolarmente cruciale con tecnologie sensibili come il riconoscimento facciale. Recentemente, c'è stata una crescente domanda di tecnologia di riconoscimento facciale, soprattutto da parte delle organizzazioni di applicazione della legge che vedono il potenziale della tecnologia in usi come la ricerca di bambini scomparsi. Tuttavia, queste tecnologie potrebbero potenzialmente essere utilizzate da un governo per mettere a rischio le libertà fondamentali dei cittadini, ad esempio, consentendo la sorveglianza continua di individui specifici. Pertanto, gli scienziati dei dati e le organizzazioni devono essere responsabili di come il loro sistema AI impatta sugli individui o sulla società. + +[](https://www.youtube.com/watch?v=Wldt8P5V6D0 "Approccio di Microsoft all'AI Responsabile") + +> 🎥 Clicca sull'immagine sopra per un video: Avvertimenti sulla Sorveglianza di Massa Attraverso il Riconoscimento Facciale + +Alla fine, una delle domande più grandi per la nostra generazione, come la prima generazione che sta portando l'AI nella società, è come garantire che i computer rimangano responsabili verso le persone e come garantire che le persone che progettano i computer rimangano responsabili verso tutti gli altri. + +## Valutazione dell'impatto + +Prima di addestrare un modello di machine learning, è importante condurre una valutazione dell'impatto per comprendere lo scopo del sistema AI; qual è l'uso previsto; dove sarà implementato; e chi interagirà con il sistema. Questi sono utili per il revisore o i tester che valutano il sistema per sapere quali fattori considerare quando identificano potenziali rischi e conseguenze attese. + +Le seguenti sono aree di interesse quando si conduce una valutazione dell'impatto: + +* **Impatto negativo sugli individui**. Essere consapevoli di eventuali restrizioni o requisiti, uso non supportato o eventuali limitazioni note che ostacolano le prestazioni del sistema è vitale per garantire che il sistema non venga utilizzato in modo da causare danni agli individui. +* **Requisiti dei dati**. Capire come e dove il sistema utilizzerà i dati consente ai revisori di esplorare eventuali requisiti dei dati di cui bisogna essere consapevoli (ad esempio, regolamenti sui dati GDPR o HIPPA). Inoltre, esaminare se la fonte o la quantità di dati è sufficiente per l'addestramento. +* **Sintesi dell'impatto**. Raccogliere un elenco di potenziali danni che potrebbero derivare dall'uso del sistema. Durante tutto il ciclo di vita del ML, verificare se i problemi identificati sono mitigati o affrontati. +* **Obiettivi applicabili** per ciascuno dei sei principi fondamentali. Valutare se gli obiettivi di ciascun principio sono soddisfatti e se ci sono eventuali lacune. + +## Debugging con AI responsabile + +Simile al debugging di un'applicazione software, il debugging di un sistema AI è un processo necessario per identificare e risolvere i problemi nel sistema. Ci sono molti fattori che potrebbero influenzare un modello che non performa come previsto o in modo responsabile. La maggior parte delle metriche di prestazione dei modelli tradizionali sono aggregati quantitativi delle prestazioni di un modello, che non sono sufficienti per analizzare come un modello viola i principi dell'AI responsabile. Inoltre, un modello di machine learning è una scatola nera che rende difficile capire cosa guida il suo risultato o fornire spiegazioni quando commette un errore. Più avanti in questo corso, impareremo come utilizzare la dashboard AI Responsabile per aiutare a fare debugging dei sistemi AI. La dashboard fornisce uno strumento olistico per gli scienziati dei dati e gli sviluppatori AI per eseguire: + +* **Analisi degli errori**. Per identificare la distribuzione degli errori del modello che può influenzare l'equità o l'affidabilità del sistema. +* **Panoramica del modello**. Per scoprire dove ci sono disparità nelle prestazioni del modello tra i vari gruppi di dati. +* **Analisi dei dati**. Per comprendere la distribuzione dei dati e identificare eventuali pregiudizi nei dati che potrebbero portare a problemi di equità, inclusività e affidabilità. +* **Interpretabilità del modello**. Per capire cosa influenza o influenza le previsioni del modello. Questo aiuta a spiegare il comportamento del modello, che è importante per la trasparenza e la responsabilità. + +## 🚀 Sfida + +Per prevenire i danni fin dall'inizio, dovremmo: + +- avere una diversità di background e prospettive tra le persone che lavorano sui sistemi +- investire in dataset che riflettano la diversità della nostra società +- sviluppare metodi migliori lungo tutto il ciclo di vita del machine learning per rilevare e correggere l'AI responsabile quando si verifica + +Pensa a scenari reali in cui l'inaffidabilità di un modello è evidente nella costruzione e nell'uso del modello. Cos'altro dovremmo considerare? + +## [Quiz post-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/6/) +## Revisione e Autoapprendimento + +In questa lezione, hai appreso alcune basi dei concetti di equità e iniquità nel machine learning. + +Guarda questo workshop per approfondire gli argomenti: + +- Alla ricerca di AI responsabile: portare i principi in pratica di Besmira Nushi, Mehrnoosh Sameki e Amit Sharma + +[](https://www.youtube.com/watch?v=tGgJCrA-MZU "RAI Toolbox: Un framework open-source per costruire AI responsabile") + +> 🎥 Clicca sull'immagine sopra per un video: RAI Toolbox: Un framework open-source per costruire AI responsabile di Besmira Nushi, Mehrnoosh Sameki e Amit Sharma + +Leggi anche: + +- Centro risorse RAI di Microsoft: [Risorse di AI Responsabile – Microsoft AI](https://www.microsoft.com/ai/responsible-ai-resources?activetab=pivot1%3aprimaryr4) + +- Gruppo di ricerca FATE di Microsoft: [FATE: Equità, Responsabilità, Trasparenza ed Etica nell'AI - Microsoft Research](https://www.microsoft.com/research/theme/fate/) + +RAI Toolbox: + +- [Repository GitHub di Responsible AI Toolbox](https://github.com/microsoft/responsible-ai + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su AI. Anche se ci sforziamo di garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione umana professionale. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/1-Introduction/3-fairness/assignment.md b/translations/it/1-Introduction/3-fairness/assignment.md new file mode 100644 index 000000000..dea4bd6e1 --- /dev/null +++ b/translations/it/1-Introduction/3-fairness/assignment.md @@ -0,0 +1,14 @@ +# Esplora il Responsible AI Toolbox + +## Istruzioni + +In questa lezione hai appreso del Responsible AI Toolbox, un "progetto open-source guidato dalla comunità per aiutare i data scientist ad analizzare e migliorare i sistemi di intelligenza artificiale." Per questo compito, esplora uno dei [notebook](https://github.com/microsoft/responsible-ai-toolbox/blob/main/notebooks/responsibleaidashboard/getting-started.ipynb) del RAI Toolbox e riporta le tue scoperte in un documento o in una presentazione. + +## Rubrica + +| Criteri | Esemplare | Adeguato | Da Migliorare | +| ------- | --------- | -------- | ------------- | +| | Viene presentato un documento o una presentazione PowerPoint che discute i sistemi di Fairlearn, il notebook eseguito e le conclusioni tratte dall'esecuzione | Viene presentato un documento senza conclusioni | Non viene presentato alcun documento | + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatizzati basati su AI. Anche se ci sforziamo di garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatizzate possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda la traduzione professionale umana. Non siamo responsabili per eventuali incomprensioni o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/1-Introduction/4-techniques-of-ML/README.md b/translations/it/1-Introduction/4-techniques-of-ML/README.md new file mode 100644 index 000000000..d207da0fe --- /dev/null +++ b/translations/it/1-Introduction/4-techniques-of-ML/README.md @@ -0,0 +1,121 @@ +# Tecniche di Machine Learning + +Il processo di costruzione, utilizzo e mantenimento dei modelli di machine learning e dei dati che utilizzano è molto diverso da molti altri flussi di lavoro di sviluppo. In questa lezione, demistificheremo il processo e delineeremo le principali tecniche che devi conoscere. Imparerai a: + +- Comprendere i processi che stanno alla base del machine learning a un livello alto. +- Esplorare concetti di base come 'modelli', 'predizioni' e 'dati di addestramento'. + +## [Quiz pre-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/7/) + +[](https://youtu.be/4NGM0U2ZSHU "ML per principianti - Tecniche di Machine Learning") + +> 🎥 Clicca sull'immagine sopra per un breve video che illustra questa lezione. + +## Introduzione + +A un livello alto, l'arte di creare processi di machine learning (ML) è composta da diversi passaggi: + +1. **Decidere la domanda**. La maggior parte dei processi ML inizia ponendo una domanda che non può essere risolta da un semplice programma condizionale o da un motore basato su regole. Queste domande spesso ruotano attorno a predizioni basate su una raccolta di dati. +2. **Raccogliere e preparare i dati**. Per poter rispondere alla tua domanda, hai bisogno di dati. La qualità e, a volte, la quantità dei tuoi dati determineranno quanto bene puoi rispondere alla tua domanda iniziale. Visualizzare i dati è un aspetto importante di questa fase. Questa fase include anche la suddivisione dei dati in un gruppo di addestramento e un gruppo di test per costruire un modello. +3. **Scegliere un metodo di addestramento**. A seconda della tua domanda e della natura dei tuoi dati, devi scegliere come vuoi addestrare un modello per riflettere al meglio i tuoi dati e fare predizioni accurate. Questa è la parte del tuo processo ML che richiede competenze specifiche e, spesso, una notevole quantità di sperimentazione. +4. **Addestrare il modello**. Utilizzando i tuoi dati di addestramento, userai vari algoritmi per addestrare un modello a riconoscere schemi nei dati. Il modello potrebbe sfruttare pesi interni che possono essere regolati per privilegiare certe parti dei dati rispetto ad altre per costruire un modello migliore. +5. **Valutare il modello**. Usi dati mai visti prima (i tuoi dati di test) dal tuo set raccolto per vedere come il modello sta performando. +6. **Ottimizzazione dei parametri**. In base alle prestazioni del tuo modello, puoi rifare il processo utilizzando parametri diversi, o variabili, che controllano il comportamento degli algoritmi utilizzati per addestrare il modello. +7. **Predire**. Utilizza nuovi input per testare l'accuratezza del tuo modello. + +## Quale domanda porre + +I computer sono particolarmente abili nello scoprire schemi nascosti nei dati. Questa capacità è molto utile per i ricercatori che hanno domande su un dato dominio che non possono essere facilmente risolte creando un motore basato su regole condizionali. Data un'attività attuariale, per esempio, un data scientist potrebbe essere in grado di costruire regole artigianali sulla mortalità dei fumatori rispetto ai non fumatori. + +Quando molti altri variabili vengono inserite nell'equazione, tuttavia, un modello ML potrebbe risultare più efficiente nel predire i tassi di mortalità futuri basandosi sulla storia sanitaria passata. Un esempio più allegro potrebbe essere fare previsioni meteorologiche per il mese di aprile in una data località basandosi su dati che includono latitudine, longitudine, cambiamenti climatici, prossimità all'oceano, schemi della corrente a getto e altro. + +✅ Questa [presentazione](https://www2.cisl.ucar.edu/sites/default/files/2021-10/0900%20June%2024%20Haupt_0.pdf) sui modelli meteorologici offre una prospettiva storica sull'uso del ML nell'analisi meteorologica. + +## Compiti pre-costruzione + +Prima di iniziare a costruire il tuo modello, ci sono diversi compiti che devi completare. Per testare la tua domanda e formare un'ipotesi basata sulle predizioni di un modello, devi identificare e configurare diversi elementi. + +### Dati + +Per poter rispondere alla tua domanda con una certa sicurezza, hai bisogno di una buona quantità di dati del tipo giusto. Ci sono due cose che devi fare a questo punto: + +- **Raccogliere dati**. Tenendo presente la lezione precedente sull'equità nell'analisi dei dati, raccogli i tuoi dati con cura. Sii consapevole delle fonti di questi dati, di eventuali bias intrinseci che potrebbero avere e documenta la loro origine. +- **Preparare i dati**. Ci sono diversi passaggi nel processo di preparazione dei dati. Potresti dover unire i dati e normalizzarli se provengono da fonti diverse. Puoi migliorare la qualità e la quantità dei dati attraverso vari metodi come convertire stringhe in numeri (come facciamo in [Clustering](../../5-Clustering/1-Visualize/README.md)). Potresti anche generare nuovi dati, basandoti sugli originali (come facciamo in [Classification](../../4-Classification/1-Introduction/README.md)). Puoi pulire e modificare i dati (come faremo prima della lezione sulla [Web App](../../3-Web-App/README.md)). Infine, potresti anche doverli randomizzare e mescolarli, a seconda delle tue tecniche di addestramento. + +✅ Dopo aver raccolto e processato i tuoi dati, prenditi un momento per vedere se la loro forma ti permetterà di affrontare la tua domanda prevista. Potrebbe essere che i dati non performino bene nel tuo compito dato, come scopriamo nelle nostre lezioni di [Clustering](../../5-Clustering/1-Visualize/README.md)! + +### Caratteristiche e Target + +Una [caratteristica](https://www.datasciencecentral.com/profiles/blogs/an-introduction-to-variable-and-feature-selection) è una proprietà misurabile dei tuoi dati. In molti set di dati è espressa come un'intestazione di colonna come 'data', 'dimensione' o 'colore'. La tua variabile caratteristica, solitamente rappresentata come `X` nel codice, rappresenta la variabile di input che verrà utilizzata per addestrare il modello. + +Un target è ciò che stai cercando di predire. Il target solitamente rappresentato come `y` nel codice, rappresenta la risposta alla domanda che stai cercando di fare ai tuoi dati: a dicembre, quale **colore** delle zucche sarà il più economico? a San Francisco, quali quartieri avranno il miglior **prezzo** immobiliare? A volte il target è anche indicato come attributo etichetta. + +### Selezionare la tua variabile caratteristica + +🎓 **Selezione delle caratteristiche ed Estrazione delle caratteristiche** Come fai a sapere quale variabile scegliere quando costruisci un modello? Probabilmente passerai attraverso un processo di selezione delle caratteristiche o estrazione delle caratteristiche per scegliere le variabili giuste per il modello più performante. Tuttavia, non sono la stessa cosa: "L'estrazione delle caratteristiche crea nuove caratteristiche da funzioni delle caratteristiche originali, mentre la selezione delle caratteristiche restituisce un sottoinsieme delle caratteristiche." ([fonte](https://wikipedia.org/wiki/Feature_selection)) + +### Visualizzare i tuoi dati + +Un aspetto importante dell'arsenale del data scientist è il potere di visualizzare i dati utilizzando diverse eccellenti librerie come Seaborn o MatPlotLib. Rappresentare i tuoi dati visivamente potrebbe permetterti di scoprire correlazioni nascoste che puoi sfruttare. Le tue visualizzazioni potrebbero anche aiutarti a scoprire bias o dati sbilanciati (come scopriamo in [Classification](../../4-Classification/2-Classifiers-1/README.md)). + +### Dividere il tuo dataset + +Prima di addestrare, devi dividere il tuo dataset in due o più parti di dimensioni disuguali che rappresentino comunque bene i dati. + +- **Addestramento**. Questa parte del dataset viene adattata al tuo modello per addestrarlo. Questo set costituisce la maggior parte del dataset originale. +- **Test**. Un dataset di test è un gruppo indipendente di dati, spesso raccolti dai dati originali, che usi per confermare le prestazioni del modello costruito. +- **Validazione**. Un set di validazione è un gruppo indipendente più piccolo di esempi che usi per regolare i parametri del modello, o l'architettura, per migliorare il modello. A seconda delle dimensioni dei tuoi dati e della domanda che stai ponendo, potresti non avere bisogno di costruire questo terzo set (come notiamo in [Time Series Forecasting](../../7-TimeSeries/1-Introduction/README.md)). + +## Costruire un modello + +Utilizzando i tuoi dati di addestramento, il tuo obiettivo è costruire un modello, o una rappresentazione statistica dei tuoi dati, utilizzando vari algoritmi per **addestrarlo**. Addestrare un modello lo espone ai dati e gli permette di fare assunzioni sugli schemi percepiti che scopre, valida e accetta o rifiuta. + +### Decidere un metodo di addestramento + +A seconda della tua domanda e della natura dei tuoi dati, sceglierai un metodo per addestrarlo. Scorrendo la [documentazione di Scikit-learn](https://scikit-learn.org/stable/user_guide.html) - che usiamo in questo corso - puoi esplorare molti modi per addestrare un modello. A seconda della tua esperienza, potresti dover provare diversi metodi per costruire il miglior modello. Probabilmente passerai attraverso un processo in cui i data scientist valutano le prestazioni di un modello alimentandolo con dati non visti, controllando l'accuratezza, i bias e altri problemi di degrado della qualità, e selezionando il metodo di addestramento più appropriato per il compito in questione. + +### Addestrare un modello + +Armato dei tuoi dati di addestramento, sei pronto a 'adattarli' per creare un modello. Noterai che in molte librerie ML troverai il codice 'model.fit' - è in questo momento che invii la tua variabile caratteristica come un array di valori (solitamente 'X') e una variabile target (solitamente 'y'). + +### Valutare il modello + +Una volta completato il processo di addestramento (possono essere necessarie molte iterazioni, o 'epoche', per addestrare un grande modello), sarai in grado di valutare la qualità del modello utilizzando dati di test per valutarne le prestazioni. Questi dati sono un sottoinsieme dei dati originali che il modello non ha precedentemente analizzato. Puoi stampare una tabella di metriche sulla qualità del tuo modello. + +🎓 **Adattamento del modello** + +Nel contesto del machine learning, l'adattamento del modello si riferisce all'accuratezza della funzione sottostante del modello mentre tenta di analizzare dati con cui non ha familiarità. + +🎓 **Underfitting** e **overfitting** sono problemi comuni che degradano la qualità del modello, poiché il modello si adatta troppo bene o troppo poco. Questo causa il modello a fare predizioni troppo allineate o troppo poco allineate con i suoi dati di addestramento. Un modello sovradattato predice i dati di addestramento troppo bene perché ha imparato troppo bene i dettagli e il rumore dei dati. Un modello sotto-adattato non è accurato poiché non può analizzare accuratamente né i suoi dati di addestramento né i dati che non ha ancora 'visto'. + + +> Infografica di [Jen Looper](https://twitter.com/jenlooper) + +## Ottimizzazione dei parametri + +Una volta completato l'addestramento iniziale, osserva la qualità del modello e considera di migliorarlo regolando i suoi 'iperparametri'. Leggi di più sul processo [nella documentazione](https://docs.microsoft.com/en-us/azure/machine-learning/how-to-tune-hyperparameters?WT.mc_id=academic-77952-leestott). + +## Predizione + +Questo è il momento in cui puoi utilizzare dati completamente nuovi per testare l'accuratezza del tuo modello. In un contesto ML 'applicato', dove stai costruendo asset web per utilizzare il modello in produzione, questo processo potrebbe coinvolgere la raccolta di input utente (una pressione di un pulsante, per esempio) per impostare una variabile e inviarla al modello per inferenza, o valutazione. + +In queste lezioni, scoprirai come utilizzare questi passaggi per preparare, costruire, testare, valutare e predire - tutti i gesti di un data scientist e altro, mentre progredisci nel tuo viaggio per diventare un ingegnere ML 'full stack'. + +--- + +## 🚀Sfida + +Disegna un diagramma di flusso che rifletta i passaggi di un praticante ML. Dove ti vedi in questo momento nel processo? Dove prevedi che troverai difficoltà? Cosa ti sembra facile? + +## [Quiz post-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/8/) + +## Revisione & Studio Autonomo + +Cerca online interviste con data scientist che discutono del loro lavoro quotidiano. Eccone [una](https://www.youtube.com/watch?v=Z3IjgbbCEfs). + +## Compito + +[Intervista a un data scientist](assignment.md) + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione basati su intelligenza artificiale. Sebbene ci sforziamo di garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua madre dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda la traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/1-Introduction/4-techniques-of-ML/assignment.md b/translations/it/1-Introduction/4-techniques-of-ML/assignment.md new file mode 100644 index 000000000..2e437a124 --- /dev/null +++ b/translations/it/1-Introduction/4-techniques-of-ML/assignment.md @@ -0,0 +1,14 @@ +# Intervista a un data scientist + +## Istruzioni + +Nella tua azienda, in un gruppo di utenti, o tra i tuoi amici o compagni di studio, parla con qualcuno che lavora professionalmente come data scientist. Scrivi un breve articolo (500 parole) sulle loro occupazioni quotidiane. Sono specialisti o lavorano come 'full stack'? + +## Rubrica + +| Criteri | Esemplare | Adeguato | Da migliorare | +| -------- | ------------------------------------------------------------------------------------ | ------------------------------------------------------------------ | --------------------- | +| | Un saggio della lunghezza corretta, con fonti attribuite, presentato come file .doc | Il saggio è attribuito in modo approssimativo o più corto della lunghezza richiesta | Nessun saggio presentato | + +**Avvertenza**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su intelligenza artificiale. Sebbene ci impegniamo per garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/1-Introduction/README.md b/translations/it/1-Introduction/README.md new file mode 100644 index 000000000..79666f902 --- /dev/null +++ b/translations/it/1-Introduction/README.md @@ -0,0 +1,25 @@ +# Introduzione al machine learning + +In questa sezione del curriculum, verranno introdotti i concetti base che stanno alla base del campo del machine learning, cos'è e imparerai la sua storia e le tecniche che i ricercatori usano per lavorarci. Esploriamo insieme questo nuovo mondo del ML! + + +> Foto di Bill Oxford su Unsplash + +### Lezioni + +1. [Introduzione al machine learning](1-intro-to-ML/README.md) +1. [La storia del machine learning e dell'AI](2-history-of-ML/README.md) +1. [Equità e machine learning](3-fairness/README.md) +1. [Tecniche di machine learning](4-techniques-of-ML/README.md) +### Crediti + +"L'introduzione al Machine Learning" è stata scritta con ♥️ da un team di persone tra cui [Muhammad Sakib Khan Inan](https://twitter.com/Sakibinan), [Ornella Altunyan](https://twitter.com/ornelladotcom) e [Jen Looper](https://twitter.com/jenlooper) + +"La storia del Machine Learning" è stata scritta con ♥️ da [Jen Looper](https://twitter.com/jenlooper) e [Amy Boyd](https://twitter.com/AmyKateNicho) + +"Equità e Machine Learning" è stata scritta con ♥️ da [Tomomi Imura](https://twitter.com/girliemac) + +"Tecniche di Machine Learning" è stata scritta con ♥️ da [Jen Looper](https://twitter.com/jenlooper) e [Chris Noring](https://twitter.com/softchris) + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione basati su intelligenza artificiale. Sebbene ci sforziamo di garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o inesattezze. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/2-Regression/1-Tools/README.md b/translations/it/2-Regression/1-Tools/README.md new file mode 100644 index 000000000..ce4ada36b --- /dev/null +++ b/translations/it/2-Regression/1-Tools/README.md @@ -0,0 +1,228 @@ +# Inizia con Python e Scikit-learn per modelli di regressione + + + +> Sketchnote di [Tomomi Imura](https://www.twitter.com/girlie_mac) + +## [Quiz pre-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/9/) + +> ### [Questa lezione è disponibile in R!](../../../../2-Regression/1-Tools/solution/R/lesson_1.html) + +## Introduzione + +In queste quattro lezioni, scoprirai come costruire modelli di regressione. Discuteremo presto a cosa servono. Ma prima di fare qualsiasi cosa, assicurati di avere gli strumenti giusti per iniziare il processo! + +In questa lezione, imparerai come: + +- Configurare il tuo computer per attività di machine learning locale. +- Lavorare con Jupyter notebooks. +- Usare Scikit-learn, inclusa l'installazione. +- Esplorare la regressione lineare con un esercizio pratico. + +## Installazioni e configurazioni + +[](https://youtu.be/-DfeD2k2Kj0 "ML per principianti - Configura i tuoi strumenti per costruire modelli di Machine Learning") + +> 🎥 Clicca sull'immagine sopra per un breve video che ti guida nella configurazione del tuo computer per ML. + +1. **Installa Python**. Assicurati che [Python](https://www.python.org/downloads/) sia installato sul tuo computer. Userai Python per molte attività di data science e machine learning. La maggior parte dei sistemi informatici include già un'installazione di Python. Sono disponibili anche utili [Python Coding Packs](https://code.visualstudio.com/learn/educators/installers?WT.mc_id=academic-77952-leestott) per facilitare la configurazione per alcuni utenti. + + Alcuni utilizzi di Python, tuttavia, richiedono una versione del software, mentre altri ne richiedono una diversa. Per questo motivo, è utile lavorare all'interno di un [ambiente virtuale](https://docs.python.org/3/library/venv.html). + +2. **Installa Visual Studio Code**. Assicurati di avere Visual Studio Code installato sul tuo computer. Segui queste istruzioni per [installare Visual Studio Code](https://code.visualstudio.com/) per l'installazione di base. Userai Python in Visual Studio Code in questo corso, quindi potrebbe essere utile ripassare come [configurare Visual Studio Code](https://docs.microsoft.com/learn/modules/python-install-vscode?WT.mc_id=academic-77952-leestott) per lo sviluppo in Python. + + > Familiarizza con Python lavorando attraverso questa raccolta di [moduli di apprendimento](https://docs.microsoft.com/users/jenlooper-2911/collections/mp1pagggd5qrq7?WT.mc_id=academic-77952-leestott) + > + > [](https://youtu.be/yyQM70vi7V8 "Configura Python con Visual Studio Code") + > + > 🎥 Clicca sull'immagine sopra per un video: usare Python all'interno di VS Code. + +3. **Installa Scikit-learn**, seguendo [queste istruzioni](https://scikit-learn.org/stable/install.html). Poiché devi assicurarti di usare Python 3, si consiglia di usare un ambiente virtuale. Nota, se stai installando questa libreria su un Mac M1, ci sono istruzioni speciali sulla pagina linkata sopra. + +4. **Installa Jupyter Notebook**. Dovrai [installare il pacchetto Jupyter](https://pypi.org/project/jupyter/). + +## Il tuo ambiente di sviluppo ML + +Utilizzerai **notebooks** per sviluppare il tuo codice Python e creare modelli di machine learning. Questo tipo di file è uno strumento comune per i data scientist e possono essere identificati dalla loro estensione `.ipynb`. + +I notebooks sono un ambiente interattivo che permette al sviluppatore di codificare e aggiungere note e scrivere documentazione intorno al codice, il che è molto utile per progetti sperimentali o orientati alla ricerca. + +[](https://youtu.be/7E-jC8FLA2E "ML per principianti - Configura Jupyter Notebooks per iniziare a costruire modelli di regressione") + +> 🎥 Clicca sull'immagine sopra per un breve video che ti guida attraverso questo esercizio. + +### Esercizio - lavorare con un notebook + +In questa cartella, troverai il file _notebook.ipynb_. + +1. Apri _notebook.ipynb_ in Visual Studio Code. + + Un server Jupyter si avvierà con Python 3+. Troverai aree del notebook che possono essere `run`, pezzi di codice. Puoi eseguire un blocco di codice, selezionando l'icona che sembra un pulsante di riproduzione. + +2. Seleziona l'icona `md` e aggiungi un po' di markdown, e il seguente testo **# Benvenuto nel tuo notebook**. + + Successivamente, aggiungi del codice Python. + +3. Scrivi **print('hello notebook')** nel blocco di codice. +4. Seleziona la freccia per eseguire il codice. + + Dovresti vedere la dichiarazione stampata: + + ```output + hello notebook + ``` + + + +Puoi intercalare il tuo codice con commenti per auto-documentare il notebook. + +✅ Pensa per un momento a quanto è diverso l'ambiente di lavoro di uno sviluppatore web rispetto a quello di un data scientist. + +## Iniziare con Scikit-learn + +Ora che Python è configurato nel tuo ambiente locale e ti senti a tuo agio con i Jupyter notebooks, prendiamo confidenza anche con Scikit-learn (pronuncialo `sci` as in `science`). Scikit-learn fornisce una [API estesa](https://scikit-learn.org/stable/modules/classes.html#api-ref) per aiutarti a svolgere compiti di ML. + +Secondo il loro [sito web](https://scikit-learn.org/stable/getting_started.html), "Scikit-learn è una libreria open source di machine learning che supporta l'apprendimento supervisionato e non supervisionato. Fornisce anche vari strumenti per l'adattamento dei modelli, la pre-elaborazione dei dati, la selezione e la valutazione dei modelli e molte altre utilità." + +In questo corso, utilizzerai Scikit-learn e altri strumenti per costruire modelli di machine learning per eseguire quelli che chiamiamo compiti di 'machine learning tradizionale'. Abbiamo deliberatamente evitato le reti neurali e il deep learning, poiché sono meglio trattati nel nostro prossimo curriculum 'AI for Beginners'. + +Scikit-learn rende semplice costruire modelli e valutarli per l'uso. È principalmente focalizzato sull'utilizzo di dati numerici e contiene diversi dataset pronti all'uso come strumenti di apprendimento. Include anche modelli pre-costruiti per gli studenti da provare. Esploriamo il processo di caricamento dei dati preconfezionati e l'uso di un estimatore incorporato per il primo modello di ML con Scikit-learn con alcuni dati di base. + +## Esercizio - il tuo primo notebook con Scikit-learn + +> Questo tutorial è stato ispirato dall'[esempio di regressione lineare](https://scikit-learn.org/stable/auto_examples/linear_model/plot_ols.html#sphx-glr-auto-examples-linear-model-plot-ols-py) sul sito web di Scikit-learn. + +[](https://youtu.be/2xkXL5EUpS0 "ML per principianti - Il tuo primo progetto di regressione lineare in Python") + +> 🎥 Clicca sull'immagine sopra per un breve video che ti guida attraverso questo esercizio. + +Nel file _notebook.ipynb_ associato a questa lezione, cancella tutte le celle premendo l'icona del 'cestino'. + +In questa sezione, lavorerai con un piccolo dataset sul diabete che è integrato in Scikit-learn per scopi didattici. Immagina di voler testare un trattamento per pazienti diabetici. I modelli di Machine Learning potrebbero aiutarti a determinare quali pazienti risponderebbero meglio al trattamento, in base a combinazioni di variabili. Anche un modello di regressione molto semplice, quando visualizzato, potrebbe mostrare informazioni sulle variabili che ti aiuterebbero a organizzare i tuoi studi clinici teorici. + +✅ Esistono molti tipi di metodi di regressione e quale scegli dipende dalla risposta che stai cercando. Se vuoi prevedere l'altezza probabile di una persona di una certa età, useresti la regressione lineare, poiché stai cercando un **valore numerico**. Se sei interessato a scoprire se un tipo di cucina dovrebbe essere considerato vegano o meno, stai cercando un **assegnazione di categoria** quindi useresti la regressione logistica. Imparerai di più sulla regressione logistica più avanti. Pensa un po' a delle domande che puoi fare ai dati e quale di questi metodi sarebbe più appropriato. + +Iniziamo con questo compito. + +### Importa le librerie + +Per questo compito importeremo alcune librerie: + +- **matplotlib**. È uno strumento utile per [grafici](https://matplotlib.org/) e lo useremo per creare un grafico a linee. +- **numpy**. [numpy](https://numpy.org/doc/stable/user/whatisnumpy.html) è una libreria utile per la gestione dei dati numerici in Python. +- **sklearn**. Questa è la libreria [Scikit-learn](https://scikit-learn.org/stable/user_guide.html). + +Importa alcune librerie per aiutarti con i tuoi compiti. + +1. Aggiungi gli import digitando il seguente codice: + + ```python + import matplotlib.pyplot as plt + import numpy as np + from sklearn import datasets, linear_model, model_selection + ``` + + Sopra stai importando `matplotlib`, `numpy` and you are importing `datasets`, `linear_model` and `model_selection` from `sklearn`. `model_selection` is used for splitting data into training and test sets. + +### The diabetes dataset + +The built-in [diabetes dataset](https://scikit-learn.org/stable/datasets/toy_dataset.html#diabetes-dataset) includes 442 samples of data around diabetes, with 10 feature variables, some of which include: + +- age: age in years +- bmi: body mass index +- bp: average blood pressure +- s1 tc: T-Cells (a type of white blood cells) + +✅ This dataset includes the concept of 'sex' as a feature variable important to research around diabetes. Many medical datasets include this type of binary classification. Think a bit about how categorizations such as this might exclude certain parts of a population from treatments. + +Now, load up the X and y data. + +> 🎓 Remember, this is supervised learning, and we need a named 'y' target. + +In a new code cell, load the diabetes dataset by calling `load_diabetes()`. The input `return_X_y=True` signals that `X` will be a data matrix, and `y` sarà il target della regressione. + +2. Aggiungi alcuni comandi di stampa per mostrare la forma della matrice dei dati e il suo primo elemento: + + ```python + X, y = datasets.load_diabetes(return_X_y=True) + print(X.shape) + print(X[0]) + ``` + + Quello che ottieni come risposta è una tupla. Quello che stai facendo è assegnare i primi due valori della tupla a `X` and `y` rispettivamente. Scopri di più [sulle tuple](https://wikipedia.org/wiki/Tuple). + + Puoi vedere che questi dati hanno 442 elementi formati in array di 10 elementi: + + ```text + (442, 10) + [ 0.03807591 0.05068012 0.06169621 0.02187235 -0.0442235 -0.03482076 + -0.04340085 -0.00259226 0.01990842 -0.01764613] + ``` + + ✅ Pensa un po' alla relazione tra i dati e il target della regressione. La regressione lineare prevede relazioni tra la caratteristica X e la variabile target y. Puoi trovare il [target](https://scikit-learn.org/stable/datasets/toy_dataset.html#diabetes-dataset) per il dataset del diabete nella documentazione? Cosa sta dimostrando questo dataset, dato quel target? + +3. Successivamente, seleziona una porzione di questo dataset da tracciare selezionando la 3ª colonna del dataset. Puoi farlo usando il `:` operator to select all rows, and then selecting the 3rd column using the index (2). You can also reshape the data to be a 2D array - as required for plotting - by using `reshape(n_rows, n_columns)`. Se uno dei parametri è -1, la dimensione corrispondente viene calcolata automaticamente. + + ```python + X = X[:, 2] + X = X.reshape((-1,1)) + ``` + + ✅ In qualsiasi momento, stampa i dati per controllarne la forma. + +4. Ora che hai i dati pronti per essere tracciati, puoi vedere se una macchina può aiutare a determinare una divisione logica tra i numeri in questo dataset. Per fare ciò, devi dividere sia i dati (X) che il target (y) in set di test e di addestramento. Scikit-learn ha un modo semplice per farlo; puoi dividere i tuoi dati di test in un punto dato. + + ```python + X_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=0.33) + ``` + +5. Ora sei pronto per addestrare il tuo modello! Carica il modello di regressione lineare e addestralo con i tuoi set di addestramento X e y usando `model.fit()`: + + ```python + model = linear_model.LinearRegression() + model.fit(X_train, y_train) + ``` + + ✅ `model.fit()` is a function you'll see in many ML libraries such as TensorFlow + +5. Then, create a prediction using test data, using the function `predict()`. Questo sarà usato per tracciare la linea tra i gruppi di dati del modello + + ```python + y_pred = model.predict(X_test) + ``` + +6. Ora è il momento di mostrare i dati in un grafico. Matplotlib è uno strumento molto utile per questo compito. Crea un grafico a dispersione di tutti i dati di test X e y, e usa la previsione per tracciare una linea nel punto più appropriato, tra i gruppi di dati del modello. + + ```python + plt.scatter(X_test, y_test, color='black') + plt.plot(X_test, y_pred, color='blue', linewidth=3) + plt.xlabel('Scaled BMIs') + plt.ylabel('Disease Progression') + plt.title('A Graph Plot Showing Diabetes Progression Against BMI') + plt.show() + ``` + +  + + ✅ Pensa un po' a cosa sta succedendo qui. Una linea retta sta attraversando molti piccoli punti di dati, ma cosa sta facendo esattamente? Riesci a vedere come dovresti essere in grado di usare questa linea per prevedere dove un nuovo punto dati non visto dovrebbe adattarsi in relazione all'asse y del grafico? Prova a mettere in parole l'uso pratico di questo modello. + +Congratulazioni, hai costruito il tuo primo modello di regressione lineare, creato una previsione con esso e l'hai visualizzata in un grafico! + +--- +## 🚀Sfida + +Traccia una variabile diversa da questo dataset. Suggerimento: modifica questa linea: `X = X[:,2]`. Dato il target di questo dataset, cosa sei in grado di scoprire sulla progressione del diabete come malattia? +## [Quiz post-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/10/) + +## Revisione & Studio Individuale + +In questo tutorial, hai lavorato con la regressione lineare semplice, piuttosto che con la regressione univariata o multipla. Leggi un po' sulle differenze tra questi metodi, o guarda [questo video](https://www.coursera.org/lecture/quantifying-relationships-regression-models/linear-vs-nonlinear-categorical-variables-ai2Ef) + +Leggi di più sul concetto di regressione e pensa a quali tipi di domande possono essere risposte con questa tecnica. Segui questo [tutorial](https://docs.microsoft.com/learn/modules/train-evaluate-regression-models?WT.mc_id=academic-77952-leestott) per approfondire la tua comprensione. + +## Compito + +[Un dataset diverso](assignment.md) + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su AI. Sebbene ci impegniamo per l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua madre dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda la traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/2-Regression/1-Tools/assignment.md b/translations/it/2-Regression/1-Tools/assignment.md new file mode 100644 index 000000000..45f446038 --- /dev/null +++ b/translations/it/2-Regression/1-Tools/assignment.md @@ -0,0 +1,16 @@ +# Regressione con Scikit-learn + +## Istruzioni + +Dai un'occhiata al [dataset Linnerud](https://scikit-learn.org/stable/modules/generated/sklearn.datasets.load_linnerud.html#sklearn.datasets.load_linnerud) in Scikit-learn. Questo dataset ha diversi [target](https://scikit-learn.org/stable/datasets/toy_dataset.html#linnerrud-dataset): 'Consiste in tre variabili di esercizio (dati) e tre variabili fisiologiche (target) raccolte da venti uomini di mezza età in un club di fitness'. + +Con parole tue, descrivi come creare un modello di Regressione che possa tracciare la relazione tra la circonferenza della vita e quanti sit-up vengono eseguiti. Fai lo stesso per gli altri punti dati in questo dataset. + +## Rubrica + +| Criteri | Esemplare | Adeguato | Bisogno di miglioramento | +| ------------------------------ | ------------------------------------ | ----------------------------- | -------------------------- | +| Invia un paragrafo descrittivo | Viene inviato un paragrafo ben scritto | Vengono inviate alcune frasi | Nessuna descrizione fornita | + +**Avvertenza**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su intelligenza artificiale. Sebbene ci impegniamo per l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o inesattezze. Il documento originale nella sua lingua madre dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali incomprensioni o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/2-Regression/1-Tools/solution/Julia/README.md b/translations/it/2-Regression/1-Tools/solution/Julia/README.md new file mode 100644 index 000000000..b3b9d777c --- /dev/null +++ b/translations/it/2-Regression/1-Tools/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione basati su intelligenza artificiale. Sebbene ci impegniamo per l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua madre dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/2-Regression/2-Data/README.md b/translations/it/2-Regression/2-Data/README.md new file mode 100644 index 000000000..ce18148c2 --- /dev/null +++ b/translations/it/2-Regression/2-Data/README.md @@ -0,0 +1,215 @@ +# Costruisci un modello di regressione usando Scikit-learn: prepara e visualizza i dati + + + +Infografica di [Dasani Madipalli](https://twitter.com/dasani_decoded) + +## [Quiz pre-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/11/) + +> ### [Questa lezione è disponibile in R!](../../../../2-Regression/2-Data/solution/R/lesson_2.html) + +## Introduzione + +Ora che hai a disposizione gli strumenti necessari per iniziare a costruire modelli di machine learning con Scikit-learn, sei pronto per iniziare a fare domande ai tuoi dati. Quando lavori con i dati e applichi soluzioni di ML, è molto importante capire come porre la domanda giusta per sbloccare correttamente il potenziale del tuo dataset. + +In questa lezione imparerai: + +- Come preparare i tuoi dati per la costruzione di modelli. +- Come usare Matplotlib per la visualizzazione dei dati. + +## Porre la domanda giusta ai tuoi dati + +La domanda a cui hai bisogno di rispondere determinerà il tipo di algoritmi di ML che utilizzerai. E la qualità della risposta che ottieni sarà fortemente dipendente dalla natura dei tuoi dati. + +Dai un'occhiata ai [dati](https://github.com/microsoft/ML-For-Beginners/blob/main/2-Regression/data/US-pumpkins.csv) forniti per questa lezione. Puoi aprire questo file .csv in VS Code. Una rapida occhiata mostra subito che ci sono spazi vuoti e un mix di stringhe e dati numerici. C'è anche una colonna strana chiamata 'Package' dove i dati sono un mix tra 'sacks', 'bins' e altri valori. In effetti, i dati sono un po' un disastro. + +[](https://youtu.be/5qGjczWTrDQ "ML per principianti - Come analizzare e pulire un dataset") + +> 🎥 Clicca sull'immagine sopra per un breve video su come preparare i dati per questa lezione. + +In effetti, non è molto comune ricevere un dataset completamente pronto per essere utilizzato per creare un modello di ML. In questa lezione, imparerai come preparare un dataset grezzo usando librerie Python standard. Imparerai anche varie tecniche per visualizzare i dati. + +## Caso di studio: 'il mercato delle zucche' + +In questa cartella troverai un file .csv nella cartella principale `data` chiamato [US-pumpkins.csv](https://github.com/microsoft/ML-For-Beginners/blob/main/2-Regression/data/US-pumpkins.csv) che include 1757 righe di dati sul mercato delle zucche, ordinati per città. Questi sono dati grezzi estratti dai [Rapporti Standard dei Mercati Terminali delle Colture Speciali](https://www.marketnews.usda.gov/mnp/fv-report-config-step1?type=termPrice) distribuiti dal Dipartimento dell'Agricoltura degli Stati Uniti. + +### Preparazione dei dati + +Questi dati sono di dominio pubblico. Possono essere scaricati in molti file separati, per città, dal sito web dell'USDA. Per evitare troppi file separati, abbiamo concatenato tutti i dati delle città in un unico foglio di calcolo, quindi abbiamo già _preparato_ un po' i dati. Ora, diamo un'occhiata più da vicino ai dati. + +### I dati delle zucche - prime conclusioni + +Cosa noti riguardo a questi dati? Hai già visto che c'è un mix di stringhe, numeri, spazi vuoti e valori strani che devi capire. + +Che domanda puoi fare a questi dati, usando una tecnica di Regressione? Che ne dici di "Prevedere il prezzo di una zucca in vendita durante un dato mese". Guardando di nuovo i dati, ci sono alcune modifiche che devi fare per creare la struttura dei dati necessaria per il compito. + +## Esercizio - analizzare i dati delle zucche + +Usiamo [Pandas](https://pandas.pydata.org/), (il nome sta per `Python Data Analysis`) uno strumento molto utile per modellare i dati, per analizzare e preparare questi dati sulle zucche. + +### Prima di tutto, controlla le date mancanti + +Per prima cosa dovrai prendere provvedimenti per controllare le date mancanti: + +1. Converti le date in un formato mensile (queste sono date statunitensi, quindi il formato è `MM/DD/YYYY`). +2. Estrai il mese in una nuova colonna. + +Apri il file _notebook.ipynb_ in Visual Studio Code e importa il foglio di calcolo in un nuovo dataframe Pandas. + +1. Usa la funzione `head()` per visualizzare le prime cinque righe. + + ```python + import pandas as pd + pumpkins = pd.read_csv('../data/US-pumpkins.csv') + pumpkins.head() + ``` + + ✅ Quale funzione useresti per visualizzare le ultime cinque righe? + +1. Controlla se ci sono dati mancanti nel dataframe corrente: + + ```python + pumpkins.isnull().sum() + ``` + + Ci sono dati mancanti, ma forse non sarà importante per il compito in questione. + +1. Per rendere il tuo dataframe più facile da gestire, seleziona solo le colonne di cui hai bisogno, usando `loc` function which extracts from the original dataframe a group of rows (passed as first parameter) and columns (passed as second parameter). The expression `:` nel caso sotto significa "tutte le righe". + + ```python + columns_to_select = ['Package', 'Low Price', 'High Price', 'Date'] + pumpkins = pumpkins.loc[:, columns_to_select] + ``` + +### Secondo, determina il prezzo medio delle zucche + +Pensa a come determinare il prezzo medio di una zucca in un dato mese. Quali colonne sceglieresti per questo compito? Suggerimento: avrai bisogno di 3 colonne. + +Soluzione: prendi la media delle colonne `Low Price` and `High Price` per popolare la nuova colonna Price e converti la colonna Date per mostrare solo il mese. Fortunatamente, secondo il controllo sopra, non ci sono dati mancanti per le date o i prezzi. + +1. Per calcolare la media, aggiungi il seguente codice: + + ```python + price = (pumpkins['Low Price'] + pumpkins['High Price']) / 2 + + month = pd.DatetimeIndex(pumpkins['Date']).month + + ``` + + ✅ Sentiti libero di stampare qualsiasi dato che desideri controllare usando `print(month)`. + +2. Ora, copia i tuoi dati convertiti in un nuovo dataframe Pandas: + + ```python + new_pumpkins = pd.DataFrame({'Month': month, 'Package': pumpkins['Package'], 'Low Price': pumpkins['Low Price'],'High Price': pumpkins['High Price'], 'Price': price}) + ``` + + Stampando il tuo dataframe, vedrai un dataset pulito e ordinato su cui puoi costruire il tuo nuovo modello di regressione. + +### Ma aspetta! C'è qualcosa di strano qui + +Se guardi la colonna `Package` column, pumpkins are sold in many different configurations. Some are sold in '1 1/9 bushel' measures, and some in '1/2 bushel' measures, some per pumpkin, some per pound, and some in big boxes with varying widths. + +> Pumpkins seem very hard to weigh consistently + +Digging into the original data, it's interesting that anything with `Unit of Sale` equalling 'EACH' or 'PER BIN' also have the `Package` type per inch, per bin, or 'each'. Pumpkins seem to be very hard to weigh consistently, so let's filter them by selecting only pumpkins with the string 'bushel' in their `Package`. + +1. Aggiungi un filtro in cima al file, sotto l'importazione iniziale del .csv: + + ```python + pumpkins = pumpkins[pumpkins['Package'].str.contains('bushel', case=True, regex=True)] + ``` + + Se stampi i dati ora, puoi vedere che stai ottenendo solo circa 415 righe di dati contenenti zucche al bushel. + +### Ma aspetta! C'è un'altra cosa da fare + +Hai notato che la quantità di bushel varia per riga? Devi normalizzare i prezzi in modo da mostrare il prezzo per bushel, quindi fai qualche calcolo per standardizzarlo. + +1. Aggiungi queste righe dopo il blocco che crea il dataframe new_pumpkins: + + ```python + new_pumpkins.loc[new_pumpkins['Package'].str.contains('1 1/9'), 'Price'] = price/(1 + 1/9) + + new_pumpkins.loc[new_pumpkins['Package'].str.contains('1/2'), 'Price'] = price/(1/2) + ``` + +✅ Secondo [The Spruce Eats](https://www.thespruceeats.com/how-much-is-a-bushel-1389308), il peso di un bushel dipende dal tipo di prodotto, poiché è una misura di volume. "Un bushel di pomodori, ad esempio, dovrebbe pesare 56 libbre... Le foglie e le verdure occupano più spazio con meno peso, quindi un bushel di spinaci pesa solo 20 libbre." È tutto piuttosto complicato! Non preoccupiamoci di fare una conversione bushel-libbre e invece calcoliamo il prezzo per bushel. Tutto questo studio sui bushel di zucche, tuttavia, dimostra quanto sia importante capire la natura dei tuoi dati! + +Ora, puoi analizzare i prezzi per unità in base alla loro misura di bushel. Se stampi i dati un'altra volta, puoi vedere come sono standardizzati. + +✅ Hai notato che le zucche vendute a mezzo bushel sono molto costose? Riesci a capire perché? Suggerimento: le zucche piccole sono molto più costose di quelle grandi, probabilmente perché ce ne sono molte di più per bushel, dato lo spazio inutilizzato occupato da una grande zucca vuota per torta. + +## Strategie di visualizzazione + +Parte del ruolo del data scientist è dimostrare la qualità e la natura dei dati con cui stanno lavorando. Per fare ciò, spesso creano visualizzazioni interessanti, o grafici, diagrammi e chart, mostrando diversi aspetti dei dati. In questo modo, sono in grado di mostrare visivamente relazioni e lacune che altrimenti sarebbero difficili da scoprire. + +[](https://youtu.be/SbUkxH6IJo0 "ML per principianti - Come visualizzare i dati con Matplotlib") + +> 🎥 Clicca sull'immagine sopra per un breve video su come visualizzare i dati per questa lezione. + +Le visualizzazioni possono anche aiutare a determinare la tecnica di machine learning più appropriata per i dati. Un grafico a dispersione che sembra seguire una linea, ad esempio, indica che i dati sono un buon candidato per un esercizio di regressione lineare. + +Una libreria di visualizzazione dei dati che funziona bene nei notebook Jupyter è [Matplotlib](https://matplotlib.org/) (che hai visto anche nella lezione precedente). + +> Ottieni più esperienza con la visualizzazione dei dati in [questi tutorial](https://docs.microsoft.com/learn/modules/explore-analyze-data-with-python?WT.mc_id=academic-77952-leestott). + +## Esercizio - sperimenta con Matplotlib + +Prova a creare alcuni grafici di base per visualizzare il nuovo dataframe che hai appena creato. Cosa mostrerebbe un grafico a linee di base? + +1. Importa Matplotlib in cima al file, sotto l'importazione di Pandas: + + ```python + import matplotlib.pyplot as plt + ``` + +1. Rilancia l'intero notebook per aggiornare. +1. In fondo al notebook, aggiungi una cella per tracciare i dati come un box: + + ```python + price = new_pumpkins.Price + month = new_pumpkins.Month + plt.scatter(price, month) + plt.show() + ``` + +  + + Questo grafico è utile? C'è qualcosa che ti sorprende? + + Non è particolarmente utile poiché tutto ciò che fa è mostrare i tuoi dati come una distribuzione di punti in un dato mese. + +### Rendilo utile + +Per ottenere grafici che mostrino dati utili, di solito è necessario raggruppare i dati in qualche modo. Proviamo a creare un grafico in cui l'asse y mostra i mesi e i dati dimostrano la distribuzione dei dati. + +1. Aggiungi una cella per creare un grafico a barre raggruppato: + + ```python + new_pumpkins.groupby(['Month'])['Price'].mean().plot(kind='bar') + plt.ylabel("Pumpkin Price") + ``` + +  + + Questa è una visualizzazione dei dati più utile! Sembra indicare che il prezzo più alto delle zucche si verifica a settembre e ottobre. Questo soddisfa le tue aspettative? Perché o perché no? + +--- + +## 🚀Sfida + +Esplora i diversi tipi di visualizzazione che Matplotlib offre. Quali tipi sono più appropriati per i problemi di regressione? + +## [Quiz post-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/12/) + +## Revisione e studio autonomo + +Dai un'occhiata ai molti modi per visualizzare i dati. Fai un elenco delle varie librerie disponibili e annota quali sono le migliori per determinati tipi di compiti, ad esempio visualizzazioni 2D vs. visualizzazioni 3D. Cosa scopri? + +## Compito + +[Esplorazione della visualizzazione](assignment.md) + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione basati su intelligenza artificiale. Sebbene ci impegniamo per l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua madre dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali fraintendimenti o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/2-Regression/2-Data/assignment.md b/translations/it/2-Regression/2-Data/assignment.md new file mode 100644 index 000000000..900782dda --- /dev/null +++ b/translations/it/2-Regression/2-Data/assignment.md @@ -0,0 +1,11 @@ +# Esplorare le Visualizzazioni + +Ci sono diverse librerie disponibili per la visualizzazione dei dati. Crea alcune visualizzazioni utilizzando i dati delle Zucche in questa lezione con matplotlib e seaborn in un notebook di esempio. Quali librerie sono più facili da usare? +## Rubrica + +| Criteri | Esemplare | Adeguato | Da Migliorare | +| ------- | --------- | -------- | ------------- | +| | Viene inviato un notebook con due esplorazioni/visualizzazioni | Viene inviato un notebook con una esplorazione/visualizzazione | Non viene inviato alcun notebook | + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su intelligenza artificiale. Sebbene ci impegniamo per garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua madre deve essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/2-Regression/2-Data/solution/Julia/README.md b/translations/it/2-Regression/2-Data/solution/Julia/README.md new file mode 100644 index 000000000..a547fe188 --- /dev/null +++ b/translations/it/2-Regression/2-Data/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione basati su intelligenza artificiale. Sebbene ci impegniamo per garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione umana professionale. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/2-Regression/3-Linear/README.md b/translations/it/2-Regression/3-Linear/README.md new file mode 100644 index 000000000..65dcf1366 --- /dev/null +++ b/translations/it/2-Regression/3-Linear/README.md @@ -0,0 +1,370 @@ +# Costruire un modello di regressione usando Scikit-learn: quattro modi di fare regressione + + +> Infografica di [Dasani Madipalli](https://twitter.com/dasani_decoded) +## [Quiz pre-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/13/) + +> ### [Questa lezione è disponibile in R!](../../../../2-Regression/3-Linear/solution/R/lesson_3.html) +### Introduzione + +Finora hai esplorato cosa sia la regressione con dati di esempio raccolti dal dataset dei prezzi delle zucche che useremo durante questa lezione. Hai anche visualizzato questi dati usando Matplotlib. + +Ora sei pronto per approfondire la regressione per il Machine Learning. Mentre la visualizzazione ti permette di comprendere i dati, il vero potere del Machine Learning deriva dall'addestramento dei modelli. I modelli vengono addestrati su dati storici per catturare automaticamente le dipendenze dei dati e ti permettono di prevedere i risultati per nuovi dati che il modello non ha mai visto prima. + +In questa lezione, imparerai di più su due tipi di regressione: _regressione lineare di base_ e _regressione polinomiale_, insieme ad alcune delle matematiche sottostanti queste tecniche. Questi modelli ci permetteranno di prevedere i prezzi delle zucche in base a diversi dati di input. + +[](https://youtu.be/CRxFT8oTDMg "ML per principianti - Comprendere la Regressione Lineare") + +> 🎥 Clicca sull'immagine sopra per una breve panoramica sulla regressione lineare. + +> In tutto questo curriculum, assumiamo una conoscenza minima della matematica e cerchiamo di renderla accessibile per gli studenti provenienti da altri campi, quindi presta attenzione alle note, 🧮 callout, diagrammi e altri strumenti di apprendimento per aiutare nella comprensione. + +### Prerequisiti + +Dovresti essere ormai familiare con la struttura dei dati delle zucche che stiamo esaminando. Puoi trovarli pre-caricati e pre-puliti nel file _notebook.ipynb_ di questa lezione. Nel file, il prezzo delle zucche è mostrato per bushel in un nuovo dataframe. Assicurati di poter eseguire questi notebook nei kernel in Visual Studio Code. + +### Preparazione + +Come promemoria, stai caricando questi dati per fare delle domande su di essi. + +- Qual è il momento migliore per comprare zucche? +- Quale prezzo posso aspettarmi per una cassa di zucche in miniatura? +- Dovrei comprarle in cesti da mezzo bushel o in scatole da 1 1/9 bushel? +Continuiamo a scavare in questi dati. + +Nella lezione precedente, hai creato un dataframe Pandas e lo hai popolato con parte del dataset originale, standardizzando i prezzi per bushel. Facendo così, tuttavia, sei riuscito a raccogliere solo circa 400 punti dati e solo per i mesi autunnali. + +Dai un'occhiata ai dati che abbiamo pre-caricato nel notebook allegato a questa lezione. I dati sono pre-caricati e un primo scatterplot è tracciato per mostrare i dati mensili. Forse possiamo ottenere un po' più di dettaglio sulla natura dei dati pulendoli ulteriormente. + +## Una linea di regressione lineare + +Come hai appreso nella Lezione 1, l'obiettivo di un esercizio di regressione lineare è essere in grado di tracciare una linea per: + +- **Mostrare le relazioni tra le variabili**. Mostrare la relazione tra le variabili +- **Fare previsioni**. Fare previsioni accurate su dove un nuovo punto dati cadrebbe in relazione a quella linea. + +È tipico della **Regressione dei Minimi Quadrati** tracciare questo tipo di linea. Il termine 'minimi quadrati' significa che tutti i punti dati che circondano la linea di regressione vengono quadrati e poi sommati. Idealmente, quella somma finale è il più piccola possibile, perché vogliamo un numero basso di errori, o `least-squares`. + +Facciamo così poiché vogliamo modellare una linea che abbia la minima distanza cumulativa da tutti i nostri punti dati. Inoltre, quadratiamo i termini prima di aggiungerli poiché siamo interessati alla loro grandezza piuttosto che alla loro direzione. + +> **🧮 Mostrami la matematica** +> +> Questa linea, chiamata _linea di miglior adattamento_ può essere espressa da [un'equazione](https://en.wikipedia.org/wiki/Simple_linear_regression): +> +> ``` +> Y = a + bX +> ``` +> +> `X` is the 'explanatory variable'. `Y` is the 'dependent variable'. The slope of the line is `b` and `a` is the y-intercept, which refers to the value of `Y` when `X = 0`. +> +> +> +> First, calculate the slope `b`. Infographic by [Jen Looper](https://twitter.com/jenlooper) +> +> In other words, and referring to our pumpkin data's original question: "predict the price of a pumpkin per bushel by month", `X` would refer to the price and `Y` would refer to the month of sale. +> +> +> +> Calculate the value of Y. If you're paying around $4, it must be April! Infographic by [Jen Looper](https://twitter.com/jenlooper) +> +> The math that calculates the line must demonstrate the slope of the line, which is also dependent on the intercept, or where `Y` is situated when `X = 0`. +> +> You can observe the method of calculation for these values on the [Math is Fun](https://www.mathsisfun.com/data/least-squares-regression.html) web site. Also visit [this Least-squares calculator](https://www.mathsisfun.com/data/least-squares-calculator.html) to watch how the numbers' values impact the line. + +## Correlation + +One more term to understand is the **Correlation Coefficient** between given X and Y variables. Using a scatterplot, you can quickly visualize this coefficient. A plot with datapoints scattered in a neat line have high correlation, but a plot with datapoints scattered everywhere between X and Y have a low correlation. + +A good linear regression model will be one that has a high (nearer to 1 than 0) Correlation Coefficient using the Least-Squares Regression method with a line of regression. + +✅ Run the notebook accompanying this lesson and look at the Month to Price scatterplot. Does the data associating Month to Price for pumpkin sales seem to have high or low correlation, according to your visual interpretation of the scatterplot? Does that change if you use more fine-grained measure instead of `Month`, eg. *day of the year* (i.e. number of days since the beginning of the year)? + +In the code below, we will assume that we have cleaned up the data, and obtained a data frame called `new_pumpkins`, similar to the following: + +ID | Month | DayOfYear | Variety | City | Package | Low Price | High Price | Price +---|-------|-----------|---------|------|---------|-----------|------------|------- +70 | 9 | 267 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 15.0 | 15.0 | 13.636364 +71 | 9 | 267 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 18.0 | 18.0 | 16.363636 +72 | 10 | 274 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 18.0 | 18.0 | 16.363636 +73 | 10 | 274 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 17.0 | 17.0 | 15.454545 +74 | 10 | 281 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 15.0 | 15.0 | 13.636364 + +> The code to clean the data is available in [`notebook.ipynb`](../../../../2-Regression/3-Linear/notebook.ipynb). We have performed the same cleaning steps as in the previous lesson, and have calculated `DayOfYear` colonna usando la seguente espressione: + +```python +day_of_year = pd.to_datetime(pumpkins['Date']).apply(lambda dt: (dt-datetime(dt.year,1,1)).days) +``` + +Ora che hai compreso la matematica dietro la regressione lineare, creiamo un modello di Regressione per vedere se possiamo prevedere quale pacchetto di zucche avrà i migliori prezzi delle zucche. Qualcuno che acquista zucche per un campo di zucche per le vacanze potrebbe voler avere questa informazione per ottimizzare i propri acquisti di pacchetti di zucche per il campo. + +## Cercare la Correlazione + +[](https://youtu.be/uoRq-lW2eQo "ML per principianti - Cercare la Correlazione: La Chiave per la Regressione Lineare") + +> 🎥 Clicca sull'immagine sopra per una breve panoramica sulla correlazione. + +Dalla lezione precedente hai probabilmente visto che il prezzo medio per i diversi mesi appare così: + +
+
+Questo suggerisce che ci dovrebbe essere una certa correlazione, e possiamo provare ad addestrare un modello di regressione lineare per prevedere la relazione tra `Month` and `Price`, or between `DayOfYear` and `Price`. Here is the scatter plot that shows the latter relationship:
+
+
+
+Let's see if there is a correlation using the `corr` funzione:
+
+```python
+print(new_pumpkins['Month'].corr(new_pumpkins['Price']))
+print(new_pumpkins['DayOfYear'].corr(new_pumpkins['Price']))
+```
+
+Sembra che la correlazione sia piuttosto bassa, -0.15 da `Month` and -0.17 by the `DayOfMonth`, but there could be another important relationship. It looks like there are different clusters of prices corresponding to different pumpkin varieties. To confirm this hypothesis, let's plot each pumpkin category using a different color. By passing an `ax` parameter to the `scatter` funzione di tracciamento possiamo tracciare tutti i punti sullo stesso grafico:
+
+```python
+ax=None
+colors = ['red','blue','green','yellow']
+for i,var in enumerate(new_pumpkins['Variety'].unique()):
+ df = new_pumpkins[new_pumpkins['Variety']==var]
+ ax = df.plot.scatter('DayOfYear','Price',ax=ax,c=colors[i],label=var)
+```
+
+
+
+La nostra indagine suggerisce che la varietà ha più effetto sul prezzo complessivo rispetto alla data effettiva di vendita. Possiamo vedere questo con un grafico a barre:
+
+```python
+new_pumpkins.groupby('Variety')['Price'].mean().plot(kind='bar')
+```
+
+
+
+Concentriamoci per il momento solo su una varietà di zucca, il 'tipo torta', e vediamo quale effetto ha la data sul prezzo:
+
+```python
+pie_pumpkins = new_pumpkins[new_pumpkins['Variety']=='PIE TYPE']
+pie_pumpkins.plot.scatter('DayOfYear','Price')
+```
+
+
+Se ora calcoliamo la correlazione tra `Price` and `DayOfYear` using `corr` function, we will get something like `-0.27` - il che significa che addestrare un modello predittivo ha senso.
+
+> Prima di addestrare un modello di regressione lineare, è importante assicurarsi che i nostri dati siano puliti. La regressione lineare non funziona bene con valori mancanti, quindi ha senso eliminare tutte le celle vuote:
+
+```python
+pie_pumpkins.dropna(inplace=True)
+pie_pumpkins.info()
+```
+
+Un altro approccio sarebbe riempire quei valori vuoti con valori medi dalla colonna corrispondente.
+
+## Regressione Lineare Semplice
+
+[](https://youtu.be/e4c_UP2fSjg "ML per principianti - Regressione Lineare e Polinomiale usando Scikit-learn")
+
+> 🎥 Clicca sull'immagine sopra per una breve panoramica sulla regressione lineare e polinomiale.
+
+Per addestrare il nostro modello di Regressione Lineare, useremo la libreria **Scikit-learn**.
+
+```python
+from sklearn.linear_model import LinearRegression
+from sklearn.metrics import mean_squared_error
+from sklearn.model_selection import train_test_split
+```
+
+Iniziamo separando i valori di input (caratteristiche) e l'output atteso (etichetta) in array numpy separati:
+
+```python
+X = pie_pumpkins['DayOfYear'].to_numpy().reshape(-1,1)
+y = pie_pumpkins['Price']
+```
+
+> Nota che abbiamo dovuto eseguire `reshape` sui dati di input affinché il pacchetto di Regressione Lineare li comprenda correttamente. La Regressione Lineare si aspetta un array 2D come input, dove ogni riga dell'array corrisponde a un vettore di caratteristiche di input. Nel nostro caso, poiché abbiamo solo un input, abbiamo bisogno di un array con forma N×1, dove N è la dimensione del dataset.
+
+Poi, dobbiamo dividere i dati in dataset di addestramento e di test, in modo da poter validare il nostro modello dopo l'addestramento:
+
+```python
+X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+```
+
+Infine, l'addestramento del vero e proprio modello di Regressione Lineare richiede solo due righe di codice. Definiamo il metodo `LinearRegression` object, and fit it to our data using the `fit`:
+
+```python
+lin_reg = LinearRegression()
+lin_reg.fit(X_train,y_train)
+```
+
+Il `LinearRegression` object after `fit`-ting contains all the coefficients of the regression, which can be accessed using `.coef_` property. In our case, there is just one coefficient, which should be around `-0.017`. It means that prices seem to drop a bit with time, but not too much, around 2 cents per day. We can also access the intersection point of the regression with Y-axis using `lin_reg.intercept_` - it will be around `21` nel nostro caso, indicando il prezzo all'inizio dell'anno.
+
+Per vedere quanto è accurato il nostro modello, possiamo prevedere i prezzi su un dataset di test, e poi misurare quanto le nostre previsioni siano vicine ai valori attesi. Questo può essere fatto usando la metrica dell'errore quadratico medio (MSE), che è la media di tutte le differenze quadrate tra il valore atteso e quello previsto.
+
+```python
+pred = lin_reg.predict(X_test)
+
+mse = np.sqrt(mean_squared_error(y_test,pred))
+print(f'Mean error: {mse:3.3} ({mse/np.mean(pred)*100:3.3}%)')
+```
+
+Il nostro errore sembra essere intorno ai 2 punti, che è ~17%. Non troppo buono. Un altro indicatore della qualità del modello è il **coefficiente di determinazione**, che può essere ottenuto così:
+
+```python
+score = lin_reg.score(X_train,y_train)
+print('Model determination: ', score)
+```
+Se il valore è 0, significa che il modello non tiene conto dei dati di input e agisce come il *peggior predittore lineare*, che è semplicemente un valore medio del risultato. Il valore di 1 significa che possiamo prevedere perfettamente tutti gli output attesi. Nel nostro caso, il coefficiente è intorno a 0.06, che è piuttosto basso.
+
+Possiamo anche tracciare i dati di test insieme alla linea di regressione per vedere meglio come funziona la regressione nel nostro caso:
+
+```python
+plt.scatter(X_test,y_test)
+plt.plot(X_test,pred)
+```
+
+
+
+## Regressione Polinomiale
+
+Un altro tipo di Regressione Lineare è la Regressione Polinomiale. Mentre a volte c'è una relazione lineare tra le variabili - più grande è la zucca in volume, più alto è il prezzo - a volte queste relazioni non possono essere tracciate come un piano o una linea retta.
+
+✅ Ecco [alcuni esempi](https://online.stat.psu.edu/stat501/lesson/9/9.8) di dati che potrebbero usare la Regressione Polinomiale
+
+Dai un'altra occhiata alla relazione tra Data e Prezzo. Questo scatterplot sembra necessariamente essere analizzato con una linea retta? I prezzi non possono fluttuare? In questo caso, puoi provare la regressione polinomiale.
+
+✅ I polinomi sono espressioni matematiche che potrebbero consistere in una o più variabili e coefficienti
+
+La regressione polinomiale crea una linea curva per adattarsi meglio ai dati non lineari. Nel nostro caso, se includiamo una variabile quadrata `DayOfYear` nei dati di input, dovremmo essere in grado di adattare i nostri dati con una curva parabolica, che avrà un minimo in un certo punto dell'anno.
+
+Scikit-learn include una utile [API pipeline](https://scikit-learn.org/stable/modules/generated/sklearn.pipeline.make_pipeline.html?highlight=pipeline#sklearn.pipeline.make_pipeline) per combinare diversi passaggi di elaborazione dei dati insieme. Una **pipeline** è una catena di **stimatori**. Nel nostro caso, creeremo una pipeline che prima aggiunge caratteristiche polinomiali al nostro modello, e poi addestra la regressione:
+
+```python
+from sklearn.preprocessing import PolynomialFeatures
+from sklearn.pipeline import make_pipeline
+
+pipeline = make_pipeline(PolynomialFeatures(2), LinearRegression())
+
+pipeline.fit(X_train,y_train)
+```
+
+Usando `PolynomialFeatures(2)` means that we will include all second-degree polynomials from the input data. In our case it will just mean `DayOfYear`2, but given two input variables X and Y, this will add X2, XY and Y2. We may also use higher degree polynomials if we want.
+
+Pipelines can be used in the same manner as the original `LinearRegression` object, i.e. we can `fit` the pipeline, and then use `predict` to get the prediction results. Here is the graph showing test data, and the approximation curve:
+
+
+
+Using Polynomial Regression, we can get slightly lower MSE and higher determination, but not significantly. We need to take into account other features!
+
+> You can see that the minimal pumpkin prices are observed somewhere around Halloween. How can you explain this?
+
+🎃 Congratulations, you just created a model that can help predict the price of pie pumpkins. You can probably repeat the same procedure for all pumpkin types, but that would be tedious. Let's learn now how to take pumpkin variety into account in our model!
+
+## Categorical Features
+
+In the ideal world, we want to be able to predict prices for different pumpkin varieties using the same model. However, the `Variety` column is somewhat different from columns like `Month`, because it contains non-numeric values. Such columns are called **categorical**.
+
+[](https://youtu.be/DYGliioIAE0 "ML for beginners - Categorical Feature Predictions with Linear Regression")
+
+> 🎥 Click the image above for a short video overview of using categorical features.
+
+Here you can see how average price depends on variety:
+
+
+
+To take variety into account, we first need to convert it to numeric form, or **encode** it. There are several way we can do it:
+
+* Simple **numeric encoding** will build a table of different varieties, and then replace the variety name by an index in that table. This is not the best idea for linear regression, because linear regression takes the actual numeric value of the index, and adds it to the result, multiplying by some coefficient. In our case, the relationship between the index number and the price is clearly non-linear, even if we make sure that indices are ordered in some specific way.
+* **One-hot encoding** will replace the `Variety` column by 4 different columns, one for each variety. Each column will contain `1` if the corresponding row is of a given variety, and `0` altrimenti. Questo significa che ci saranno quattro coefficienti nella regressione lineare, uno per ogni varietà di zucca, responsabile del "prezzo iniziale" (o piuttosto "prezzo aggiuntivo") per quella particolare varietà.
+
+Il codice qui sotto mostra come possiamo codificare una varietà con one-hot encoding:
+
+```python
+pd.get_dummies(new_pumpkins['Variety'])
+```
+
+ ID | FAIRYTALE | MINIATURE | MIXED HEIRLOOM VARIETIES | PIE TYPE
+----|-----------|-----------|--------------------------|----------
+70 | 0 | 0 | 0 | 1
+71 | 0 | 0 | 0 | 1
+... | ... | ... | ... | ...
+1738 | 0 | 1 | 0 | 0
+1739 | 0 | 1 | 0 | 0
+1740 | 0 | 1 | 0 | 0
+1741 | 0 | 1 | 0 | 0
+1742 | 0 | 1 | 0 | 0
+
+Per addestrare la regressione lineare usando la varietà codificata con one-hot come input, dobbiamo solo inizializzare correttamente i dati `X` and `y`:
+
+```python
+X = pd.get_dummies(new_pumpkins['Variety'])
+y = new_pumpkins['Price']
+```
+
+Il resto del codice è lo stesso di quello che abbiamo usato sopra per addestrare la Regressione Lineare. Se lo provi, vedrai che l'errore quadratico medio è più o meno lo stesso, ma otteniamo un coefficiente di determinazione molto più alto (~77%). Per ottenere previsioni ancora più accurate, possiamo tenere conto di più caratteristiche categoriche, così come di caratteristiche numeriche, come `Month` or `DayOfYear`. To get one large array of features, we can use `join`:
+
+```python
+X = pd.get_dummies(new_pumpkins['Variety']) \
+ .join(new_pumpkins['Month']) \
+ .join(pd.get_dummies(new_pumpkins['City'])) \
+ .join(pd.get_dummies(new_pumpkins['Package']))
+y = new_pumpkins['Price']
+```
+
+Qui teniamo anche conto di `City` and `Package` tipo, che ci dà un MSE di 2.84 (10%), e una determinazione di 0.94!
+
+## Mettere tutto insieme
+
+Per fare il miglior modello, possiamo usare dati combinati (categorici codificati con one-hot + numerici) dall'esempio sopra insieme alla Regressione Polinomiale. Ecco il codice completo per tua comodità:
+
+```python
+# set up training data
+X = pd.get_dummies(new_pumpkins['Variety']) \
+ .join(new_pumpkins['Month']) \
+ .join(pd.get_dummies(new_pumpkins['City'])) \
+ .join(pd.get_dummies(new_pumpkins['Package']))
+y = new_pumpkins['Price']
+
+# make train-test split
+X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+
+# setup and train the pipeline
+pipeline = make_pipeline(PolynomialFeatures(2), LinearRegression())
+pipeline.fit(X_train,y_train)
+
+# predict results for test data
+pred = pipeline.predict(X_test)
+
+# calculate MSE and determination
+mse = np.sqrt(mean_squared_error(y_test,pred))
+print(f'Mean error: {mse:3.3} ({mse/np.mean(pred)*100:3.3}%)')
+
+score = pipeline.score(X_train,y_train)
+print('Model determination: ', score)
+```
+
+Questo dovrebbe darci il miglior coefficiente di determinazione di quasi il 97%, e MSE=2.23 (~8% di errore di previsione).
+
+| Modello | MSE | Determinazione |
+|---------|-----|----------------|
+| `DayOfYear` Linear | 2.77 (17.2%) | 0.07 |
+| `DayOfYear` Polynomial | 2.73 (17.0%) | 0.08 |
+| `Variety` Lineare | 5.24 (19.7%) | 0.77 |
+| Tutte le caratteristiche Lineare | 2.84 (10.5%) | 0.94 |
+| Tutte le caratteristiche Polinomiale | 2.23 (8.25%) | 0.97 |
+
+🏆 Ben fatto! Hai creato quattro modelli di Regressione in una lezione e hai migliorato la qualità del modello al 97%. Nell'ultima sezione sulla Regressione, imparerai la Regressione Logistica per determinare le categorie.
+
+---
+## 🚀Sfida
+
+Testa diverse variabili in questo notebook per vedere come la correlazione corrisponde alla precisione del modello.
+
+## [Quiz post-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/14/)
+
+## Revisione e Studio Autonomo
+
+In questa lezione abbiamo imparato la Regressione Lineare. Ci sono altri tipi importanti di Regressione. Leggi delle tecniche Stepwise, Ridge, Lasso e Elasticnet. Un buon corso da seguire per saperne di più è il [corso di Stanford Statistical Learning](https://online.stanford.edu/courses/sohs-ystatslearning-statistical-learning)
+
+## Compito
+
+[Costruisci un Modello](assignment.md)
+
+**Disclaimer**:
+Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su AI. Sebbene ci sforziamo di garantire l'accuratezza, si prega di notare che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione.
\ No newline at end of file
diff --git a/translations/it/2-Regression/3-Linear/assignment.md b/translations/it/2-Regression/3-Linear/assignment.md
new file mode 100644
index 000000000..579c6ec98
--- /dev/null
+++ b/translations/it/2-Regression/3-Linear/assignment.md
@@ -0,0 +1,14 @@
+# Creare un Modello di Regressione
+
+## Istruzioni
+
+In questa lezione ti è stato mostrato come costruire un modello utilizzando sia la Regressione Lineare che quella Polinomiale. Utilizzando queste conoscenze, trova un dataset o usa uno dei set integrati di Scikit-learn per costruire un nuovo modello. Spiega nel tuo notebook perché hai scelto la tecnica che hai utilizzato e dimostra l'accuratezza del tuo modello. Se non è accurato, spiega il perché.
+
+## Rubrica
+
+| Criteri | Esemplare | Adeguato | Da Migliorare |
+| -------- | ------------------------------------------------------------ | --------------------------- | ------------------------------- |
+| | presenta un notebook completo con una soluzione ben documentata | la soluzione è incompleta | la soluzione è difettosa o presenta bug |
+
+**Disclaimer**:
+Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su AI. Sebbene ci sforziamo di garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione umana professionale. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione.
\ No newline at end of file
diff --git a/translations/it/2-Regression/3-Linear/solution/Julia/README.md b/translations/it/2-Regression/3-Linear/solution/Julia/README.md
new file mode 100644
index 000000000..1a7bc4352
--- /dev/null
+++ b/translations/it/2-Regression/3-Linear/solution/Julia/README.md
@@ -0,0 +1,4 @@
+
+
+**Disclaimer**:
+Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su AI. Anche se ci sforziamo di ottenere la massima precisione, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda la traduzione professionale umana. Non siamo responsabili per eventuali fraintendimenti o interpretazioni errate derivanti dall'uso di questa traduzione.
\ No newline at end of file
diff --git a/translations/it/2-Regression/4-Logistic/README.md b/translations/it/2-Regression/4-Logistic/README.md
new file mode 100644
index 000000000..c291dc306
--- /dev/null
+++ b/translations/it/2-Regression/4-Logistic/README.md
@@ -0,0 +1,371 @@
+# Regressione logistica per predire categorie
+
+
+
+## [Quiz pre-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/15/)
+
+> ### [Questa lezione è disponibile in R!](../../../../2-Regression/4-Logistic/solution/R/lesson_4.html)
+
+## Introduzione
+
+In questa ultima lezione sulla Regressione, una delle tecniche di ML _classiche_ di base, esamineremo la Regressione Logistica. Utilizzeresti questa tecnica per scoprire schemi per prevedere categorie binarie. Questa caramella è cioccolato o no? Questa malattia è contagiosa o no? Questo cliente sceglierà questo prodotto o no?
+
+In questa lezione, imparerai:
+
+- Una nuova libreria per la visualizzazione dei dati
+- Tecniche per la regressione logistica
+
+✅ Approfondisci la tua comprensione del lavoro con questo tipo di regressione in questo [modulo di apprendimento](https://docs.microsoft.com/learn/modules/train-evaluate-classification-models?WT.mc_id=academic-77952-leestott)
+
+## Prerequisiti
+
+Avendo lavorato con i dati della zucca, ora siamo abbastanza familiari con essi da capire che c'è una categoria binaria con cui possiamo lavorare: `Color`.
+
+Costruiamo un modello di regressione logistica per prevedere, date alcune variabili, _di che colore è probabile che sia una data zucca_ (arancione 🎃 o bianca 👻).
+
+> Perché stiamo parlando di classificazione binaria in una lezione raggruppata sulla regressione? Solo per convenienza linguistica, poiché la regressione logistica è [in realtà un metodo di classificazione](https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression), sebbene basato su un modello lineare. Impara altri modi per classificare i dati nel prossimo gruppo di lezioni.
+
+## Definire la domanda
+
+Per i nostri scopi, esprimeremo questo come un binario: 'Bianco' o 'Non Bianco'. C'è anche una categoria 'a strisce' nel nostro dataset, ma ci sono pochi casi, quindi non la useremo. Scompare comunque una volta rimosse le nullità dal dataset.
+
+> 🎃 Curiosità, a volte chiamiamo le zucche bianche 'zucche fantasma'. Non sono molto facili da intagliare, quindi non sono popolari come quelle arancioni, ma hanno un aspetto interessante! Quindi potremmo anche riformulare la nostra domanda come: 'Fantasma' o 'Non Fantasma'. 👻
+
+## Sulla regressione logistica
+
+La regressione logistica differisce dalla regressione lineare, di cui hai già appreso, in alcuni modi importanti.
+
+[](https://youtu.be/KpeCT6nEpBY "ML per principianti - Comprendere la Regressione Logistica per la Classificazione del Machine Learning")
+
+> 🎥 Clicca sull'immagine sopra per una breve panoramica sulla regressione logistica.
+
+### Classificazione binaria
+
+La regressione logistica non offre le stesse funzionalità della regressione lineare. La prima offre una previsione su una categoria binaria ("bianco o non bianco") mentre la seconda è in grado di prevedere valori continui, ad esempio data l'origine di una zucca e il tempo del raccolto, _quanto aumenterà il suo prezzo_.
+
+
+> Infografica di [Dasani Madipalli](https://twitter.com/dasani_decoded)
+
+### Altre classificazioni
+
+Ci sono altri tipi di regressione logistica, inclusi multinomiale e ordinale:
+
+- **Multinomiale**, che implica avere più di una categoria - "Arancione, Bianco e a Strisce".
+- **Ordinale**, che implica categorie ordinate, utile se volessimo ordinare i nostri risultati in modo logico, come le nostre zucche ordinate per un numero finito di dimensioni (mini, sm, med, lg, xl, xxl).
+
+
+
+### Le variabili NON devono correlare
+
+Ricordi come la regressione lineare funzionava meglio con variabili più correlate? La regressione logistica è l'opposto - le variabili non devono allinearsi. Questo funziona per questi dati che hanno correlazioni piuttosto deboli.
+
+### Hai bisogno di molti dati puliti
+
+La regressione logistica darà risultati più accurati se usi più dati; il nostro piccolo dataset non è ottimale per questo compito, quindi tienilo a mente.
+
+[](https://youtu.be/B2X4H9vcXTs "ML per principianti - Analisi e Preparazione dei Dati per la Regressione Logistica")
+
+> 🎥 Clicca sull'immagine sopra per una breve panoramica sulla preparazione dei dati per la regressione lineare
+
+✅ Pensa ai tipi di dati che si presterebbero bene alla regressione logistica
+
+## Esercizio - pulire i dati
+
+Per prima cosa, pulisci un po' i dati, eliminando i valori nulli e selezionando solo alcune delle colonne:
+
+1. Aggiungi il seguente codice:
+
+ ```python
+
+ columns_to_select = ['City Name','Package','Variety', 'Origin','Item Size', 'Color']
+ pumpkins = full_pumpkins.loc[:, columns_to_select]
+
+ pumpkins.dropna(inplace=True)
+ ```
+
+ Puoi sempre dare un'occhiata al tuo nuovo dataframe:
+
+ ```python
+ pumpkins.info
+ ```
+
+### Visualizzazione - grafico categorico
+
+A questo punto hai caricato il [notebook iniziale](../../../../2-Regression/4-Logistic/notebook.ipynb) con i dati delle zucche ancora una volta e li hai puliti in modo da preservare un dataset contenente alcune variabili, inclusa `Color`. Visualizziamo il dataframe nel notebook usando una libreria diversa: [Seaborn](https://seaborn.pydata.org/index.html), che è costruita su Matplotlib che abbiamo usato in precedenza.
+
+Seaborn offre modi interessanti per visualizzare i tuoi dati. Ad esempio, puoi confrontare le distribuzioni dei dati per ogni `Variety` e `Color` in un grafico categorico.
+
+1. Crea un tale grafico usando `catplot` function, using our pumpkin data `pumpkins`, specificando una mappatura dei colori per ogni categoria di zucca (arancione o bianca):
+
+ ```python
+ import seaborn as sns
+
+ palette = {
+ 'ORANGE': 'orange',
+ 'WHITE': 'wheat',
+ }
+
+ sns.catplot(
+ data=pumpkins, y="Variety", hue="Color", kind="count",
+ palette=palette,
+ )
+ ```
+
+ 
+
+ Osservando i dati, puoi vedere come i dati di Colore si relazionano a Variety.
+
+ ✅ Data questa trama categorica, quali sono alcune esplorazioni interessanti che puoi immaginare?
+
+### Pre-elaborazione dei dati: codifica delle caratteristiche e delle etichette
+Il nostro dataset di zucche contiene valori stringa per tutte le sue colonne. Lavorare con dati categorici è intuitivo per gli esseri umani ma non per le macchine. Gli algoritmi di machine learning funzionano bene con i numeri. Ecco perché la codifica è un passaggio molto importante nella fase di pre-elaborazione dei dati, poiché ci consente di trasformare i dati categorici in dati numerici, senza perdere alcuna informazione. Una buona codifica porta alla costruzione di un buon modello.
+
+Per la codifica delle caratteristiche ci sono due principali tipi di encoder:
+
+1. Encoder ordinale: si adatta bene alle variabili ordinali, che sono variabili categoriche in cui i loro dati seguono un ordine logico, come la colonna `Item Size` nel nostro dataset. Crea una mappatura tale che ogni categoria sia rappresentata da un numero, che è l'ordine della categoria nella colonna.
+
+ ```python
+ from sklearn.preprocessing import OrdinalEncoder
+
+ item_size_categories = [['sml', 'med', 'med-lge', 'lge', 'xlge', 'jbo', 'exjbo']]
+ ordinal_features = ['Item Size']
+ ordinal_encoder = OrdinalEncoder(categories=item_size_categories)
+ ```
+
+2. Encoder categorico: si adatta bene alle variabili nominali, che sono variabili categoriche in cui i loro dati non seguono un ordine logico, come tutte le caratteristiche diverse da `Item Size` nel nostro dataset. È una codifica one-hot, il che significa che ogni categoria è rappresentata da una colonna binaria: la variabile codificata è uguale a 1 se la zucca appartiene a quella Variety e 0 altrimenti.
+
+ ```python
+ from sklearn.preprocessing import OneHotEncoder
+
+ categorical_features = ['City Name', 'Package', 'Variety', 'Origin']
+ categorical_encoder = OneHotEncoder(sparse_output=False)
+ ```
+Quindi, `ColumnTransformer` viene utilizzato per combinare più encoder in un unico passaggio e applicarli alle colonne appropriate.
+
+```python
+ from sklearn.compose import ColumnTransformer
+
+ ct = ColumnTransformer(transformers=[
+ ('ord', ordinal_encoder, ordinal_features),
+ ('cat', categorical_encoder, categorical_features)
+ ])
+
+ ct.set_output(transform='pandas')
+ encoded_features = ct.fit_transform(pumpkins)
+```
+D'altra parte, per codificare l'etichetta, utilizziamo la classe `LabelEncoder` di scikit-learn, che è una classe di utilità per aiutare a normalizzare le etichette in modo che contengano solo valori tra 0 e n_classi-1 (qui, 0 e 1).
+
+```python
+ from sklearn.preprocessing import LabelEncoder
+
+ label_encoder = LabelEncoder()
+ encoded_label = label_encoder.fit_transform(pumpkins['Color'])
+```
+Una volta codificate le caratteristiche e l'etichetta, possiamo unirle in un nuovo dataframe `encoded_pumpkins`.
+
+```python
+ encoded_pumpkins = encoded_features.assign(Color=encoded_label)
+```
+✅ Quali sono i vantaggi dell'utilizzo di un encoder ordinale per la colonna `Item Size` column?
+
+### Analyse relationships between variables
+
+Now that we have pre-processed our data, we can analyse the relationships between the features and the label to grasp an idea of how well the model will be able to predict the label given the features.
+The best way to perform this kind of analysis is plotting the data. We'll be using again the Seaborn `catplot` function, to visualize the relationships between `Item Size`, `Variety` e `Color` in un grafico categorico. Per meglio rappresentare i dati utilizzeremo la colonna codificata `Item Size` column and the unencoded `Variety`.
+
+```python
+ palette = {
+ 'ORANGE': 'orange',
+ 'WHITE': 'wheat',
+ }
+ pumpkins['Item Size'] = encoded_pumpkins['ord__Item Size']
+
+ g = sns.catplot(
+ data=pumpkins,
+ x="Item Size", y="Color", row='Variety',
+ kind="box", orient="h",
+ sharex=False, margin_titles=True,
+ height=1.8, aspect=4, palette=palette,
+ )
+ g.set(xlabel="Item Size", ylabel="").set(xlim=(0,6))
+ g.set_titles(row_template="{row_name}")
+```
+
+
+### Utilizza un grafico a sciame
+
+Poiché Color è una categoria binaria (Bianco o Non Bianco), necessita di 'un [approccio specializzato](https://seaborn.pydata.org/tutorial/categorical.html?highlight=bar) per la visualizzazione'. Ci sono altri modi per visualizzare la relazione di questa categoria con altre variabili.
+
+Puoi visualizzare le variabili fianco a fianco con i grafici di Seaborn.
+
+1. Prova un grafico a 'sciame' per mostrare la distribuzione dei valori:
+
+ ```python
+ palette = {
+ 0: 'orange',
+ 1: 'wheat'
+ }
+ sns.swarmplot(x="Color", y="ord__Item Size", data=encoded_pumpkins, palette=palette)
+ ```
+
+ 
+
+**Attenzione**: il codice sopra potrebbe generare un avviso, poiché Seaborn non riesce a rappresentare una tale quantità di punti dati in un grafico a sciame. Una possibile soluzione è ridurre la dimensione del marcatore, utilizzando il parametro 'size'. Tuttavia, tieni presente che ciò influisce sulla leggibilità del grafico.
+
+
+> **🧮 Mostrami la Matematica**
+>
+> La regressione logistica si basa sul concetto di 'massima verosimiglianza' utilizzando [funzioni sigmoidi](https://wikipedia.org/wiki/Sigmoid_function). Una 'Funzione Sigmoide' su un grafico appare come una forma a 'S'. Prende un valore e lo mappa tra 0 e 1. La sua curva è anche chiamata 'curva logistica'. La sua formula appare così:
+>
+> 
+>
+> dove il punto medio della sigmoide si trova nel punto 0 di x, L è il valore massimo della curva, e k è la pendenza della curva. Se il risultato della funzione è superiore a 0.5, l'etichetta in questione verrà assegnata alla classe '1' della scelta binaria. In caso contrario, sarà classificata come '0'.
+
+## Costruisci il tuo modello
+
+Costruire un modello per trovare queste classificazioni binarie è sorprendentemente semplice in Scikit-learn.
+
+[](https://youtu.be/MmZS2otPrQ8 "ML per principianti - Regressione Logistica per la classificazione dei dati")
+
+> 🎥 Clicca sull'immagine sopra per una breve panoramica sulla costruzione di un modello di regressione lineare
+
+1. Seleziona le variabili che vuoi utilizzare nel tuo modello di classificazione e dividi i set di addestramento e test chiamando `train_test_split()`:
+
+ ```python
+ from sklearn.model_selection import train_test_split
+
+ X = encoded_pumpkins[encoded_pumpkins.columns.difference(['Color'])]
+ y = encoded_pumpkins['Color']
+
+ X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+
+ ```
+
+2. Ora puoi addestrare il tuo modello, chiamando `fit()` con i tuoi dati di addestramento, e stampare il suo risultato:
+
+ ```python
+ from sklearn.metrics import f1_score, classification_report
+ from sklearn.linear_model import LogisticRegression
+
+ model = LogisticRegression()
+ model.fit(X_train, y_train)
+ predictions = model.predict(X_test)
+
+ print(classification_report(y_test, predictions))
+ print('Predicted labels: ', predictions)
+ print('F1-score: ', f1_score(y_test, predictions))
+ ```
+
+ Dai un'occhiata al punteggio del tuo modello. Non è male, considerando che hai solo circa 1000 righe di dati:
+
+ ```output
+ precision recall f1-score support
+
+ 0 0.94 0.98 0.96 166
+ 1 0.85 0.67 0.75 33
+
+ accuracy 0.92 199
+ macro avg 0.89 0.82 0.85 199
+ weighted avg 0.92 0.92 0.92 199
+
+ Predicted labels: [0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 0
+ 0 0 0 0 0 1 0 1 0 0 1 0 0 0 0 0 1 0 1 0 1 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0
+ 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 1 0 0 0 0 0 0 0 1 0
+ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 1 1 0
+ 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1
+ 0 0 0 1 0 0 0 0 0 0 0 0 1 1]
+ F1-score: 0.7457627118644068
+ ```
+
+## Migliore comprensione tramite una matrice di confusione
+
+Sebbene tu possa ottenere un rapporto sul punteggio [termini](https://scikit-learn.org/stable/modules/generated/sklearn.metrics.classification_report.html?highlight=classification_report#sklearn.metrics.classification_report) stampando gli elementi sopra, potresti riuscire a comprendere meglio il tuo modello utilizzando una [matrice di confusione](https://scikit-learn.org/stable/modules/model_evaluation.html#confusion-matrix) per aiutarci a capire come sta performando il modello.
+
+> 🎓 Una '[matrice di confusione](https://wikipedia.org/wiki/Confusion_matrix)' (o 'matrice degli errori') è una tabella che esprime i veri vs. falsi positivi e negativi del tuo modello, valutando così l'accuratezza delle previsioni.
+
+1. Per utilizzare una matrice di confusione, chiama `confusion_matrix()`:
+
+ ```python
+ from sklearn.metrics import confusion_matrix
+ confusion_matrix(y_test, predictions)
+ ```
+
+ Dai un'occhiata alla matrice di confusione del tuo modello:
+
+ ```output
+ array([[162, 4],
+ [ 11, 22]])
+ ```
+
+In Scikit-learn, le righe delle matrici di confusione (asse 0) sono etichette reali e le colonne (asse 1) sono etichette previste.
+
+| | 0 | 1 |
+| :---: | :---: | :---: |
+| 0 | TN | FP |
+| 1 | FN | TP |
+
+Cosa sta succedendo qui? Supponiamo che il nostro modello sia chiamato a classificare le zucche tra due categorie binarie, categoria 'bianco' e categoria 'non-bianco'.
+
+- Se il tuo modello prevede una zucca come non bianca e appartiene alla categoria 'non-bianco' in realtà, la chiamiamo un vero negativo, mostrato dal numero in alto a sinistra.
+- Se il tuo modello prevede una zucca come bianca e appartiene alla categoria 'non-bianco' in realtà, la chiamiamo un falso negativo, mostrato dal numero in basso a sinistra.
+- Se il tuo modello prevede una zucca come non bianca e appartiene alla categoria 'bianco' in realtà, la chiamiamo un falso positivo, mostrato dal numero in alto a destra.
+- Se il tuo modello prevede una zucca come bianca e appartiene alla categoria 'bianco' in realtà, la chiamiamo un vero positivo, mostrato dal numero in basso a destra.
+
+Come avrai intuito, è preferibile avere un numero maggiore di veri positivi e veri negativi e un numero inferiore di falsi positivi e falsi negativi, il che implica che il modello performa meglio.
+
+Come si relaziona la matrice di confusione con la precisione e il richiamo? Ricorda, il rapporto di classificazione stampato sopra ha mostrato precisione (0.85) e richiamo (0.67).
+
+Precisione = tp / (tp + fp) = 22 / (22 + 4) = 0.8461538461538461
+
+Richiamo = tp / (tp + fn) = 22 / (22 + 11) = 0.6666666666666666
+
+✅ Q: Secondo la matrice di confusione, come ha fatto il modello? A: Non male; ci sono un buon numero di veri negativi ma anche alcuni falsi negativi.
+
+Rivediamo i termini che abbiamo visto in precedenza con l'aiuto della mappatura della matrice di confusione di TP/TN e FP/FN:
+
+🎓 Precisione: TP/(TP + FP) La frazione di istanze rilevanti tra le istanze recuperate (ad esempio quali etichette erano ben etichettate)
+
+🎓 Richiamo: TP/(TP + FN) La frazione di istanze rilevanti che sono state recuperate, che siano ben etichettate o meno
+
+🎓 f1-score: (2 * precision * recall)/(precision + recall) Una media ponderata della precisione e del richiamo, con il migliore essendo 1 e il peggiore essendo 0
+
+🎓 Supporto: Il numero di occorrenze di ciascuna etichetta recuperata
+
+🎓 Accuratezza: (TP + TN)/(TP + TN + FP + FN) La percentuale di etichette previste accuratamente per un campione.
+
+🎓 Macro Avg: Il calcolo delle metriche medie non ponderate per ciascuna etichetta, senza tenere conto dello squilibrio delle etichette.
+
+🎓 Weighted Avg: Il calcolo delle metriche medie per ciascuna etichetta, tenendo conto dello squilibrio delle etichette ponderandole in base al loro supporto (il numero di istanze vere per ciascuna etichetta).
+
+✅ Riesci a pensare a quale metrica dovresti guardare se vuoi che il tuo modello riduca il numero di falsi negativi?
+
+## Visualizza la curva ROC di questo modello
+
+[](https://youtu.be/GApO575jTA0 "ML per principianti - Analisi delle Prestazioni della Regressione Logistica con le Curve ROC")
+
+> 🎥 Clicca sull'immagine sopra per una breve panoramica sulle curve ROC
+
+Facciamo un'ultima visualizzazione per vedere la cosiddetta curva 'ROC':
+
+```python
+from sklearn.metrics import roc_curve, roc_auc_score
+import matplotlib
+import matplotlib.pyplot as plt
+%matplotlib inline
+
+y_scores = model.predict_proba(X_test)
+fpr, tpr, thresholds = roc_curve(y_test, y_scores[:,1])
+
+fig = plt.figure(figsize=(6, 6))
+plt.plot([0, 1], [0, 1], 'k--')
+plt.plot(fpr, tpr)
+plt.xlabel('False Positive Rate')
+plt.ylabel('True Positive Rate')
+plt.title('ROC Curve')
+plt.show()
+```
+
+Usando Matplotlib, traccia la [Curva di Ricezione Operativa](https://scikit-learn.org/stable/auto_examples/model
+
+**Disclaimer**:
+Questo documento è stato tradotto utilizzando servizi di traduzione automatizzati basati su intelligenza artificiale. Sebbene ci impegniamo per garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatizzate possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda la traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione.
\ No newline at end of file
diff --git a/translations/it/2-Regression/4-Logistic/assignment.md b/translations/it/2-Regression/4-Logistic/assignment.md
new file mode 100644
index 000000000..b75f9bff7
--- /dev/null
+++ b/translations/it/2-Regression/4-Logistic/assignment.md
@@ -0,0 +1,13 @@
+# Riprovare una Regressione
+
+## Istruzioni
+
+Nella lezione, hai utilizzato un sottoinsieme dei dati sulle zucche. Ora, torna ai dati originali e prova a usarli tutti, puliti e standardizzati, per costruire un modello di Regressione Logistica.
+## Rubrica
+
+| Criteri | Esemplare | Adeguato | Da Migliorare |
+| -------- | ----------------------------------------------------------------------- | ------------------------------------------------------------- | ----------------------------------------------------------- |
+| | Viene presentato un notebook con un modello ben spiegato e performante | Viene presentato un notebook con un modello che performa minimamente | Viene presentato un notebook con un modello sotto-performante o nessuno |
+
+**Disclaimer**:
+Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su AI. Anche se ci sforziamo di garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione umana professionale. Non siamo responsabili per eventuali fraintendimenti o interpretazioni errate derivanti dall'uso di questa traduzione.
\ No newline at end of file
diff --git a/translations/it/2-Regression/4-Logistic/solution/Julia/README.md b/translations/it/2-Regression/4-Logistic/solution/Julia/README.md
new file mode 100644
index 000000000..e97b5ec66
--- /dev/null
+++ b/translations/it/2-Regression/4-Logistic/solution/Julia/README.md
@@ -0,0 +1,4 @@
+
+
+**Disclaimer**:
+Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su AI. Anche se ci impegniamo per l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua madre dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione umana professionale. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione.
\ No newline at end of file
diff --git a/translations/it/2-Regression/README.md b/translations/it/2-Regression/README.md
new file mode 100644
index 000000000..4700801e7
--- /dev/null
+++ b/translations/it/2-Regression/README.md
@@ -0,0 +1,43 @@
+# Modelli di regressione per il machine learning
+## Argomento regionale: Modelli di regressione per i prezzi delle zucche in Nord America 🎃
+
+In Nord America, le zucche vengono spesso intagliate in volti spaventosi per Halloween. Scopriamo di più su questi affascinanti ortaggi!
+
+
+> Foto di Beth Teutschmann su Unsplash
+
+## Cosa imparerai
+
+[](https://youtu.be/5QnJtDad4iQ "Video introduttivo sulla Regressione - Clicca per guardare!")
+> 🎥 Clicca sull'immagine sopra per un breve video introduttivo a questa lezione
+
+Le lezioni in questa sezione coprono i tipi di regressione nel contesto del machine learning. I modelli di regressione possono aiutare a determinare la _relazione_ tra variabili. Questo tipo di modello può prevedere valori come lunghezza, temperatura o età, rivelando così le relazioni tra le variabili mentre analizza i punti dati.
+
+In questa serie di lezioni, scoprirai le differenze tra la regressione lineare e quella logistica, e quando preferire l'una rispetto all'altra.
+
+[](https://youtu.be/XA3OaoW86R8 "ML per principianti - Introduzione ai modelli di regressione per il Machine Learning")
+
+> 🎥 Clicca sull'immagine sopra per un breve video che introduce i modelli di regressione.
+
+In questo gruppo di lezioni, ti preparerai per iniziare i compiti di machine learning, incluso configurare Visual Studio Code per gestire i notebook, l'ambiente comune per i data scientist. Scoprirai Scikit-learn, una libreria per il machine learning, e costruirai i tuoi primi modelli, concentrandoti sui modelli di regressione in questo capitolo.
+
+> Esistono utili strumenti low-code che possono aiutarti a imparare a lavorare con i modelli di regressione. Prova [Azure ML per questo compito](https://docs.microsoft.com/learn/modules/create-regression-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott)
+
+### Lezioni
+
+1. [Strumenti del mestiere](1-Tools/README.md)
+2. [Gestione dei dati](2-Data/README.md)
+3. [Regressione lineare e polinomiale](3-Linear/README.md)
+4. [Regressione logistica](4-Logistic/README.md)
+
+---
+### Crediti
+
+"ML con la regressione" è stato scritto con ♥️ da [Jen Looper](https://twitter.com/jenlooper)
+
+♥️ I contributori ai quiz includono: [Muhammad Sakib Khan Inan](https://twitter.com/Sakibinan) e [Ornella Altunyan](https://twitter.com/ornelladotcom)
+
+Il dataset delle zucche è suggerito da [questo progetto su Kaggle](https://www.kaggle.com/usda/a-year-of-pumpkin-prices) e i suoi dati provengono dai [Rapporti standard dei mercati terminali delle colture speciali](https://www.marketnews.usda.gov/mnp/fv-report-config-step1?type=termPrice) distribuiti dal Dipartimento dell'Agricoltura degli Stati Uniti. Abbiamo aggiunto alcuni punti relativi al colore in base alla varietà per normalizzare la distribuzione. Questi dati sono di dominio pubblico.
+
+**Disclaimer**:
+Questo documento è stato tradotto utilizzando servizi di traduzione automatizzati basati su intelligenza artificiale. Sebbene ci impegniamo per garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatizzate possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione.
\ No newline at end of file
diff --git a/translations/it/3-Web-App/1-Web-App/README.md b/translations/it/3-Web-App/1-Web-App/README.md
new file mode 100644
index 000000000..145537b58
--- /dev/null
+++ b/translations/it/3-Web-App/1-Web-App/README.md
@@ -0,0 +1,348 @@
+# Costruisci un'app Web per utilizzare un modello ML
+
+In questa lezione, addestrerai un modello ML su un set di dati fuori dal comune: _avvistamenti UFO nell'ultimo secolo_, provenienti dal database di NUFORC.
+
+Imparerai:
+
+- Come 'pickle' un modello addestrato
+- Come utilizzare quel modello in un'app Flask
+
+Continueremo a usare i notebook per pulire i dati e addestrare il nostro modello, ma puoi fare un ulteriore passo avanti esplorando l'uso di un modello "nel mondo reale", per così dire: in un'app web.
+
+Per fare questo, è necessario costruire un'app web utilizzando Flask.
+
+## [Quiz pre-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/17/)
+
+## Costruzione di un'app
+
+Ci sono diversi modi per costruire app web che consumano modelli di machine learning. La tua architettura web potrebbe influenzare il modo in cui il tuo modello viene addestrato. Immagina di lavorare in un'azienda in cui il gruppo di data science ha addestrato un modello che vogliono tu usi in un'app.
+
+### Considerazioni
+
+Ci sono molte domande che devi farti:
+
+- **È un'app web o un'app mobile?** Se stai costruendo un'app mobile o hai bisogno di utilizzare il modello in un contesto IoT, potresti usare [TensorFlow Lite](https://www.tensorflow.org/lite/) e utilizzare il modello in un'app Android o iOS.
+- **Dove risiederà il modello?** Nel cloud o localmente?
+- **Supporto offline.** L'app deve funzionare offline?
+- **Quale tecnologia è stata utilizzata per addestrare il modello?** La tecnologia scelta potrebbe influenzare gli strumenti che devi usare.
+ - **Usando TensorFlow.** Se stai addestrando un modello usando TensorFlow, ad esempio, quell'ecosistema offre la possibilità di convertire un modello TensorFlow per l'uso in un'app web utilizzando [TensorFlow.js](https://www.tensorflow.org/js/).
+ - **Usando PyTorch.** Se stai costruendo un modello usando una libreria come [PyTorch](https://pytorch.org/), hai l'opzione di esportarlo in formato [ONNX](https://onnx.ai/) (Open Neural Network Exchange) per l'uso in app web JavaScript che possono utilizzare [Onnx Runtime](https://www.onnxruntime.ai/). Questa opzione verrà esplorata in una lezione futura per un modello addestrato con Scikit-learn.
+ - **Usando Lobe.ai o Azure Custom Vision.** Se stai usando un sistema ML SaaS (Software as a Service) come [Lobe.ai](https://lobe.ai/) o [Azure Custom Vision](https://azure.microsoft.com/services/cognitive-services/custom-vision-service/?WT.mc_id=academic-77952-leestott) per addestrare un modello, questo tipo di software fornisce modi per esportare il modello per molte piattaforme, incluso la costruzione di un'API su misura da interrogare nel cloud dalla tua applicazione online.
+
+Hai anche l'opportunità di costruire un'intera app web Flask che sarebbe in grado di addestrare il modello stesso in un browser web. Questo può essere fatto anche utilizzando TensorFlow.js in un contesto JavaScript.
+
+Per i nostri scopi, poiché abbiamo lavorato con notebook basati su Python, esploriamo i passaggi necessari per esportare un modello addestrato da un tale notebook in un formato leggibile da un'app web costruita in Python.
+
+## Strumenti
+
+Per questo compito, hai bisogno di due strumenti: Flask e Pickle, entrambi funzionanti su Python.
+
+✅ Cos'è [Flask](https://palletsprojects.com/p/flask/)? Definito come un 'micro-framework' dai suoi creatori, Flask fornisce le caratteristiche di base dei framework web utilizzando Python e un motore di template per costruire pagine web. Dai un'occhiata a [questo modulo di apprendimento](https://docs.microsoft.com/learn/modules/python-flask-build-ai-web-app?WT.mc_id=academic-77952-leestott) per esercitarti a costruire con Flask.
+
+✅ Cos'è [Pickle](https://docs.python.org/3/library/pickle.html)? Pickle 🥒 è un modulo Python che serializza e deserializza una struttura di oggetti Python. Quando 'pickle' un modello, ne serializzi o appiattisci la struttura per l'uso sul web. Attenzione: pickle non è intrinsecamente sicuro, quindi fai attenzione se ti viene chiesto di 'un-pickle' un file. Un file pickled ha il suffisso `.pkl`.
+
+## Esercizio - pulisci i tuoi dati
+
+In questa lezione userai dati provenienti da 80.000 avvistamenti UFO, raccolti da [NUFORC](https://nuforc.org) (The National UFO Reporting Center). Questi dati contengono alcune descrizioni interessanti degli avvistamenti UFO, ad esempio:
+
+- **Descrizione lunga.** "Un uomo emerge da un raggio di luce che brilla su un campo erboso di notte e corre verso il parcheggio della Texas Instruments".
+- **Descrizione breve.** "le luci ci hanno inseguito".
+
+Il foglio di calcolo [ufos.csv](../../../../3-Web-App/1-Web-App/data/ufos.csv) include colonne riguardanti `city`, `state` e `country` dove è avvenuto l'avvistamento, l'`shape` dell'oggetto e il suo `latitude` e `longitude`.
+
+Nel [notebook](../../../../3-Web-App/1-Web-App/notebook.ipynb) incluso in questa lezione:
+
+1. importa `pandas`, `matplotlib`, e `numpy` come hai fatto nelle lezioni precedenti e importa il foglio di calcolo ufos. Puoi dare un'occhiata a un set di dati di esempio:
+
+ ```python
+ import pandas as pd
+ import numpy as np
+
+ ufos = pd.read_csv('./data/ufos.csv')
+ ufos.head()
+ ```
+
+1. Converti i dati ufos in un piccolo dataframe con nuovi titoli. Controlla i valori unici nel campo `Country`.
+
+ ```python
+ ufos = pd.DataFrame({'Seconds': ufos['duration (seconds)'], 'Country': ufos['country'],'Latitude': ufos['latitude'],'Longitude': ufos['longitude']})
+
+ ufos.Country.unique()
+ ```
+
+1. Ora, puoi ridurre la quantità di dati con cui dobbiamo lavorare eliminando eventuali valori nulli e importando solo gli avvistamenti tra 1-60 secondi:
+
+ ```python
+ ufos.dropna(inplace=True)
+
+ ufos = ufos[(ufos['Seconds'] >= 1) & (ufos['Seconds'] <= 60)]
+
+ ufos.info()
+ ```
+
+1. Importa la libreria `LabelEncoder` di Scikit-learn per convertire i valori di testo per i paesi in un numero:
+
+ ✅ LabelEncoder codifica i dati in ordine alfabetico
+
+ ```python
+ from sklearn.preprocessing import LabelEncoder
+
+ ufos['Country'] = LabelEncoder().fit_transform(ufos['Country'])
+
+ ufos.head()
+ ```
+
+ I tuoi dati dovrebbero apparire così:
+
+ ```output
+ Seconds Country Latitude Longitude
+ 2 20.0 3 53.200000 -2.916667
+ 3 20.0 4 28.978333 -96.645833
+ 14 30.0 4 35.823889 -80.253611
+ 23 60.0 4 45.582778 -122.352222
+ 24 3.0 3 51.783333 -0.783333
+ ```
+
+## Esercizio - costruisci il tuo modello
+
+Ora puoi prepararti ad addestrare un modello dividendo i dati nel gruppo di addestramento e nel gruppo di test.
+
+1. Seleziona le tre caratteristiche su cui vuoi addestrarti come il tuo vettore X, e il vettore y sarà `Country`. You want to be able to input `Seconds`, `Latitude` and `Longitude` e ottieni un id paese da restituire.
+
+ ```python
+ from sklearn.model_selection import train_test_split
+
+ Selected_features = ['Seconds','Latitude','Longitude']
+
+ X = ufos[Selected_features]
+ y = ufos['Country']
+
+ X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+ ```
+
+1. Addestra il tuo modello utilizzando la regressione logistica:
+
+ ```python
+ from sklearn.metrics import accuracy_score, classification_report
+ from sklearn.linear_model import LogisticRegression
+ model = LogisticRegression()
+ model.fit(X_train, y_train)
+ predictions = model.predict(X_test)
+
+ print(classification_report(y_test, predictions))
+ print('Predicted labels: ', predictions)
+ print('Accuracy: ', accuracy_score(y_test, predictions))
+ ```
+
+La precisione non è male **(circa il 95%)**, non sorprende, poiché `Country` and `Latitude/Longitude` correlate.
+
+The model you created isn't very revolutionary as you should be able to infer a `Country` from its `Latitude` and `Longitude`, ma è un buon esercizio provare ad addestrare partendo da dati grezzi che hai pulito, esportato e poi usare questo modello in un'app web.
+
+## Esercizio - 'pickle' il tuo modello
+
+Ora, è il momento di _pickle_ il tuo modello! Puoi farlo in poche righe di codice. Una volta che è _pickled_, carica il tuo modello pickled e testalo contro un array di dati di esempio contenente valori per secondi, latitudine e longitudine,
+
+```python
+import pickle
+model_filename = 'ufo-model.pkl'
+pickle.dump(model, open(model_filename,'wb'))
+
+model = pickle.load(open('ufo-model.pkl','rb'))
+print(model.predict([[50,44,-12]]))
+```
+
+Il modello restituisce **'3'**, che è il codice paese per il Regno Unito. Incredibile! 👽
+
+## Esercizio - costruisci un'app Flask
+
+Ora puoi costruire un'app Flask per chiamare il tuo modello e restituire risultati simili, ma in un modo più visivamente piacevole.
+
+1. Inizia creando una cartella chiamata **web-app** accanto al file _notebook.ipynb_ dove risiede il tuo file _ufo-model.pkl_.
+
+1. In quella cartella crea altre tre cartelle: **static**, con una cartella **css** all'interno, e **templates**. Ora dovresti avere i seguenti file e directory:
+
+ ```output
+ web-app/
+ static/
+ css/
+ templates/
+ notebook.ipynb
+ ufo-model.pkl
+ ```
+
+ ✅ Consulta la cartella della soluzione per una visuale dell'app finita
+
+1. Il primo file da creare nella cartella _web-app_ è il file **requirements.txt**. Come _package.json_ in un'app JavaScript, questo file elenca le dipendenze richieste dall'app. In **requirements.txt** aggiungi le righe:
+
+ ```text
+ scikit-learn
+ pandas
+ numpy
+ flask
+ ```
+
+1. Ora, esegui questo file navigando fino a _web-app_:
+
+ ```bash
+ cd web-app
+ ```
+
+1. Nel tuo terminale digita `pip install`, per installare le librerie elencate in _requirements.txt_:
+
+ ```bash
+ pip install -r requirements.txt
+ ```
+
+1. Ora, sei pronto per creare altri tre file per completare l'app:
+
+ 1. Crea **app.py** nella root.
+ 2. Crea **index.html** nella directory _templates_.
+ 3. Crea **styles.css** nella directory _static/css_.
+
+1. Costruisci il file _styles.css_ con alcuni stili:
+
+ ```css
+ body {
+ width: 100%;
+ height: 100%;
+ font-family: 'Helvetica';
+ background: black;
+ color: #fff;
+ text-align: center;
+ letter-spacing: 1.4px;
+ font-size: 30px;
+ }
+
+ input {
+ min-width: 150px;
+ }
+
+ .grid {
+ width: 300px;
+ border: 1px solid #2d2d2d;
+ display: grid;
+ justify-content: center;
+ margin: 20px auto;
+ }
+
+ .box {
+ color: #fff;
+ background: #2d2d2d;
+ padding: 12px;
+ display: inline-block;
+ }
+ ```
+
+1. Successivamente, costruisci il file _index.html_:
+
+ ```html
+
+
+
+
+ 🛸 UFO Appearance Prediction! 👽 + + + + ++ ++ + + + ``` + + Dai un'occhiata al templating in questo file. Nota la sintassi 'mustache' attorno alle variabili che verranno fornite dall'app, come il testo della previsione: `{{}}`. There's also a form that posts a prediction to the `/predict` route. + + Finally, you're ready to build the python file that drives the consumption of the model and the display of predictions: + +1. In `app.py` aggiungi: + + ```python + import numpy as np + from flask import Flask, request, render_template + import pickle + + app = Flask(__name__) + + model = pickle.load(open("./ufo-model.pkl", "rb")) + + + @app.route("/") + def home(): + return render_template("index.html") + + + @app.route("/predict", methods=["POST"]) + def predict(): + + int_features = [int(x) for x in request.form.values()] + final_features = [np.array(int_features)] + prediction = model.predict(final_features) + + output = prediction[0] + + countries = ["Australia", "Canada", "Germany", "UK", "US"] + + return render_template( + "index.html", prediction_text="Likely country: {}".format(countries[output]) + ) + + + if __name__ == "__main__": + app.run(debug=True) + ``` + + > 💡 Suggerimento: quando aggiungi [`debug=True`](https://www.askpython.com/python-modules/flask/flask-debug-mode) while running the web app using Flask, any changes you make to your application will be reflected immediately without the need to restart the server. Beware! Don't enable this mode in a production app. + +If you run `python app.py` or `python3 app.py` - your web server starts up, locally, and you can fill out a short form to get an answer to your burning question about where UFOs have been sighted! + +Before doing that, take a look at the parts of `app.py`: + +1. First, dependencies are loaded and the app starts. +1. Then, the model is imported. +1. Then, index.html is rendered on the home route. + +On the `/predict` route, several things happen when the form is posted: + +1. The form variables are gathered and converted to a numpy array. They are then sent to the model and a prediction is returned. +2. The Countries that we want displayed are re-rendered as readable text from their predicted country code, and that value is sent back to index.html to be rendered in the template. + +Using a model this way, with Flask and a pickled model, is relatively straightforward. The hardest thing is to understand what shape the data is that must be sent to the model to get a prediction. That all depends on how the model was trained. This one has three data points to be input in order to get a prediction. + +In a professional setting, you can see how good communication is necessary between the folks who train the model and those who consume it in a web or mobile app. In our case, it's only one person, you! + +--- + +## 🚀 Challenge + +Instead of working in a notebook and importing the model to the Flask app, you could train the model right within the Flask app! Try converting your Python code in the notebook, perhaps after your data is cleaned, to train the model from within the app on a route called `train`. Quali sono i pro e i contro di perseguire questo metodo? + +## [Quiz post-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/18/) + +## Revisione & Studio autonomo + +Ci sono molti modi per costruire un'app web che consumi modelli ML. Fai un elenco dei modi in cui potresti usare JavaScript o Python per costruire un'app web che sfrutti il machine learning. Considera l'architettura: il modello dovrebbe rimanere nell'app o vivere nel cloud? Se la seconda opzione, come lo accederesti? Disegna un modello architettonico per una soluzione ML applicata. + +## Compito + +[Prova un modello diverso](assignment.md) + +**Avvertenza**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su intelligenza artificiale. Sebbene ci impegniamo per l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o inesattezze. Il documento originale nella sua lingua madre deve essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda la traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/3-Web-App/1-Web-App/assignment.md b/translations/it/3-Web-App/1-Web-App/assignment.md new file mode 100644 index 000000000..8699f1c6f --- /dev/null +++ b/translations/it/3-Web-App/1-Web-App/assignment.md @@ -0,0 +1,14 @@ +# Prova un modello diverso + +## Istruzioni + +Ora che hai costruito una web app utilizzando un modello di regressione addestrato, usa uno dei modelli di una lezione precedente sulla regressione per rifare questa web app. Puoi mantenere lo stile o progettarla diversamente per riflettere i dati sulla zucca. Fai attenzione a cambiare gli input per riflettere il metodo di addestramento del tuo modello. + +## Rubrica + +| Criteri | Esemplare | Adeguato | Da migliorare | +| -------------------------- | --------------------------------------------------------- | --------------------------------------------------------- | -------------------------------------- | +| | La web app funziona come previsto ed è distribuita nel cloud | La web app contiene errori o presenta risultati inaspettati | La web app non funziona correttamente | + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su AI. Sebbene ci impegniamo per garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua madre dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione umana professionale. Non siamo responsabili per eventuali fraintendimenti o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/3-Web-App/README.md b/translations/it/3-Web-App/README.md new file mode 100644 index 000000000..764358cd3 --- /dev/null +++ b/translations/it/3-Web-App/README.md @@ -0,0 +1,24 @@ +# Crea un'app web per utilizzare il tuo modello di ML + +In questa sezione del curriculum, verrà introdotto un argomento di ML applicato: come salvare il tuo modello Scikit-learn come un file che può essere utilizzato per fare previsioni all'interno di un'applicazione web. Una volta che il modello è salvato, imparerai come utilizzarlo in un'app web costruita con Flask. Per prima cosa creerai un modello utilizzando alcuni dati riguardanti avvistamenti di UFO! Poi, costruirai un'app web che ti permetterà di inserire un numero di secondi insieme a un valore di latitudine e longitudine per prevedere quale paese ha segnalato di aver visto un UFO. + + + +Foto di Michael Herren su Unsplash + +## Lezioni + +1. [Crea un'App Web](1-Web-App/README.md) + +## Crediti + +"Crea un'App Web" è stato scritto con ♥️ da [Jen Looper](https://twitter.com/jenlooper). + +♥️ I quiz sono stati scritti da Rohan Raj. + +Il dataset è stato fornito da [Kaggle](https://www.kaggle.com/NUFORC/ufo-sightings). + +L'architettura dell'app web è stata suggerita in parte da [questo articolo](https://towardsdatascience.com/how-to-easily-deploy-machine-learning-models-using-flask-b95af8fe34d4) e [questo repo](https://github.com/abhinavsagar/machine-learning-deployment) di Abhinav Sagar. + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su AI. Anche se ci sforziamo di garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua madre dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali fraintendimenti o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/4-Classification/1-Introduction/README.md b/translations/it/4-Classification/1-Introduction/README.md new file mode 100644 index 000000000..8ea5da26d --- /dev/null +++ b/translations/it/4-Classification/1-Introduction/README.md @@ -0,0 +1,302 @@ +# Introduzione alla classificazione + +In queste quattro lezioni esplorerai un aspetto fondamentale del machine learning classico - la _classificazione_. Analizzeremo l'uso di vari algoritmi di classificazione con un dataset che riguarda tutte le brillanti cucine dell'Asia e dell'India. Speriamo che tu abbia fame! + + + +> Celebra le cucine pan-asiatiche in queste lezioni! Immagine di [Jen Looper](https://twitter.com/jenlooper) + +La classificazione è una forma di [apprendimento supervisionato](https://wikipedia.org/wiki/Supervised_learning) che ha molto in comune con le tecniche di regressione. Se il machine learning riguarda la previsione di valori o nomi per le cose utilizzando dataset, allora la classificazione generalmente si divide in due gruppi: _classificazione binaria_ e _classificazione multiclasse_. + +[](https://youtu.be/eg8DJYwdMyg "Introduzione alla classificazione") + +> 🎥 Clicca sull'immagine sopra per un video: John Guttag del MIT introduce la classificazione + +Ricorda: + +- **La regressione lineare** ti ha aiutato a prevedere le relazioni tra variabili e fare previsioni accurate su dove un nuovo punto dati cadrebbe in relazione a quella linea. Ad esempio, potresti prevedere _che prezzo avrà una zucca a settembre rispetto a dicembre_. +- **La regressione logistica** ti ha aiutato a scoprire "categorie binarie": a questo prezzo, _questa zucca è arancione o non-arancione_? + +La classificazione utilizza vari algoritmi per determinare altri modi di determinare l'etichetta o la classe di un punto dati. Lavoriamo con questi dati sulle cucine per vedere se, osservando un gruppo di ingredienti, possiamo determinare la cucina di origine. + +## [Quiz pre-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/19/) + +> ### [Questa lezione è disponibile in R!](../../../../4-Classification/1-Introduction/solution/R/lesson_10.html) + +### Introduzione + +La classificazione è una delle attività fondamentali del ricercatore di machine learning e del data scientist. Dalla classificazione di base di un valore binario ("questa email è spam o no?"), alla complessa classificazione e segmentazione delle immagini utilizzando la visione artificiale, è sempre utile poter ordinare i dati in classi e porre domande su di essi. + +Per esprimere il processo in modo più scientifico, il tuo metodo di classificazione crea un modello predittivo che ti consente di mappare la relazione tra variabili di input e variabili di output. + + + +> Problemi binari vs. multiclasse per gli algoritmi di classificazione. Infografica di [Jen Looper](https://twitter.com/jenlooper) + +Prima di iniziare il processo di pulizia dei dati, visualizzazione e preparazione per i nostri compiti di ML, impariamo un po' sui vari modi in cui il machine learning può essere utilizzato per classificare i dati. + +Derivata dalla [statistica](https://wikipedia.org/wiki/Statistical_classification), la classificazione utilizzando il machine learning classico utilizza caratteristiche, come `smoker`, `weight` e `age` per determinare la _probabilità di sviluppare X malattia_. Come tecnica di apprendimento supervisionato simile agli esercizi di regressione che hai eseguito in precedenza, i tuoi dati sono etichettati e gli algoritmi di ML utilizzano queste etichette per classificare e prevedere classi (o 'caratteristiche') di un dataset e assegnarle a un gruppo o risultato. + +✅ Prenditi un momento per immaginare un dataset sulle cucine. Cosa potrebbe rispondere un modello multiclasse? Cosa potrebbe rispondere un modello binario? E se volessi determinare se una determinata cucina è probabile che utilizzi il fieno greco? E se volessi vedere se, dato un sacchetto di spesa pieno di anice stellato, carciofi, cavolfiori e rafano, potresti creare un piatto tipico indiano? + +[](https://youtu.be/GuTeDbaNoEU "Crazy mystery baskets") + +> 🎥 Clicca sull'immagine sopra per un video. L'intera premessa dello show 'Chopped' è il 'cestino misterioso' dove gli chef devono preparare un piatto con una scelta casuale di ingredienti. Sicuramente un modello di ML avrebbe aiutato! + +## Ciao 'classificatore' + +La domanda che vogliamo porre a questo dataset di cucina è in realtà una **domanda multiclasse**, poiché abbiamo diverse potenziali cucine nazionali con cui lavorare. Dato un gruppo di ingredienti, a quale di queste molte classi si adatteranno i dati? + +Scikit-learn offre diversi algoritmi per classificare i dati, a seconda del tipo di problema che vuoi risolvere. Nelle prossime due lezioni imparerai a conoscere alcuni di questi algoritmi. + +## Esercizio - pulire e bilanciare i tuoi dati + +Il primo compito da svolgere, prima di iniziare questo progetto, è pulire e **bilanciare** i tuoi dati per ottenere risultati migliori. Inizia con il file _notebook.ipynb_ vuoto nella radice di questa cartella. + +La prima cosa da installare è [imblearn](https://imbalanced-learn.org/stable/). Questo è un pacchetto di Scikit-learn che ti permetterà di bilanciare meglio i dati (imparerai di più su questo compito tra un minuto). + +1. Per installare `imblearn`, esegui `pip install`, come segue: + + ```python + pip install imblearn + ``` + +1. Importa i pacchetti necessari per importare i tuoi dati e visualizzarli, importa anche `SMOTE` da `imblearn`. + + ```python + import pandas as pd + import matplotlib.pyplot as plt + import matplotlib as mpl + import numpy as np + from imblearn.over_sampling import SMOTE + ``` + + Ora sei pronto per importare i dati. + +1. Il prossimo compito sarà importare i dati: + + ```python + df = pd.read_csv('../data/cuisines.csv') + ``` + + Utilizzando `read_csv()` will read the content of the csv file _cusines.csv_ and place it in the variable `df`. + +1. Controlla la forma dei dati: + + ```python + df.head() + ``` + + Le prime cinque righe sembrano così: + + ```output + | | Unnamed: 0 | cuisine | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | + | --- | ---------- | ------- | ------ | -------- | ----- | ---------- | ----- | ------------ | ------- | -------- | --- | ------- | ----------- | ---------- | ----------------------- | ---- | ---- | --- | ----- | ------ | -------- | + | 0 | 65 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 1 | 66 | indian | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 2 | 67 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 3 | 68 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 4 | 69 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | + ``` + +1. Ottieni informazioni su questi dati chiamando `info()`: + + ```python + df.info() + ``` + + Il tuo output somiglia a: + + ```output ++ ++ +According to the number of seconds, latitude and longitude, which country is likely to have reported seeing a UFO?
+ + + +{{ prediction_text }}
+ ++ RangeIndex: 2448 entries, 0 to 2447 + Columns: 385 entries, Unnamed: 0 to zucchini + dtypes: int64(384), object(1) + memory usage: 7.2+ MB + ``` + +## Esercizio - imparare sulle cucine + +Ora il lavoro inizia a diventare più interessante. Scopriamo la distribuzione dei dati, per cucina. + +1. Traccia i dati come barre chiamando `barh()`: + + ```python + df.cuisine.value_counts().plot.barh() + ``` + +  + + Ci sono un numero finito di cucine, ma la distribuzione dei dati è disomogenea. Puoi risolverlo! Prima di farlo, esplora un po' di più. + +1. Scopri quanti dati sono disponibili per cucina e stampali: + + ```python + thai_df = df[(df.cuisine == "thai")] + japanese_df = df[(df.cuisine == "japanese")] + chinese_df = df[(df.cuisine == "chinese")] + indian_df = df[(df.cuisine == "indian")] + korean_df = df[(df.cuisine == "korean")] + + print(f'thai df: {thai_df.shape}') + print(f'japanese df: {japanese_df.shape}') + print(f'chinese df: {chinese_df.shape}') + print(f'indian df: {indian_df.shape}') + print(f'korean df: {korean_df.shape}') + ``` + + l'output sembra così: + + ```output + thai df: (289, 385) + japanese df: (320, 385) + chinese df: (442, 385) + indian df: (598, 385) + korean df: (799, 385) + ``` + +## Scoprire gli ingredienti + +Ora puoi approfondire i dati e scoprire quali sono gli ingredienti tipici per cucina. Dovresti pulire i dati ricorrenti che creano confusione tra le cucine, quindi impariamo a conoscere questo problema. + +1. Crea una funzione `create_ingredient()` in Python per creare un dataframe di ingredienti. Questa funzione inizierà eliminando una colonna non utile e ordinando gli ingredienti in base al loro conteggio: + + ```python + def create_ingredient_df(df): + ingredient_df = df.T.drop(['cuisine','Unnamed: 0']).sum(axis=1).to_frame('value') + ingredient_df = ingredient_df[(ingredient_df.T != 0).any()] + ingredient_df = ingredient_df.sort_values(by='value', ascending=False, + inplace=False) + return ingredient_df + ``` + + Ora puoi usare quella funzione per farti un'idea dei dieci ingredienti più popolari per cucina. + +1. Chiama `create_ingredient()` and plot it calling `barh()`: + + ```python + thai_ingredient_df = create_ingredient_df(thai_df) + thai_ingredient_df.head(10).plot.barh() + ``` + +  + +1. Fai lo stesso per i dati giapponesi: + + ```python + japanese_ingredient_df = create_ingredient_df(japanese_df) + japanese_ingredient_df.head(10).plot.barh() + ``` + +  + +1. Ora per gli ingredienti cinesi: + + ```python + chinese_ingredient_df = create_ingredient_df(chinese_df) + chinese_ingredient_df.head(10).plot.barh() + ``` + +  + +1. Traccia gli ingredienti indiani: + + ```python + indian_ingredient_df = create_ingredient_df(indian_df) + indian_ingredient_df.head(10).plot.barh() + ``` + +  + +1. Infine, traccia gli ingredienti coreani: + + ```python + korean_ingredient_df = create_ingredient_df(korean_df) + korean_ingredient_df.head(10).plot.barh() + ``` + +  + +1. Ora, elimina gli ingredienti più comuni che creano confusione tra cucine distinte, chiamando `drop()`: + + Tutti amano il riso, l'aglio e lo zenzero! + + ```python + feature_df= df.drop(['cuisine','Unnamed: 0','rice','garlic','ginger'], axis=1) + labels_df = df.cuisine #.unique() + feature_df.head() + ``` + +## Bilanciare il dataset + +Ora che hai pulito i dati, utilizza [SMOTE](https://imbalanced-learn.org/dev/references/generated/imblearn.over_sampling.SMOTE.html) - "Synthetic Minority Over-sampling Technique" - per bilanciarli. + +1. Chiama `fit_resample()`, questa strategia genera nuovi campioni per interpolazione. + + ```python + oversample = SMOTE() + transformed_feature_df, transformed_label_df = oversample.fit_resample(feature_df, labels_df) + ``` + + Bilanciando i tuoi dati, otterrai risultati migliori quando li classifichi. Pensa a una classificazione binaria. Se la maggior parte dei tuoi dati appartiene a una classe, un modello di ML predirà quella classe più frequentemente, solo perché ci sono più dati per essa. Bilanciare i dati rimuove qualsiasi squilibrio nei dati e aiuta a rimuovere questo squilibrio. + +1. Ora puoi controllare il numero di etichette per ingrediente: + + ```python + print(f'new label count: {transformed_label_df.value_counts()}') + print(f'old label count: {df.cuisine.value_counts()}') + ``` + + Il tuo output sembra così: + + ```output + new label count: korean 799 + chinese 799 + indian 799 + japanese 799 + thai 799 + Name: cuisine, dtype: int64 + old label count: korean 799 + indian 598 + chinese 442 + japanese 320 + thai 289 + Name: cuisine, dtype: int64 + ``` + + I dati sono belli, puliti, bilanciati e molto deliziosi! + +1. L'ultimo passaggio è salvare i tuoi dati bilanciati, inclusi etichette e caratteristiche, in un nuovo dataframe che può essere esportato in un file: + + ```python + transformed_df = pd.concat([transformed_label_df,transformed_feature_df],axis=1, join='outer') + ``` + +1. Puoi dare un'ultima occhiata ai dati utilizzando `transformed_df.head()` and `transformed_df.info()`. Salva una copia di questi dati per usarli nelle lezioni future: + + ```python + transformed_df.head() + transformed_df.info() + transformed_df.to_csv("../data/cleaned_cuisines.csv") + ``` + + Questo nuovo CSV si trova ora nella cartella principale dei dati. + +--- + +## 🚀Sfida + +Questo curriculum contiene diversi dataset interessanti. Esplora le cartelle `data` e verifica se qualcuno contiene dataset che potrebbero essere appropriati per una classificazione binaria o multiclasse. Quali domande potresti porre a questo dataset? + +## [Quiz post-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/20/) + +## Revisione & Autoapprendimento + +Esplora l'API di SMOTE. Per quali casi d'uso è meglio utilizzato? Quali problemi risolve? + +## Compito + +[Esplora i metodi di classificazione](assignment.md) + +**Avvertenza**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su intelligenza artificiale. Sebbene ci impegniamo per garantire l'accuratezza, si prega di notare che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/4-Classification/1-Introduction/assignment.md b/translations/it/4-Classification/1-Introduction/assignment.md new file mode 100644 index 000000000..d5f01f430 --- /dev/null +++ b/translations/it/4-Classification/1-Introduction/assignment.md @@ -0,0 +1,14 @@ +# Esplora i metodi di classificazione + +## Istruzioni + +Nella [documentazione di Scikit-learn](https://scikit-learn.org/stable/supervised_learning.html) troverai una lunga lista di modi per classificare i dati. Fai una piccola caccia al tesoro in questi documenti: il tuo obiettivo è cercare i metodi di classificazione e abbinarli a un dataset in questo curriculum, una domanda che puoi porre su di esso, e una tecnica di classificazione. Crea un foglio di calcolo o una tabella in un file .doc e spiega come il dataset funzionerebbe con l'algoritmo di classificazione. + +## Valutazione + +| Criteri | Esemplare | Adeguato | Bisogna Migliorare | +| -------- | ----------------------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------- | +| | viene presentato un documento che fornisce una panoramica di 5 algoritmi insieme a una tecnica di classificazione. La panoramica è ben spiegata e dettagliata. | viene presentato un documento che fornisce una panoramica di 3 algoritmi insieme a una tecnica di classificazione. La panoramica è ben spiegata e dettagliata. | viene presentato un documento che fornisce una panoramica di meno di tre algoritmi insieme a una tecnica di classificazione e la panoramica non è ben spiegata né dettagliata. | + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su intelligenza artificiale. Sebbene ci sforziamo di garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua madre dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali incomprensioni o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/4-Classification/1-Introduction/solution/Julia/README.md b/translations/it/4-Classification/1-Introduction/solution/Julia/README.md new file mode 100644 index 000000000..02bff495f --- /dev/null +++ b/translations/it/4-Classification/1-Introduction/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su intelligenza artificiale. Sebbene ci impegniamo per garantire l'accuratezza, si prega di notare che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua madre dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/4-Classification/2-Classifiers-1/README.md b/translations/it/4-Classification/2-Classifiers-1/README.md new file mode 100644 index 000000000..69fc323e2 --- /dev/null +++ b/translations/it/4-Classification/2-Classifiers-1/README.md @@ -0,0 +1,77 @@ +# Classificatori di Cucine 1 + +In questa lezione, utilizzerai il dataset che hai salvato dalla lezione precedente, pieno di dati bilanciati e puliti sulle cucine. + +Utilizzerai questo dataset con una varietà di classificatori per _prevedere una cucina nazionale data un gruppo di ingredienti_. Durante questo processo, imparerai di più su alcuni dei modi in cui gli algoritmi possono essere utilizzati per compiti di classificazione. + +## [Quiz pre-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/21/) +# Preparazione + +Assumendo che tu abbia completato [Lezione 1](../1-Introduction/README.md), assicurati che esista un file _cleaned_cuisines.csv_ nella cartella radice `/data` per queste quattro lezioni. + +## Esercizio - prevedere una cucina nazionale + +1. Lavorando nella cartella _notebook.ipynb_ di questa lezione, importa quel file insieme alla libreria Pandas: + + ```python + import pandas as pd + cuisines_df = pd.read_csv("../data/cleaned_cuisines.csv") + cuisines_df.head() + ``` + + I dati appaiono così: + +| | Unnamed: 0 | cuisine | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | +| --- | ---------- | ------- | ------ | -------- | ----- | ---------- | ----- | ------------ | ------- | -------- | --- | ------- | ----------- | ---------- | ----------------------- | ---- | ---- | --- | ----- | ------ | -------- | +| 0 | 0 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 1 | 1 | indian | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 2 | 2 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 3 | 3 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 4 | 4 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | + + +1. Ora, importa diverse altre librerie: + + ```python + from sklearn.linear_model import LogisticRegression + from sklearn.model_selection import train_test_split, cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report, precision_recall_curve + from sklearn.svm import SVC + import numpy as np + ``` + +1. Dividi le coordinate X e y in due dataframe per l'addestramento. `cuisine` può essere il dataframe delle etichette: + + ```python + cuisines_label_df = cuisines_df['cuisine'] + cuisines_label_df.head() + ``` + + Sarà così: + + ```output + 0 indian + 1 indian + 2 indian + 3 indian + 4 indian + Name: cuisine, dtype: object + ``` + +1. Elimina `Unnamed: 0` column and the `cuisine` column, calling `drop()`. Salva il resto dei dati come caratteristiche addestrabili: + + ```python + cuisines_feature_df = cuisines_df.drop(['Unnamed: 0', 'cuisine'], axis=1) + cuisines_feature_df.head() + ``` + + Le tue caratteristiche appaiono così: + +| | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | artemisia | artichoke | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | +| ---: | -----: | -------: | ----: | ---------: | ----: | -----------: | ------: | -------: | --------: | --------: | ---: | ------: | ----------: | ---------: | ----------------------: | ---: | ---: | ---: | ----: | -----: | -------: | +| 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 1 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 2 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + +**Avvertenza**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su intelligenza artificiale. Sebbene ci impegniamo per garantire l'accuratezza, si prega di notare che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua madre deve essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione umana professionale. Non siamo responsabili per eventuali fraintendimenti o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/4-Classification/2-Classifiers-1/assignment.md b/translations/it/4-Classification/2-Classifiers-1/assignment.md new file mode 100644 index 000000000..32ddd2aee --- /dev/null +++ b/translations/it/4-Classification/2-Classifiers-1/assignment.md @@ -0,0 +1,12 @@ +# Studiare i solvers +## Istruzioni + +In questa lezione hai imparato a conoscere i vari solvers che abbinano algoritmi a un processo di machine learning per creare un modello accurato. Esamina i solvers elencati nella lezione e scegli due. Con parole tue, confronta e contrappone questi due solvers. Che tipo di problema affrontano? Come funzionano con varie strutture di dati? Perché sceglieresti uno rispetto all'altro? +## Rubrica + +| Criteri | Esemplare | Adeguato | Da migliorare | +| -------- | ---------------------------------------------------------------------------------------------- | ------------------------------------------------ | ---------------------------- | +| | Viene presentato un file .doc con due paragrafi, uno per ciascun solver, confrontandoli in modo approfondito. | Viene presentato un file .doc con un solo paragrafo | Il compito è incompleto | + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatizzati basati su AI. Sebbene ci sforziamo di garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/4-Classification/2-Classifiers-1/solution/Julia/README.md b/translations/it/4-Classification/2-Classifiers-1/solution/Julia/README.md new file mode 100644 index 000000000..8b4a4d7ef --- /dev/null +++ b/translations/it/4-Classification/2-Classifiers-1/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatizzati basati su AI. Sebbene ci impegniamo per l'accuratezza, si prega di notare che le traduzioni automatizzate possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/4-Classification/3-Classifiers-2/README.md b/translations/it/4-Classification/3-Classifiers-2/README.md new file mode 100644 index 000000000..ec7f3297e --- /dev/null +++ b/translations/it/4-Classification/3-Classifiers-2/README.md @@ -0,0 +1,238 @@ +# Classificatori di cucina 2 + +In questa seconda lezione sulla classificazione, esplorerai ulteriori metodi per classificare i dati numerici. Imparerai anche le conseguenze della scelta di un classificatore rispetto a un altro. + +## [Quiz pre-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/23/) + +### Prerequisito + +Presumiamo che tu abbia completato le lezioni precedenti e che tu abbia un dataset pulito nella tua cartella `data` chiamato _cleaned_cuisines.csv_ nella radice di questa cartella di 4 lezioni. + +### Preparazione + +Abbiamo caricato il tuo file _notebook.ipynb_ con il dataset pulito e lo abbiamo diviso in dataframe X e y, pronti per il processo di costruzione del modello. + +## Una mappa della classificazione + +In precedenza, hai imparato delle varie opzioni disponibili per classificare i dati utilizzando il cheat sheet di Microsoft. Scikit-learn offre un cheat sheet simile, ma più dettagliato, che può aiutare ulteriormente a restringere i tuoi stimatori (un altro termine per classificatori): + + +> Suggerimento: [visita questa mappa online](https://scikit-learn.org/stable/tutorial/machine_learning_map/) e clicca lungo il percorso per leggere la documentazione. + +### Il piano + +Questa mappa è molto utile una volta che hai una chiara comprensione dei tuoi dati, poiché puoi 'camminare' lungo i suoi percorsi verso una decisione: + +- Abbiamo >50 campioni +- Vogliamo prevedere una categoria +- Abbiamo dati etichettati +- Abbiamo meno di 100K campioni +- ✨ Possiamo scegliere un Linear SVC +- Se non funziona, poiché abbiamo dati numerici + - Possiamo provare un ✨ Classificatore KNeighbors + - Se non funziona, prova ✨ SVC e ✨ Classificatori Ensemble + +Questo è un percorso molto utile da seguire. + +## Esercizio - dividere i dati + +Seguendo questo percorso, dovremmo iniziare importando alcune librerie da utilizzare. + +1. Importa le librerie necessarie: + + ```python + from sklearn.neighbors import KNeighborsClassifier + from sklearn.linear_model import LogisticRegression + from sklearn.svm import SVC + from sklearn.ensemble import RandomForestClassifier, AdaBoostClassifier + from sklearn.model_selection import train_test_split, cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report, precision_recall_curve + import numpy as np + ``` + +1. Dividi i tuoi dati di addestramento e di test: + + ```python + X_train, X_test, y_train, y_test = train_test_split(cuisines_feature_df, cuisines_label_df, test_size=0.3) + ``` + +## Classificatore Linear SVC + +Il clustering Support-Vector (SVC) è un componente della famiglia delle macchine Support-Vector (SVM) di tecniche ML (scopri di più su queste di seguito). In questo metodo, puoi scegliere un 'kernel' per decidere come raggruppare le etichette. Il parametro 'C' si riferisce alla 'regolarizzazione' che regola l'influenza dei parametri. Il kernel può essere uno di [diversi](https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html#sklearn.svm.SVC); qui lo impostiamo su 'lineare' per assicurarci di sfruttare Linear SVC. La probabilità di default è 'false'; qui la impostiamo su 'true' per raccogliere stime di probabilità. Impostiamo lo stato casuale su '0' per mescolare i dati e ottenere probabilità. + +### Esercizio - applica un Linear SVC + +Inizia creando un array di classificatori. Aggiungerai progressivamente a questo array man mano che testiamo. + +1. Inizia con un Linear SVC: + + ```python + C = 10 + # Create different classifiers. + classifiers = { + 'Linear SVC': SVC(kernel='linear', C=C, probability=True,random_state=0) + } + ``` + +2. Addestra il tuo modello utilizzando il Linear SVC e stampa un report: + + ```python + n_classifiers = len(classifiers) + + for index, (name, classifier) in enumerate(classifiers.items()): + classifier.fit(X_train, np.ravel(y_train)) + + y_pred = classifier.predict(X_test) + accuracy = accuracy_score(y_test, y_pred) + print("Accuracy (train) for %s: %0.1f%% " % (name, accuracy * 100)) + print(classification_report(y_test,y_pred)) + ``` + + Il risultato è piuttosto buono: + + ```output + Accuracy (train) for Linear SVC: 78.6% + precision recall f1-score support + + chinese 0.71 0.67 0.69 242 + indian 0.88 0.86 0.87 234 + japanese 0.79 0.74 0.76 254 + korean 0.85 0.81 0.83 242 + thai 0.71 0.86 0.78 227 + + accuracy 0.79 1199 + macro avg 0.79 0.79 0.79 1199 + weighted avg 0.79 0.79 0.79 1199 + ``` + +## Classificatore K-Neighbors + +K-Neighbors fa parte della famiglia di metodi ML "vicini", che può essere utilizzata sia per l'apprendimento supervisionato che non supervisionato. In questo metodo, viene creato un numero predefinito di punti e i dati vengono raccolti attorno a questi punti in modo tale che possano essere previste etichette generalizzate per i dati. + +### Esercizio - applica il classificatore K-Neighbors + +Il classificatore precedente era buono e funzionava bene con i dati, ma forse possiamo ottenere una precisione migliore. Prova un classificatore K-Neighbors. + +1. Aggiungi una riga al tuo array di classificatori (aggiungi una virgola dopo l'elemento Linear SVC): + + ```python + 'KNN classifier': KNeighborsClassifier(C), + ``` + + Il risultato è un po' peggiore: + + ```output + Accuracy (train) for KNN classifier: 73.8% + precision recall f1-score support + + chinese 0.64 0.67 0.66 242 + indian 0.86 0.78 0.82 234 + japanese 0.66 0.83 0.74 254 + korean 0.94 0.58 0.72 242 + thai 0.71 0.82 0.76 227 + + accuracy 0.74 1199 + macro avg 0.76 0.74 0.74 1199 + weighted avg 0.76 0.74 0.74 1199 + ``` + + ✅ Scopri di più su [K-Neighbors](https://scikit-learn.org/stable/modules/neighbors.html#neighbors) + +## Classificatore Support Vector + +I classificatori Support-Vector fanno parte della famiglia delle [Support-Vector Machine](https://wikipedia.org/wiki/Support-vector_machine) di metodi ML che vengono utilizzati per compiti di classificazione e regressione. Le SVM "mappano esempi di addestramento su punti nello spazio" per massimizzare la distanza tra due categorie. I dati successivi vengono mappati in questo spazio in modo che la loro categoria possa essere prevista. + +### Esercizio - applica un Support Vector Classifier + +Proviamo a ottenere una precisione leggermente migliore con un Support Vector Classifier. + +1. Aggiungi una virgola dopo l'elemento K-Neighbors, e poi aggiungi questa riga: + + ```python + 'SVC': SVC(), + ``` + + Il risultato è piuttosto buono! + + ```output + Accuracy (train) for SVC: 83.2% + precision recall f1-score support + + chinese 0.79 0.74 0.76 242 + indian 0.88 0.90 0.89 234 + japanese 0.87 0.81 0.84 254 + korean 0.91 0.82 0.86 242 + thai 0.74 0.90 0.81 227 + + accuracy 0.83 1199 + macro avg 0.84 0.83 0.83 1199 + weighted avg 0.84 0.83 0.83 1199 + ``` + + ✅ Scopri di più su [Support-Vectors](https://scikit-learn.org/stable/modules/svm.html#svm) + +## Classificatori Ensemble + +Seguiamo il percorso fino alla fine, anche se il test precedente era piuttosto buono. Proviamo alcuni 'Classificatori Ensemble', in particolare Random Forest e AdaBoost: + +```python + 'RFST': RandomForestClassifier(n_estimators=100), + 'ADA': AdaBoostClassifier(n_estimators=100) +``` + +Il risultato è molto buono, specialmente per Random Forest: + +```output +Accuracy (train) for RFST: 84.5% + precision recall f1-score support + + chinese 0.80 0.77 0.78 242 + indian 0.89 0.92 0.90 234 + japanese 0.86 0.84 0.85 254 + korean 0.88 0.83 0.85 242 + thai 0.80 0.87 0.83 227 + + accuracy 0.84 1199 + macro avg 0.85 0.85 0.84 1199 +weighted avg 0.85 0.84 0.84 1199 + +Accuracy (train) for ADA: 72.4% + precision recall f1-score support + + chinese 0.64 0.49 0.56 242 + indian 0.91 0.83 0.87 234 + japanese 0.68 0.69 0.69 254 + korean 0.73 0.79 0.76 242 + thai 0.67 0.83 0.74 227 + + accuracy 0.72 1199 + macro avg 0.73 0.73 0.72 1199 +weighted avg 0.73 0.72 0.72 1199 +``` + +✅ Scopri di più sui [Classificatori Ensemble](https://scikit-learn.org/stable/modules/ensemble.html) + +Questo metodo di Machine Learning "combina le previsioni di diversi stimatori di base" per migliorare la qualità del modello. Nel nostro esempio, abbiamo utilizzato Random Trees e AdaBoost. + +- [Random Forest](https://scikit-learn.org/stable/modules/ensemble.html#forest), un metodo di mediazione, costruisce una 'foresta' di 'alberi decisionali' infusi di casualità per evitare l'overfitting. Il parametro n_estimators è impostato sul numero di alberi. + +- [AdaBoost](https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.AdaBoostClassifier.html) adatta un classificatore a un dataset e poi adatta copie di quel classificatore allo stesso dataset. Si concentra sui pesi degli elementi classificati in modo errato e regola l'adattamento per il classificatore successivo per correggere. + +--- + +## 🚀Sfida + +Ognuna di queste tecniche ha un gran numero di parametri che puoi modificare. Ricerca i parametri di default di ciascuna e pensa a cosa significherebbe modificare questi parametri per la qualità del modello. + +## [Quiz post-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/24/) + +## Revisione & Studio Autonomo + +C'è molto gergo in queste lezioni, quindi prenditi un momento per rivedere [questa lista](https://docs.microsoft.com/dotnet/machine-learning/resources/glossary?WT.mc_id=academic-77952-leestott) di terminologia utile! + +## Compito + +[Gioca con i parametri](assignment.md) + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatizzati basati su AI. Sebbene ci impegniamo per l'accuratezza, si prega di notare che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/4-Classification/3-Classifiers-2/assignment.md b/translations/it/4-Classification/3-Classifiers-2/assignment.md new file mode 100644 index 000000000..521ce9c6f --- /dev/null +++ b/translations/it/4-Classification/3-Classifiers-2/assignment.md @@ -0,0 +1,14 @@ +# Giocare con i Parametri + +## Istruzioni + +Ci sono molti parametri che vengono impostati di default quando si lavora con questi classificatori. Intellisense in VS Code può aiutarti a esplorarli. Adotta una delle Tecniche di Classificazione ML in questa lezione e addestra nuovamente i modelli modificando vari valori dei parametri. Crea un notebook spiegando perché alcune modifiche migliorano la qualità del modello mentre altre la peggiorano. Sii dettagliato nella tua risposta. + +## Rubrica + +| Criteri | Esemplare | Adeguato | Da Migliorare | +| -------- | ---------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------- | ----------------------------- | +| | Viene presentato un notebook con un classificatore completamente costruito e i suoi parametri modificati e spiegati nei textboxes | Viene presentato un notebook parzialmente o spiegato male | Il notebook presenta bug o errori | + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatizzata basati su AI. Sebbene ci sforziamo di garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/4-Classification/3-Classifiers-2/solution/Julia/README.md b/translations/it/4-Classification/3-Classifiers-2/solution/Julia/README.md new file mode 100644 index 000000000..e38d44d30 --- /dev/null +++ b/translations/it/4-Classification/3-Classifiers-2/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Avvertenza**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su intelligenza artificiale. Sebbene ci impegniamo per garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua madre deve essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda la traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/4-Classification/4-Applied/README.md b/translations/it/4-Classification/4-Applied/README.md new file mode 100644 index 000000000..ad3a46a33 --- /dev/null +++ b/translations/it/4-Classification/4-Applied/README.md @@ -0,0 +1,317 @@ +# Costruisci un'app web per consigliare cucine + +In questa lezione, costruirai un modello di classificazione utilizzando alcune delle tecniche che hai imparato nelle lezioni precedenti e con il delizioso dataset di cucine utilizzato in tutta questa serie. Inoltre, costruirai una piccola app web per utilizzare un modello salvato, sfruttando il runtime web di Onnx. + +Uno degli usi pratici più utili del machine learning è la costruzione di sistemi di raccomandazione, e oggi puoi fare il primo passo in quella direzione! + +[](https://youtu.be/17wdM9AHMfg "Applied ML") + +> 🎥 Clicca sull'immagine sopra per un video: Jen Looper costruisce un'app web utilizzando dati classificati di cucina + +## [Quiz pre-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/25/) + +In questa lezione imparerai: + +- Come costruire un modello e salvarlo come modello Onnx +- Come usare Netron per ispezionare il modello +- Come utilizzare il tuo modello in un'app web per inferenza + +## Costruisci il tuo modello + +Costruire sistemi di ML applicati è una parte importante per sfruttare queste tecnologie nei tuoi sistemi aziendali. Puoi utilizzare modelli all'interno delle tue applicazioni web (e quindi usarli in un contesto offline se necessario) utilizzando Onnx. + +In una [lezione precedente](../../3-Web-App/1-Web-App/README.md), hai costruito un modello di regressione sulle osservazioni UFO, lo hai "pickled" e utilizzato in un'app Flask. Sebbene questa architettura sia molto utile da conoscere, è un'app Python full-stack, e i tuoi requisiti potrebbero includere l'uso di un'applicazione JavaScript. + +In questa lezione, puoi costruire un sistema di base basato su JavaScript per l'inferenza. Tuttavia, prima devi addestrare un modello e convertirlo per l'uso con Onnx. + +## Esercizio - addestra il modello di classificazione + +Prima di tutto, addestra un modello di classificazione utilizzando il dataset di cucine pulito che abbiamo usato. + +1. Inizia importando le librerie utili: + + ```python + !pip install skl2onnx + import pandas as pd + ``` + + Ti serve '[skl2onnx](https://onnx.ai/sklearn-onnx/)' per aiutarti a convertire il tuo modello Scikit-learn in formato Onnx. + +1. Poi, lavora con i tuoi dati nello stesso modo in cui hai fatto nelle lezioni precedenti, leggendo un file CSV usando `read_csv()`: + + ```python + data = pd.read_csv('../data/cleaned_cuisines.csv') + data.head() + ``` + +1. Rimuovi le prime due colonne non necessarie e salva i dati rimanenti come 'X': + + ```python + X = data.iloc[:,2:] + X.head() + ``` + +1. Salva le etichette come 'y': + + ```python + y = data[['cuisine']] + y.head() + + ``` + +### Inizia la routine di addestramento + +Utilizzeremo la libreria 'SVC' che ha una buona accuratezza. + +1. Importa le librerie appropriate da Scikit-learn: + + ```python + from sklearn.model_selection import train_test_split + from sklearn.svm import SVC + from sklearn.model_selection import cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report + ``` + +1. Separa i set di addestramento e test: + + ```python + X_train, X_test, y_train, y_test = train_test_split(X,y,test_size=0.3) + ``` + +1. Costruisci un modello di classificazione SVC come hai fatto nella lezione precedente: + + ```python + model = SVC(kernel='linear', C=10, probability=True,random_state=0) + model.fit(X_train,y_train.values.ravel()) + ``` + +1. Ora, testa il tuo modello, chiamando `predict()`: + + ```python + y_pred = model.predict(X_test) + ``` + +1. Stampa un rapporto di classificazione per verificare la qualità del modello: + + ```python + print(classification_report(y_test,y_pred)) + ``` + + Come abbiamo visto prima, l'accuratezza è buona: + + ```output + precision recall f1-score support + + chinese 0.72 0.69 0.70 257 + indian 0.91 0.87 0.89 243 + japanese 0.79 0.77 0.78 239 + korean 0.83 0.79 0.81 236 + thai 0.72 0.84 0.78 224 + + accuracy 0.79 1199 + macro avg 0.79 0.79 0.79 1199 + weighted avg 0.79 0.79 0.79 1199 + ``` + +### Converti il tuo modello in Onnx + +Assicurati di fare la conversione con il numero corretto di Tensor. Questo dataset ha 380 ingredienti elencati, quindi devi annotare quel numero in `FloatTensorType`: + +1. Converti usando un numero di tensor di 380. + + ```python + from skl2onnx import convert_sklearn + from skl2onnx.common.data_types import FloatTensorType + + initial_type = [('float_input', FloatTensorType([None, 380]))] + options = {id(model): {'nocl': True, 'zipmap': False}} + ``` + +1. Crea il file onx e salvalo come **model.onnx**: + + ```python + onx = convert_sklearn(model, initial_types=initial_type, options=options) + with open("./model.onnx", "wb") as f: + f.write(onx.SerializeToString()) + ``` + + > Nota, puoi passare [opzioni](https://onnx.ai/sklearn-onnx/parameterized.html) nel tuo script di conversione. In questo caso, abbiamo passato 'nocl' come True e 'zipmap' come False. Poiché questo è un modello di classificazione, hai l'opzione di rimuovere ZipMap che produce un elenco di dizionari (non necessario). `nocl` refers to class information being included in the model. Reduce your model's size by setting `nocl` to 'True'. + +Running the entire notebook will now build an Onnx model and save it to this folder. + +## View your model + +Onnx models are not very visible in Visual Studio code, but there's a very good free software that many researchers use to visualize the model to ensure that it is properly built. Download [Netron](https://github.com/lutzroeder/Netron) and open your model.onnx file. You can see your simple model visualized, with its 380 inputs and classifier listed: + + + +Netron is a helpful tool to view your models. + +Now you are ready to use this neat model in a web app. Let's build an app that will come in handy when you look in your refrigerator and try to figure out which combination of your leftover ingredients you can use to cook a given cuisine, as determined by your model. + +## Build a recommender web application + +You can use your model directly in a web app. This architecture also allows you to run it locally and even offline if needed. Start by creating an `index.html` file in the same folder where you stored your `model.onnx` file. + +1. In questo file _index.html_, aggiungi il seguente markup: + + ```html + + + + + + ... + + + ``` + +1. Ora, lavorando all'interno dei tag `body`, aggiungi un po' di markup per mostrare un elenco di caselle di controllo che riflettono alcuni ingredienti: + + ```html +Cuisine Matcher +Check your refrigerator. What can you create?
++++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + +++ ++ ``` + + Nota che ogni casella di controllo ha un valore. Questo riflette l'indice dove l'ingrediente si trova secondo il dataset. La mela, per esempio, in questa lista alfabetica, occupa la quinta colonna, quindi il suo valore è '4' poiché iniziamo a contare da 0. Puoi consultare il [foglio di calcolo degli ingredienti](../../../../4-Classification/data/ingredient_indexes.csv) per scoprire l'indice di un dato ingrediente. + + Continuando il tuo lavoro nel file index.html, aggiungi un blocco di script dove il modello viene chiamato dopo l'ultimo `` di chiusura. + +1. Prima, importa il [Runtime Onnx](https://www.onnxruntime.ai/): + + ```html + + ``` + + > Onnx Runtime è utilizzato per abilitare l'esecuzione dei tuoi modelli Onnx su una vasta gamma di piattaforme hardware, inclusi ottimizzazioni e un'API da utilizzare. + +1. Una volta che il Runtime è in posizione, puoi chiamarlo: + + ```html + + ``` + +In questo codice, ci sono diverse cose che stanno succedendo: + +1. Hai creato un array di 380 valori possibili (1 o 0) da impostare e inviare al modello per l'inferenza, a seconda che una casella di controllo dell'ingrediente sia selezionata. +2. Hai creato un array di caselle di controllo e un modo per determinare se sono state selezionate in un `init` function that is called when the application starts. When a checkbox is checked, the `ingredients` array is altered to reflect the chosen ingredient. +3. You created a `testCheckboxes` function that checks whether any checkbox was checked. +4. You use `startInference` function when the button is pressed and, if any checkbox is checked, you start inference. +5. The inference routine includes: + 1. Setting up an asynchronous load of the model + 2. Creating a Tensor structure to send to the model + 3. Creating 'feeds' that reflects the `float_input` input that you created when training your model (you can use Netron to verify that name) + 4. Sending these 'feeds' to the model and waiting for a response + +## Test your application + +Open a terminal session in Visual Studio Code in the folder where your index.html file resides. Ensure that you have [http-server](https://www.npmjs.com/package/http-server) installed globally, and type `http-server` al prompt. Si dovrebbe aprire un localhost e puoi visualizzare la tua app web. Controlla quale cucina viene consigliata in base a vari ingredienti: + + + +Congratulazioni, hai creato un'app web di 'raccomandazione' con alcuni campi. Prenditi del tempo per sviluppare ulteriormente questo sistema! +## 🚀Sfida + +La tua app web è molto minimale, quindi continua a svilupparla utilizzando gli ingredienti e i loro indici dai dati [ingredient_indexes](../../../../4-Classification/data/ingredient_indexes.csv). Quali combinazioni di sapori funzionano per creare un piatto nazionale dato? + +## [Quiz post-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/26/) + +## Revisione e auto-studio + +Mentre questa lezione ha solo toccato l'utilità di creare un sistema di raccomandazione per gli ingredienti alimentari, quest'area delle applicazioni ML è molto ricca di esempi. Leggi di più su come vengono costruiti questi sistemi: + +- https://www.sciencedirect.com/topics/computer-science/recommendation-engine +- https://www.technologyreview.com/2014/08/25/171547/the-ultimate-challenge-for-recommendation-engines/ +- https://www.technologyreview.com/2015/03/23/168831/everything-is-a-recommendation/ + +## Compito + +[Costruisci un nuovo raccomandatore](assignment.md) + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatizzata basati su AI. Sebbene ci sforziamo di garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatizzate possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione umana professionale. Non siamo responsabili per eventuali incomprensioni o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/4-Classification/4-Applied/assignment.md b/translations/it/4-Classification/4-Applied/assignment.md new file mode 100644 index 000000000..bb69021b8 --- /dev/null +++ b/translations/it/4-Classification/4-Applied/assignment.md @@ -0,0 +1,14 @@ +# Costruisci un sistema di raccomandazione + +## Istruzioni + +Considerando i tuoi esercizi in questa lezione, ora sai come costruire un'app web basata su JavaScript utilizzando Onnx Runtime e un modello Onnx convertito. Sperimenta costruendo un nuovo sistema di raccomandazione utilizzando i dati di queste lezioni o provenienti da altre fonti (dai credito, per favore). Potresti creare un sistema di raccomandazione per animali domestici basato su vari attributi di personalità, oppure un sistema di raccomandazione di generi musicali basato sull'umore di una persona. Sii creativo! + +## Rubrica + +| Criteri | Esemplare | Adeguato | Da migliorare | +| -------- | ---------------------------------------------------------------------- | ------------------------------------- | --------------------------------- | +| | Vengono presentati un'app web e un notebook, entrambi ben documentati e funzionanti | Uno dei due manca o è difettoso | Entrambi mancano o sono difettosi | + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su AI. Sebbene ci impegniamo per l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/4-Classification/README.md b/translations/it/4-Classification/README.md new file mode 100644 index 000000000..d8b83d720 --- /dev/null +++ b/translations/it/4-Classification/README.md @@ -0,0 +1,30 @@ +# Introduzione alla classificazione + +## Argomento regionale: Deliziose cucine asiatiche e indiane 🍜 + +In Asia e India, le tradizioni culinarie sono estremamente diverse e molto deliziose! Esaminiamo i dati sulle cucine regionali per cercare di capire i loro ingredienti. + + +> Foto di Lisheng Chang su Unsplash + +## Cosa imparerai + +In questa sezione, approfondirai il tuo studio della Regressione e imparerai a conoscere altri classificatori che puoi utilizzare per comprendere meglio i dati. + +> Esistono utili strumenti low-code che possono aiutarti a imparare a lavorare con i modelli di classificazione. Prova [Azure ML per questo compito](https://docs.microsoft.com/learn/modules/create-classification-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott) + +## Lezioni + +1. [Introduzione alla classificazione](1-Introduction/README.md) +2. [Altri classificatori](2-Classifiers-1/README.md) +3. [Ancora altri classificatori](3-Classifiers-2/README.md) +4. [ML applicato: costruisci un'app web](4-Applied/README.md) + +## Crediti + +"Introduzione alla classificazione" è stato scritto con ♥️ da [Cassie Breviu](https://www.twitter.com/cassiebreviu) e [Jen Looper](https://www.twitter.com/jenlooper) + +Il dataset delle deliziose cucine è stato ottenuto da [Kaggle](https://www.kaggle.com/hoandan/asian-and-indian-cuisines). + +**Avvertenza**: +Questo documento è stato tradotto utilizzando servizi di traduzione basati su intelligenza artificiale. Sebbene ci impegniamo per garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatizzate possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/5-Clustering/1-Visualize/README.md b/translations/it/5-Clustering/1-Visualize/README.md new file mode 100644 index 000000000..ff60513b2 --- /dev/null +++ b/translations/it/5-Clustering/1-Visualize/README.md @@ -0,0 +1,215 @@ +# Introduzione al clustering + +Il clustering è un tipo di [Apprendimento Non Supervisionato](https://wikipedia.org/wiki/Unsupervised_learning) che presuppone che un dataset sia non etichettato o che i suoi input non siano associati a output predefiniti. Utilizza vari algoritmi per ordinare i dati non etichettati e fornire raggruppamenti secondo i pattern che rileva nei dati. + +[](https://youtu.be/ty2advRiWJM "No One Like You di PSquare") + +> 🎥 Clicca sull'immagine sopra per un video. Mentre studi il machine learning con il clustering, goditi alcuni brani Dance Hall nigeriani - questa è una canzone molto apprezzata del 2014 di PSquare. +## [Quiz pre-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/27/) +### Introduzione + +Il [clustering](https://link.springer.com/referenceworkentry/10.1007%2F978-0-387-30164-8_124) è molto utile per l'esplorazione dei dati. Vediamo se può aiutare a scoprire tendenze e pattern nel modo in cui il pubblico nigeriano consuma musica. + +✅ Prenditi un minuto per pensare agli usi del clustering. Nella vita reale, il clustering avviene ogni volta che hai un mucchio di biancheria e devi separare i vestiti dei membri della tua famiglia 🧦👕👖🩲. In data science, il clustering avviene quando si cerca di analizzare le preferenze di un utente o di determinare le caratteristiche di qualsiasi dataset non etichettato. Il clustering, in un certo senso, aiuta a dare un senso al caos, come un cassetto dei calzini. + +[](https://youtu.be/esmzYhuFnds "Introduzione al Clustering") + +> 🎥 Clicca sull'immagine sopra per un video: John Guttag del MIT introduce il clustering + +In un contesto professionale, il clustering può essere utilizzato per determinare cose come la segmentazione del mercato, determinare quali fasce d'età acquistano quali articoli, per esempio. Un altro uso sarebbe il rilevamento delle anomalie, forse per rilevare frodi in un dataset di transazioni con carta di credito. Oppure potresti usare il clustering per determinare i tumori in un lotto di scansioni mediche. + +✅ Pensa un minuto a come potresti aver incontrato il clustering 'nel mondo reale', in un contesto bancario, di e-commerce o aziendale. + +> 🎓 Interessante, l'analisi dei cluster ha avuto origine nei campi dell'Antropologia e della Psicologia negli anni '30. Riesci a immaginare come potrebbe essere stata utilizzata? + +In alternativa, potresti usarlo per raggruppare i risultati di ricerca - per link di shopping, immagini o recensioni, per esempio. Il clustering è utile quando hai un grande dataset che vuoi ridurre e su cui vuoi eseguire un'analisi più granulare, quindi la tecnica può essere utilizzata per conoscere i dati prima che vengano costruiti altri modelli. + +✅ Una volta che i tuoi dati sono organizzati in cluster, gli assegni un Id di cluster, e questa tecnica può essere utile quando si preserva la privacy di un dataset; puoi invece fare riferimento a un punto dati tramite il suo Id di cluster, piuttosto che tramite dati identificabili più rivelatori. Riesci a pensare ad altri motivi per cui faresti riferimento a un Id di cluster piuttosto che ad altri elementi del cluster per identificarlo? + +Approfondisci la tua comprensione delle tecniche di clustering in questo [modulo di apprendimento](https://docs.microsoft.com/learn/modules/train-evaluate-cluster-models?WT.mc_id=academic-77952-leestott) +## Iniziare con il clustering + +[Scikit-learn offre una vasta gamma](https://scikit-learn.org/stable/modules/clustering.html) di metodi per eseguire il clustering. Il tipo che scegli dipenderà dal tuo caso d'uso. Secondo la documentazione, ogni metodo ha vari vantaggi. Ecco una tabella semplificata dei metodi supportati da Scikit-learn e i loro casi d'uso appropriati: + +| Nome del metodo | Caso d'uso | +| :--------------------------- | :--------------------------------------------------------------------- | +| K-Means | uso generale, induttivo | +| Affinity propagation | molti, cluster irregolari, induttivo | +| Mean-shift | molti, cluster irregolari, induttivo | +| Spectral clustering | pochi, cluster regolari, transduttivo | +| Ward hierarchical clustering | molti, cluster vincolati, transduttivo | +| Agglomerative clustering | molti, vincolati, distanze non euclidee, transduttivo | +| DBSCAN | geometria non piatta, cluster irregolari, transduttivo | +| OPTICS | geometria non piatta, cluster irregolari con densità variabile, transduttivo | +| Gaussian mixtures | geometria piatta, induttivo | +| BIRCH | grande dataset con outlier, induttivo | + +> 🎓 Come creiamo i cluster ha molto a che fare con come raccogliamo i punti dati nei gruppi. Esploriamo un po' di vocabolario: +> +> 🎓 ['Transduttivo' vs. 'induttivo'](https://wikipedia.org/wiki/Transduction_(machine_learning)) +> +> L'inferenza transduttiva è derivata dai casi di addestramento osservati che mappano su casi di test specifici. L'inferenza induttiva è derivata dai casi di addestramento che mappano su regole generali che vengono poi applicate ai casi di test. +> +> Un esempio: Immagina di avere un dataset parzialmente etichettato. Alcune cose sono 'dischi', altre 'cd', e alcune sono vuote. Il tuo compito è fornire etichette per i vuoti. Se scegli un approccio induttivo, addestreresti un modello cercando 'dischi' e 'cd', e applichi quelle etichette ai tuoi dati non etichettati. Questo approccio avrà difficoltà a classificare cose che sono effettivamente 'cassette'. Un approccio transduttivo, d'altra parte, gestisce questi dati sconosciuti in modo più efficace poiché lavora per raggruppare oggetti simili e poi applica un'etichetta a un gruppo. In questo caso, i cluster potrebbero riflettere 'oggetti musicali rotondi' e 'oggetti musicali quadrati'. +> +> 🎓 ['Geometria non piatta' vs. 'piatta'](https://datascience.stackexchange.com/questions/52260/terminology-flat-geometry-in-the-context-of-clustering) +> +> Derivato dalla terminologia matematica, la geometria non piatta vs. piatta si riferisce alla misura delle distanze tra punti tramite metodi geometrici 'piatti' ([Euclidei](https://wikipedia.org/wiki/Euclidean_geometry)) o 'non piatti' (non Euclidei). +> +>'Piatta' in questo contesto si riferisce alla geometria euclidea (parti della quale sono insegnate come geometria 'piana'), e non piatta si riferisce alla geometria non euclidea. Cosa c'entra la geometria con il machine learning? Beh, come due campi che sono radicati nella matematica, deve esserci un modo comune per misurare le distanze tra punti nei cluster, e ciò può essere fatto in modo 'piatto' o 'non piatto', a seconda della natura dei dati. Le [distanze euclidee](https://wikipedia.org/wiki/Euclidean_distance) sono misurate come la lunghezza di un segmento di linea tra due punti. Le [distanze non euclidee](https://wikipedia.org/wiki/Non-Euclidean_geometry) sono misurate lungo una curva. Se i tuoi dati, visualizzati, sembrano non esistere su un piano, potresti dover usare un algoritmo specializzato per gestirli. +> + +> Infografica di [Dasani Madipalli](https://twitter.com/dasani_decoded) +> +> 🎓 ['Distanze'](https://web.stanford.edu/class/cs345a/slides/12-clustering.pdf) +> +> I cluster sono definiti dalla loro matrice di distanze, ad esempio le distanze tra i punti. Questa distanza può essere misurata in vari modi. I cluster euclidei sono definiti dalla media dei valori dei punti e contengono un 'centroide' o punto centrale. Le distanze sono quindi misurate dalla distanza da quel centroide. Le distanze non euclidee si riferiscono ai 'clustroidi', il punto più vicino ad altri punti. I clustroidi a loro volta possono essere definiti in vari modi. +> +> 🎓 ['Vincolato'](https://wikipedia.org/wiki/Constrained_clustering) +> +> Il [Clustering Vincolato](https://web.cs.ucdavis.edu/~davidson/Publications/ICDMTutorial.pdf) introduce l'apprendimento 'semi-supervisionato' in questo metodo non supervisionato. Le relazioni tra i punti sono segnate come 'non può collegare' o 'deve collegare' quindi alcune regole vengono imposte sul dataset. +> +>Un esempio: Se un algoritmo viene lasciato libero su un lotto di dati non etichettati o semi-etichettati, i cluster che produce possono essere di scarsa qualità. Nell'esempio sopra, i cluster potrebbero raggruppare 'oggetti musicali rotondi' e 'oggetti musicali quadrati' e 'oggetti triangolari' e 'biscotti'. Se vengono dati alcuni vincoli, o regole da seguire ("l'oggetto deve essere fatto di plastica", "l'oggetto deve essere in grado di produrre musica") ciò può aiutare a 'vincolare' l'algoritmo a fare scelte migliori. +> +> 🎓 'Densità' +> +> I dati che sono 'rumorosi' sono considerati 'densi'. Le distanze tra i punti in ciascuno dei suoi cluster possono risultare, all'esame, più o meno dense, o 'affollate' e quindi questi dati devono essere analizzati con il metodo di clustering appropriato. [Questo articolo](https://www.kdnuggets.com/2020/02/understanding-density-based-clustering.html) dimostra la differenza tra l'uso del clustering K-Means e gli algoritmi HDBSCAN per esplorare un dataset rumoroso con densità di cluster irregolare. + +## Algoritmi di clustering + +Esistono oltre 100 algoritmi di clustering, e il loro utilizzo dipende dalla natura dei dati in questione. Discutiamo alcuni dei principali: + +- **Clustering gerarchico**. Se un oggetto è classificato in base alla sua prossimità a un oggetto vicino, piuttosto che a uno più lontano, i cluster sono formati in base alla distanza dei loro membri da e verso altri oggetti. Il clustering agglomerativo di Scikit-learn è gerarchico. + +  + > Infografica di [Dasani Madipalli](https://twitter.com/dasani_decoded) + +- **Clustering del centroide**. Questo popolare algoritmo richiede la scelta di 'k', ovvero il numero di cluster da formare, dopo di che l'algoritmo determina il punto centrale di un cluster e raccoglie i dati attorno a quel punto. Il [clustering K-means](https://wikipedia.org/wiki/K-means_clustering) è una versione popolare del clustering del centroide. Il centro è determinato dalla media più vicina, da cui il nome. La distanza quadrata dal cluster è minimizzata. + +  + > Infografica di [Dasani Madipalli](https://twitter.com/dasani_decoded) + +- **Clustering basato sulla distribuzione**. Basato sulla modellazione statistica, il clustering basato sulla distribuzione si concentra sulla determinazione della probabilità che un punto dati appartenga a un cluster e lo assegna di conseguenza. I metodi di miscele gaussiane appartengono a questo tipo. + +- **Clustering basato sulla densità**. I punti dati sono assegnati ai cluster in base alla loro densità, o al loro raggruppamento tra di loro. I punti dati lontani dal gruppo sono considerati outlier o rumore. DBSCAN, Mean-shift e OPTICS appartengono a questo tipo di clustering. + +- **Clustering basato sulla griglia**. Per dataset multidimensionali, viene creata una griglia e i dati vengono divisi tra le celle della griglia, creando così i cluster. + +## Esercizio - raggruppa i tuoi dati + +Il clustering come tecnica è notevolmente facilitato da una visualizzazione adeguata, quindi iniziamo visualizzando i nostri dati musicali. Questo esercizio ci aiuterà a decidere quale dei metodi di clustering utilizzare in modo più efficace per la natura di questi dati. + +1. Apri il file [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/1-Visualize/notebook.ipynb) in questa cartella. + +1. Importa il pacchetto `Seaborn` per una buona visualizzazione dei dati. + + ```python + !pip install seaborn + ``` + +1. Aggiungi i dati delle canzoni dal file [_nigerian-songs.csv_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/data/nigerian-songs.csv). Carica un dataframe con alcuni dati sulle canzoni. Preparati a esplorare questi dati importando le librerie e scaricando i dati: + + ```python + import matplotlib.pyplot as plt + import pandas as pd + + df = pd.read_csv("../data/nigerian-songs.csv") + df.head() + ``` + + Controlla le prime righe di dati: + + | | nome | album | artista | genere_top_artista | data_rilascio | durata | popolarità | ballabilità | acusticità | energia | strumentalità | vivacità | volume | parlato | tempo | firma_temporale | + | --- | ----------------------- | ---------------------------- | ------------------- | ------------------ | ------------- | ------ | ---------- | ----------- | ----------- | ------- | -------------- | -------- | -------- | ----------- | ------- | -------------- | + | 0 | Sparky | Mandy & The Jungle | Cruel Santino | alternative r&b | 2019 | 144000 | 48 | 0.666 | 0.851 | 0.42 | 0.534 | 0.11 | -6.699 | 0.0829 | 133.015 | 5 | + | 1 | shuga rush | EVERYTHING YOU HEARD IS TRUE | Odunsi (The Engine) | afropop | 2020 | 89488 | 30 | 0.71 | 0.0822 | 0.683 | 0.000169 | 0.101 | -5.64 | 0.36 | 129.993 | 3 | + | 2 | LITT! | LITT! | AYLØ | indie r&b | 2018 | 207758 | 40 | 0.836 | 0.272 | 0.564 | 0.000537 | 0.11 | -7.127 | 0.0424 | 130.005 | 4 | + | 3 | Confident / Feeling Cool| Enjoy Your Life | Lady Donli | nigerian pop | 2019 | 175135 | 14 | 0.894 | 0.798 | 0.611 | 0.000187 | 0.0964 | -4.961 | 0.113 | 111.087 | 4 | + | 4 | wanted you | rare. | Odunsi (The Engine) | afropop | 2018 | 152049 | 25 | 0.702 | 0.116 | 0.833 | 0.91 | 0.348 | -6.044 | 0.0447 | 105.115 | 4 | + +1. Ottieni alcune informazioni sul dataframe, chiamando `info()`: + + ```python + df.info() + ``` + + L'output appare così: + + ```output ++ RangeIndex: 530 entries, 0 to 529 + Data columns (total 16 columns): + # Column Non-Null Count Dtype + --- ------ -------------- ----- + 0 name 530 non-null object + 1 album 530 non-null object + 2 artist 530 non-null object + 3 artist_top_genre 530 non-null object + 4 release_date 530 non-null int64 + 5 length 530 non-null int64 + 6 popularity 530 non-null int64 + 7 danceability 530 non-null float64 + 8 acousticness 530 non-null float64 + 9 energy 530 non-null float64 + 10 instrumentalness 530 non-null float64 + 11 liveness 530 non-null float64 + 12 loudness 530 non-null float64 + 13 speechiness 530 non-null float64 + 14 tempo 530 non-null float64 + 15 time_signature 530 non-null int64 + dtypes: float64(8), int64(4), object(4) + memory usage: 66.4+ KB + ``` + +1. Controlla di nuovo per valori nulli, chiamando `isnull()` e verificando che la somma sia 0: + + ```python + df.isnull().sum() + ``` + + Sembra tutto a posto: + + ```output + name 0 + album 0 + artist 0 + artist_top_genre 0 + release_date 0 + length 0 + popularity 0 + danceability 0 + acousticness 0 + energy 0 + instrumentalness 0 + liveness 0 + loudness 0 + speechiness 0 + tempo 0 + time_signature 0 + dtype: int64 + ``` + +1. Descrivi i dati: + + ```python + df.describe() + ``` + + | | data_rilascio | durata | popolarità | ballabilità | acusticità | energia | strumentalità | vivacità | volume | parlato | tempo | firma_temporale | + | ----- | ------------- | ----------- | ---------- | ----------- | ----------- | -------- | -------------- | -------- | --------- | ----------- | ---------- | -------------- | + | count | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | + | mean | 2015.390566 | 222298.1698 | 17.507547 | 0.741619 | 0.265412 | 0.760623 | 0.016305 | 0.147308 | -4.953011 | 0.130748 | 116.487864 | +## [Quiz post-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/28/) + +## Revisione e Autoapprendimento + +Prima di applicare gli algoritmi di clustering, come abbiamo imparato, è una buona idea comprendere la natura del tuo dataset. Leggi di più su questo argomento [qui](https://www.kdnuggets.com/2019/10/right-clustering-algorithm.html) + +[Questo articolo utile](https://www.freecodecamp.org/news/8-clustering-algorithms-in-machine-learning-that-all-data-scientists-should-know/) ti guida attraverso i diversi modi in cui vari algoritmi di clustering si comportano, date diverse forme di dati. + +## Compito + +[Esplora altre visualizzazioni per il clustering](assignment.md) + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su AI. Sebbene ci impegniamo per l'accuratezza, si prega di notare che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua madre dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/5-Clustering/1-Visualize/assignment.md b/translations/it/5-Clustering/1-Visualize/assignment.md new file mode 100644 index 000000000..02c9d5d41 --- /dev/null +++ b/translations/it/5-Clustering/1-Visualize/assignment.md @@ -0,0 +1,14 @@ +# Ricerca di altre visualizzazioni per il clustering + +## Istruzioni + +In questa lezione, hai lavorato con alcune tecniche di visualizzazione per comprendere come rappresentare graficamente i tuoi dati in preparazione per il clustering. Gli scatterplot, in particolare, sono utili per trovare gruppi di oggetti. Ricerca diversi modi e librerie per creare scatterplot e documenta il tuo lavoro in un notebook. Puoi utilizzare i dati di questa lezione, di altre lezioni, o dati che procuri tu stesso (per favore, accredita comunque la loro fonte nel tuo notebook). Traccia alcuni dati usando scatterplot e spiega cosa scopri. + +## Rubrica + +| Criteri | Esemplare | Adeguato | Da migliorare | +| -------- | -------------------------------------------------------------- | ---------------------------------------------------------------------------------------- | ----------------------------------- | +| | Viene presentato un notebook con cinque scatterplot ben documentati | Viene presentato un notebook con meno di cinque scatterplot ed è meno ben documentato | Viene presentato un notebook incompleto | + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatizzati basati su AI. Sebbene ci sforziamo di garantire l'accuratezza, si prega di notare che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/5-Clustering/1-Visualize/solution/Julia/README.md b/translations/it/5-Clustering/1-Visualize/solution/Julia/README.md new file mode 100644 index 000000000..5c56a1b96 --- /dev/null +++ b/translations/it/5-Clustering/1-Visualize/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Avvertenza**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su AI. Sebbene ci sforziamo per l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali fraintendimenti o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/5-Clustering/2-K-Means/README.md b/translations/it/5-Clustering/2-K-Means/README.md new file mode 100644 index 000000000..ef9c4afa1 --- /dev/null +++ b/translations/it/5-Clustering/2-K-Means/README.md @@ -0,0 +1,250 @@ +# Clustering K-Means + +## [Quiz pre-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/29/) + +In questa lezione, imparerai come creare cluster utilizzando Scikit-learn e il dataset della musica nigeriana che hai importato in precedenza. Copriremo le basi del K-Means per il clustering. Tieni presente che, come hai appreso nella lezione precedente, ci sono molti modi per lavorare con i cluster e il metodo che usi dipende dai tuoi dati. Proveremo il K-Means poiché è la tecnica di clustering più comune. Iniziamo! + +Termini che imparerai: + +- Silhouette scoring +- Metodo dell'Elbow +- Inerzia +- Varianza + +## Introduzione + +[K-Means Clustering](https://wikipedia.org/wiki/K-means_clustering) è un metodo derivato dal campo dell'elaborazione del segnale. Viene utilizzato per dividere e partizionare gruppi di dati in 'k' cluster utilizzando una serie di osservazioni. Ogni osservazione lavora per raggruppare un dato punto dati più vicino al suo 'mean' più vicino, o il punto centrale di un cluster. + +I cluster possono essere visualizzati come [diagrammi di Voronoi](https://wikipedia.org/wiki/Voronoi_diagram), che includono un punto (o 'seme') e la sua corrispondente regione. + + + +> infografica di [Jen Looper](https://twitter.com/jenlooper) + +Il processo di clustering K-Means [si esegue in tre fasi](https://scikit-learn.org/stable/modules/clustering.html#k-means): + +1. L'algoritmo seleziona un numero k di punti centrali campionando dal dataset. Dopo questo, cicla: + 1. Assegna ogni campione al centroide più vicino. + 2. Crea nuovi centroidi prendendo il valore medio di tutti i campioni assegnati ai centroidi precedenti. + 3. Poi, calcola la differenza tra i nuovi e i vecchi centroidi e ripete finché i centroidi non si stabilizzano. + +Uno svantaggio dell'utilizzo del K-Means è che dovrai stabilire 'k', cioè il numero di centroidi. Fortunatamente, il 'metodo dell'Elbow' aiuta a stimare un buon valore di partenza per 'k'. Lo proverai tra un minuto. + +## Prerequisito + +Lavorerai nel file [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/2-K-Means/notebook.ipynb) di questa lezione che include l'importazione dei dati e la pulizia preliminare che hai fatto nella lezione precedente. + +## Esercizio - preparazione + +Inizia dando un'altra occhiata ai dati delle canzoni. + +1. Crea un boxplot, chiamando `boxplot()` per ogni colonna: + + ```python + plt.figure(figsize=(20,20), dpi=200) + + plt.subplot(4,3,1) + sns.boxplot(x = 'popularity', data = df) + + plt.subplot(4,3,2) + sns.boxplot(x = 'acousticness', data = df) + + plt.subplot(4,3,3) + sns.boxplot(x = 'energy', data = df) + + plt.subplot(4,3,4) + sns.boxplot(x = 'instrumentalness', data = df) + + plt.subplot(4,3,5) + sns.boxplot(x = 'liveness', data = df) + + plt.subplot(4,3,6) + sns.boxplot(x = 'loudness', data = df) + + plt.subplot(4,3,7) + sns.boxplot(x = 'speechiness', data = df) + + plt.subplot(4,3,8) + sns.boxplot(x = 'tempo', data = df) + + plt.subplot(4,3,9) + sns.boxplot(x = 'time_signature', data = df) + + plt.subplot(4,3,10) + sns.boxplot(x = 'danceability', data = df) + + plt.subplot(4,3,11) + sns.boxplot(x = 'length', data = df) + + plt.subplot(4,3,12) + sns.boxplot(x = 'release_date', data = df) + ``` + + Questi dati sono un po' rumorosi: osservando ogni colonna come un boxplot, puoi vedere i valori anomali. + +  + +Potresti passare attraverso il dataset e rimuovere questi valori anomali, ma ciò renderebbe i dati piuttosto minimi. + +1. Per ora, scegli quali colonne utilizzerai per il tuo esercizio di clustering. Scegli quelle con intervalli simili e codifica la colonna `artist_top_genre` come dati numerici: + + ```python + from sklearn.preprocessing import LabelEncoder + le = LabelEncoder() + + X = df.loc[:, ('artist_top_genre','popularity','danceability','acousticness','loudness','energy')] + + y = df['artist_top_genre'] + + X['artist_top_genre'] = le.fit_transform(X['artist_top_genre']) + + y = le.transform(y) + ``` + +1. Ora devi scegliere quanti cluster mirare. Sai che ci sono 3 generi di canzoni che abbiamo estratto dal dataset, quindi proviamo con 3: + + ```python + from sklearn.cluster import KMeans + + nclusters = 3 + seed = 0 + + km = KMeans(n_clusters=nclusters, random_state=seed) + km.fit(X) + + # Predict the cluster for each data point + + y_cluster_kmeans = km.predict(X) + y_cluster_kmeans + ``` + +Vedrai un array stampato con cluster previsti (0, 1 o 2) per ogni riga del dataframe. + +1. Usa questo array per calcolare un 'silhouette score': + + ```python + from sklearn import metrics + score = metrics.silhouette_score(X, y_cluster_kmeans) + score + ``` + +## Silhouette score + +Cerca un silhouette score vicino a 1. Questo punteggio varia da -1 a 1, e se il punteggio è 1, il cluster è denso e ben separato dagli altri cluster. Un valore vicino a 0 rappresenta cluster sovrapposti con campioni molto vicini al confine decisionale dei cluster vicini. [(Fonte)](https://dzone.com/articles/kmeans-silhouette-score-explained-with-python-exam) + +Il nostro punteggio è **.53**, quindi a metà strada. Questo indica che i nostri dati non sono particolarmente adatti a questo tipo di clustering, ma continuiamo. + +### Esercizio - costruisci un modello + +1. Importa `KMeans` e inizia il processo di clustering. + + ```python + from sklearn.cluster import KMeans + wcss = [] + + for i in range(1, 11): + kmeans = KMeans(n_clusters = i, init = 'k-means++', random_state = 42) + kmeans.fit(X) + wcss.append(kmeans.inertia_) + + ``` + + Ci sono alcune parti qui che meritano spiegazioni. + + > 🎓 range: Queste sono le iterazioni del processo di clustering + + > 🎓 random_state: "Determina la generazione di numeri casuali per l'inizializzazione dei centroidi." [Fonte](https://scikit-learn.org/stable/modules/generated/sklearn.cluster.KMeans.html#sklearn.cluster.KMeans) + + > 🎓 WCSS: "within-cluster sums of squares" misura la distanza media quadratica di tutti i punti all'interno di un cluster dal centroide del cluster. [Fonte](https://medium.com/@ODSC/unsupervised-learning-evaluating-clusters-bd47eed175ce). + + > 🎓 Inerzia: Gli algoritmi K-Means tentano di scegliere i centroidi per minimizzare l'inerzia, "una misura di quanto siano coerenti internamente i cluster." [Fonte](https://scikit-learn.org/stable/modules/clustering.html). Il valore viene aggiunto alla variabile wcss a ogni iterazione. + + > 🎓 k-means++: In [Scikit-learn](https://scikit-learn.org/stable/modules/clustering.html#k-means) puoi usare l'ottimizzazione 'k-means++', che "inizializza i centroidi in modo che siano (generalmente) distanti tra loro, portando probabilmente a risultati migliori rispetto all'inizializzazione casuale." + +### Metodo dell'Elbow + +In precedenza, avevi ipotizzato che, poiché hai mirato a 3 generi di canzoni, dovresti scegliere 3 cluster. Ma è davvero così? + +1. Usa il 'metodo dell'Elbow' per essere sicuro. + + ```python + plt.figure(figsize=(10,5)) + sns.lineplot(x=range(1, 11), y=wcss, marker='o', color='red') + plt.title('Elbow') + plt.xlabel('Number of clusters') + plt.ylabel('WCSS') + plt.show() + ``` + + Usa la variabile `wcss` che hai costruito nel passaggio precedente per creare un grafico che mostra dove si trova la 'curva' nell'Elbow, che indica il numero ottimale di cluster. Forse è davvero 3! + +  + +## Esercizio - visualizza i cluster + +1. Prova di nuovo il processo, questa volta impostando tre cluster, e visualizza i cluster come uno scatterplot: + + ```python + from sklearn.cluster import KMeans + kmeans = KMeans(n_clusters = 3) + kmeans.fit(X) + labels = kmeans.predict(X) + plt.scatter(df['popularity'],df['danceability'],c = labels) + plt.xlabel('popularity') + plt.ylabel('danceability') + plt.show() + ``` + +1. Controlla l'accuratezza del modello: + + ```python + labels = kmeans.labels_ + + correct_labels = sum(y == labels) + + print("Result: %d out of %d samples were correctly labeled." % (correct_labels, y.size)) + + print('Accuracy score: {0:0.2f}'. format(correct_labels/float(y.size))) + ``` + + L'accuratezza di questo modello non è molto buona, e la forma dei cluster ti dà un indizio del perché. + +  + + Questi dati sono troppo sbilanciati, troppo poco correlati e c'è troppa varianza tra i valori delle colonne per clusterizzare bene. Infatti, i cluster che si formano sono probabilmente fortemente influenzati o distorti dalle tre categorie di generi che abbiamo definito sopra. È stato un processo di apprendimento! + + Nella documentazione di Scikit-learn, puoi vedere che un modello come questo, con cluster non molto ben demarcati, ha un problema di 'varianza': + +  + > Infografica da Scikit-learn + +## Varianza + +La varianza è definita come "la media delle differenze quadrate dalla media" [(Fonte)](https://www.mathsisfun.com/data/standard-deviation.html). Nel contesto di questo problema di clustering, si riferisce a dati in cui i numeri del nostro dataset tendono a divergere un po' troppo dalla media. + +✅ Questo è un ottimo momento per pensare a tutti i modi in cui potresti correggere questo problema. Modificare un po' di più i dati? Utilizzare colonne diverse? Usare un algoritmo diverso? Suggerimento: Prova a [scalare i tuoi dati](https://www.mygreatlearning.com/blog/learning-data-science-with-k-means-clustering/) per normalizzarli e testare altre colonne. + +> Prova questo '[calcolatore di varianza](https://www.calculatorsoup.com/calculators/statistics/variance-calculator.php)' per comprendere meglio il concetto. + +--- + +## 🚀Sfida + +Trascorri un po' di tempo con questo notebook, modificando i parametri. Puoi migliorare l'accuratezza del modello pulendo di più i dati (rimuovendo i valori anomali, ad esempio)? Puoi usare i pesi per dare più peso a determinati campioni di dati. Cos'altro puoi fare per creare cluster migliori? + +Suggerimento: Prova a scalare i tuoi dati. C'è del codice commentato nel notebook che aggiunge la scalatura standard per far sembrare le colonne dei dati più simili tra loro in termini di intervallo. Scoprirai che, mentre il silhouette score diminuisce, la 'curva' nel grafico dell'Elbow si appiana. Questo perché lasciare i dati non scalati permette ai dati con meno varianza di avere più peso. Leggi un po' di più su questo problema [qui](https://stats.stackexchange.com/questions/21222/are-mean-normalization-and-feature-scaling-needed-for-k-means-clustering/21226#21226). + +## [Quiz post-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/30/) + +## Revisione e studio autonomo + +Dai un'occhiata a un simulatore di K-Means [come questo](https://user.ceng.metu.edu.tr/~akifakkus/courses/ceng574/k-means/). Puoi usare questo strumento per visualizzare i punti dati campione e determinare i suoi centroidi. Puoi modificare la casualità dei dati, il numero di cluster e il numero di centroidi. Questo ti aiuta a farti un'idea di come i dati possono essere raggruppati? + +Dai anche un'occhiata a [questo documento sul K-Means](https://stanford.edu/~cpiech/cs221/handouts/kmeans.html) di Stanford. + +## Compito + +[Prova diversi metodi di clustering](assignment.md) + +**Avvertenza**: +Questo documento è stato tradotto utilizzando servizi di traduzione basati su intelligenza artificiale. Sebbene ci sforziamo di garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatizzate possono contenere errori o imprecisioni. Il documento originale nella sua lingua madre dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione umana professionale. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/5-Clustering/2-K-Means/assignment.md b/translations/it/5-Clustering/2-K-Means/assignment.md new file mode 100644 index 000000000..4609689cc --- /dev/null +++ b/translations/it/5-Clustering/2-K-Means/assignment.md @@ -0,0 +1,13 @@ +# Prova diversi metodi di clustering + +## Istruzioni + +In questa lezione hai imparato il clustering K-Means. A volte K-Means non è appropriato per i tuoi dati. Crea un notebook utilizzando dati provenienti da queste lezioni o da altre fonti (cita la tua fonte) e mostra un metodo di clustering diverso da K-Means. Cosa hai imparato? +## Rubrica + +| Criteri | Esemplare | Adeguato | Da migliorare | +| -------- | --------------------------------------------------------------- | -------------------------------------------------------------------- | ---------------------------- | +| | Viene presentato un notebook con un modello di clustering ben documentato | Viene presentato un notebook senza una buona documentazione e/o incompleto | Viene presentato un lavoro incompleto | + +**Avvertenza**: +Questo documento è stato tradotto utilizzando servizi di traduzione basati su intelligenza artificiale. Sebbene ci impegniamo per l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua madre dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali fraintendimenti o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/5-Clustering/2-K-Means/solution/Julia/README.md b/translations/it/5-Clustering/2-K-Means/solution/Julia/README.md new file mode 100644 index 000000000..ef10d169a --- /dev/null +++ b/translations/it/5-Clustering/2-K-Means/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su AI. Anche se ci impegniamo per l'accuratezza, si prega di notare che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali incomprensioni o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/5-Clustering/README.md b/translations/it/5-Clustering/README.md new file mode 100644 index 000000000..7f576f962 --- /dev/null +++ b/translations/it/5-Clustering/README.md @@ -0,0 +1,31 @@ +# Modelli di clustering per il machine learning + +Il clustering è un compito di machine learning che cerca di trovare oggetti che si somigliano e raggrupparli in gruppi chiamati cluster. Ciò che differenzia il clustering da altri approcci nel machine learning è che le cose avvengono automaticamente; infatti, si può dire che è l'opposto dell'apprendimento supervisionato. + +## Argomento regionale: modelli di clustering per i gusti musicali del pubblico nigeriano 🎧 + +Il pubblico nigeriano è molto variegato e ha gusti musicali diversi. Utilizzando dati estratti da Spotify (ispirati da [questo articolo](https://towardsdatascience.com/country-wise-visual-analysis-of-music-taste-using-spotify-api-seaborn-in-python-77f5b749b421)), diamo un'occhiata ad alcune delle musiche popolari in Nigeria. Questo dataset include dati su vari aspetti delle canzoni come il punteggio di 'ballabilità', 'acousticness', volume, 'speechiness', popolarità ed energia. Sarà interessante scoprire dei pattern in questi dati! + + + +> Foto di Marcela Laskoski su Unsplash + +In questa serie di lezioni, scoprirai nuovi modi per analizzare i dati utilizzando tecniche di clustering. Il clustering è particolarmente utile quando il tuo dataset manca di etichette. Se ha etichette, allora tecniche di classificazione come quelle apprese nelle lezioni precedenti potrebbero essere più utili. Ma nei casi in cui si desidera raggruppare dati non etichettati, il clustering è un ottimo modo per scoprire pattern. + +> Ci sono utili strumenti low-code che possono aiutarti a imparare a lavorare con i modelli di clustering. Prova [Azure ML per questo compito](https://docs.microsoft.com/learn/modules/create-clustering-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott) + +## Lezioni + +1. [Introduzione al clustering](1-Visualize/README.md) +2. [Clustering K-Means](2-K-Means/README.md) + +## Crediti + +Queste lezioni sono state scritte con 🎶 da [Jen Looper](https://www.twitter.com/jenlooper) con utili recensioni di [Rishit Dagli](https://rishit_dagli) e [Muhammad Sakib Khan Inan](https://twitter.com/Sakibinan). + +Il dataset [Nigerian Songs](https://www.kaggle.com/sootersaalu/nigerian-songs-spotify) è stato ottenuto da Kaggle come estratto da Spotify. + +Esempi utili di K-Means che hanno aiutato nella creazione di questa lezione includono questa [esplorazione dell'iris](https://www.kaggle.com/bburns/iris-exploration-pca-k-means-and-gmm-clustering), questo [notebook introduttivo](https://www.kaggle.com/prashant111/k-means-clustering-with-python), e questo [esempio ipotetico di ONG](https://www.kaggle.com/ankandash/pca-k-means-clustering-hierarchical-clustering). + +**Avvertenza**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su intelligenza artificiale. Anche se ci impegniamo per l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua madre dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione umana professionale. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/6-NLP/1-Introduction-to-NLP/README.md b/translations/it/6-NLP/1-Introduction-to-NLP/README.md new file mode 100644 index 000000000..59dcbb830 --- /dev/null +++ b/translations/it/6-NLP/1-Introduction-to-NLP/README.md @@ -0,0 +1,168 @@ +# Introduzione all'elaborazione del linguaggio naturale + +Questa lezione copre una breve storia e i concetti importanti dell'*elaborazione del linguaggio naturale*, un sotto-campo della *linguistica computazionale*. + +## [Quiz pre-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/31/) + +## Introduzione + +L'NLP, come è comunemente conosciuto, è una delle aree più note in cui il machine learning è stato applicato e utilizzato nel software di produzione. + +✅ Riesci a pensare a un software che usi ogni giorno che probabilmente ha dell'NLP integrato? Che dire dei tuoi programmi di elaborazione testi o delle app mobili che usi regolarmente? + +Imparerai a conoscere: + +- **L'idea delle lingue**. Come si sono sviluppate le lingue e quali sono state le principali aree di studio. +- **Definizione e concetti**. Imparerai anche definizioni e concetti su come i computer elaborano il testo, inclusi il parsing, la grammatica e l'identificazione di nomi e verbi. Ci sono alcuni compiti di codifica in questa lezione e vengono introdotti diversi concetti importanti che imparerai a programmare nelle prossime lezioni. + +## Linguistica computazionale + +La linguistica computazionale è un'area di ricerca e sviluppo che studia da decenni come i computer possono lavorare con le lingue, comprenderle, tradurle e comunicare con esse. L'elaborazione del linguaggio naturale (NLP) è un campo correlato che si concentra su come i computer possono elaborare le lingue 'naturali', o umane. + +### Esempio - dettatura telefonica + +Se hai mai dettato al tuo telefono invece di digitare o hai fatto una domanda a un assistente virtuale, il tuo discorso è stato convertito in una forma di testo e poi elaborato o *analizzato* dalla lingua che hai parlato. Le parole chiave rilevate sono state quindi elaborate in un formato che il telefono o l'assistente poteva comprendere e su cui poteva agire. + + +> La vera comprensione linguistica è difficile! Immagine di [Jen Looper](https://twitter.com/jenlooper) + +### Come è possibile questa tecnologia? + +Questo è possibile perché qualcuno ha scritto un programma per computer per farlo. Alcuni decenni fa, alcuni scrittori di fantascienza prevedevano che le persone avrebbero parlato principalmente ai loro computer, e i computer avrebbero sempre capito esattamente cosa intendevano. Purtroppo, si è rivelato un problema più difficile di quanto molti immaginassero, e sebbene oggi sia un problema molto meglio compreso, ci sono sfide significative nel raggiungere una 'perfetta' elaborazione del linguaggio naturale quando si tratta di comprendere il significato di una frase. Questo è un problema particolarmente difficile quando si tratta di comprendere l'umorismo o di rilevare emozioni come il sarcasmo in una frase. + +A questo punto, potresti ricordare le lezioni scolastiche in cui l'insegnante copriva le parti della grammatica in una frase. In alcuni paesi, agli studenti viene insegnata la grammatica e la linguistica come materia dedicata, ma in molti, questi argomenti sono inclusi come parte dell'apprendimento di una lingua: sia la tua prima lingua nella scuola primaria (imparare a leggere e scrivere) e forse una seconda lingua nella scuola post-primaria, o superiore. Non preoccuparti se non sei un esperto nel distinguere i nomi dai verbi o gli avverbi dagli aggettivi! + +Se hai difficoltà con la differenza tra il *presente semplice* e il *presente progressivo*, non sei solo. Questo è un problema impegnativo per molte persone, anche per i madrelingua di una lingua. La buona notizia è che i computer sono davvero bravi ad applicare regole formali, e imparerai a scrivere codice che può *analizzare* una frase così bene come un essere umano. La sfida più grande che esaminerai in seguito è comprendere il *significato* e il *sentimento* di una frase. + +## Prerequisiti + +Per questa lezione, il prerequisito principale è essere in grado di leggere e comprendere la lingua di questa lezione. Non ci sono problemi matematici o equazioni da risolvere. Sebbene l'autore originale abbia scritto questa lezione in inglese, è anche tradotta in altre lingue, quindi potresti leggere una traduzione. Ci sono esempi in cui vengono utilizzate diverse lingue (per confrontare le diverse regole grammaticali delle diverse lingue). Questi non sono tradotti, ma il testo esplicativo sì, quindi il significato dovrebbe essere chiaro. + +Per i compiti di codifica, utilizzerai Python e gli esempi utilizzano Python 3.8. + +In questa sezione, avrai bisogno e utilizzerai: + +- **Comprensione di Python 3**. Comprensione del linguaggio di programmazione in Python 3, questa lezione utilizza input, loop, lettura di file, array. +- **Visual Studio Code + estensione**. Utilizzeremo Visual Studio Code e la sua estensione Python. Puoi anche utilizzare un IDE Python di tua scelta. +- **TextBlob**. [TextBlob](https://github.com/sloria/TextBlob) è una libreria semplificata per l'elaborazione del testo in Python. Segui le istruzioni sul sito di TextBlob per installarlo sul tuo sistema (installa anche i corpora, come mostrato di seguito): + + ```bash + pip install -U textblob + python -m textblob.download_corpora + ``` + +> 💡 Suggerimento: Puoi eseguire Python direttamente negli ambienti VS Code. Consulta i [documenti](https://code.visualstudio.com/docs/languages/python?WT.mc_id=academic-77952-leestott) per maggiori informazioni. + +## Parlare con le macchine + +La storia del tentativo di far comprendere ai computer il linguaggio umano risale a decenni fa, e uno dei primi scienziati a considerare l'elaborazione del linguaggio naturale è stato *Alan Turing*. + +### Il 'test di Turing' + +Quando Turing stava ricercando l'*intelligenza artificiale* negli anni '50, considerò se potesse essere somministrato un test conversazionale a un essere umano e a un computer (tramite corrispondenza scritta) in cui l'umano nella conversazione non fosse sicuro se stesse conversando con un altro umano o un computer. + +Se, dopo una certa lunghezza della conversazione, l'umano non riusciva a determinare se le risposte provenissero da un computer o meno, allora si poteva dire che il computer stesse *pensando*? + +### L'ispirazione - 'il gioco dell'imitazione' + +L'idea per questo venne da un gioco di società chiamato *Il gioco dell'imitazione* in cui un interrogatore è solo in una stanza e incaricato di determinare quali delle due persone (in un'altra stanza) sono rispettivamente maschio e femmina. L'interrogatore può inviare note e deve cercare di pensare a domande in cui le risposte scritte rivelino il genere della persona misteriosa. Naturalmente, i giocatori nell'altra stanza cercano di ingannare l'interrogatore rispondendo alle domande in modo tale da fuorviare o confondere l'interrogatore, pur dando l'apparenza di rispondere onestamente. + +### Sviluppare Eliza + +Negli anni '60, uno scienziato del MIT chiamato *Joseph Weizenbaum* sviluppò [*Eliza*](https://wikipedia.org/wiki/ELIZA), un 'terapeuta' computerizzato che faceva domande all'umano e dava l'impressione di comprendere le loro risposte. Tuttavia, mentre Eliza poteva analizzare una frase e identificare certi costrutti grammaticali e parole chiave in modo da dare una risposta ragionevole, non si poteva dire che *comprendesse* la frase. Se a Eliza veniva presentata una frase seguendo il formato "**Io sono** triste" poteva riorganizzare e sostituire le parole nella frase per formare la risposta "Da quanto tempo **sei** triste". + +Questo dava l'impressione che Eliza comprendesse l'affermazione e stesse facendo una domanda di follow-up, mentre in realtà stava cambiando il tempo verbale e aggiungendo alcune parole. Se Eliza non riusciva a identificare una parola chiave per cui aveva una risposta, dava invece una risposta casuale che poteva essere applicabile a molte affermazioni diverse. Eliza poteva essere facilmente ingannata, ad esempio se un utente scriveva "**Tu sei** una bicicletta" poteva rispondere con "Da quanto tempo **sono** una bicicletta?", invece di una risposta più ragionata. + +[](https://youtu.be/RMK9AphfLco "Chattare con Eliza") + +> 🎥 Clicca sull'immagine sopra per un video sul programma originale ELIZA + +> Nota: Puoi leggere la descrizione originale di [Eliza](https://cacm.acm.org/magazines/1966/1/13317-elizaa-computer-program-for-the-study-of-natural-language-communication-between-man-and-machine/abstract) pubblicata nel 1966 se hai un account ACM. In alternativa, leggi di Eliza su [wikipedia](https://wikipedia.org/wiki/ELIZA) + +## Esercizio - codificare un bot conversazionale di base + +Un bot conversazionale, come Eliza, è un programma che sollecita input dall'utente e sembra comprendere e rispondere in modo intelligente. A differenza di Eliza, il nostro bot non avrà diverse regole che gli danno l'apparenza di avere una conversazione intelligente. Invece, il nostro bot avrà una sola abilità, quella di mantenere la conversazione con risposte casuali che potrebbero funzionare in quasi qualsiasi conversazione banale. + +### Il piano + +I tuoi passaggi quando costruisci un bot conversazionale: + +1. Stampa istruzioni che avvisano l'utente su come interagire con il bot +2. Avvia un ciclo + 1. Accetta input dall'utente + 2. Se l'utente ha chiesto di uscire, allora esci + 3. Elabora l'input dell'utente e determina la risposta (in questo caso, la risposta è una scelta casuale da un elenco di possibili risposte generiche) + 4. Stampa la risposta +3. torna al passaggio 2 + +### Costruire il bot + +Creiamo il bot. Inizieremo definendo alcune frasi. + +1. Crea questo bot in Python con le seguenti risposte casuali: + + ```python + random_responses = ["That is quite interesting, please tell me more.", + "I see. Do go on.", + "Why do you say that?", + "Funny weather we've been having, isn't it?", + "Let's change the subject.", + "Did you catch the game last night?"] + ``` + + Ecco un esempio di output per guidarti (l'input dell'utente è sulle righe che iniziano con `>`): + + ```output + Hello, I am Marvin, the simple robot. + You can end this conversation at any time by typing 'bye' + After typing each answer, press 'enter' + How are you today? + > I am good thanks + That is quite interesting, please tell me more. + > today I went for a walk + Did you catch the game last night? + > I did, but my team lost + Funny weather we've been having, isn't it? + > yes but I hope next week is better + Let's change the subject. + > ok, lets talk about music + Why do you say that? + > because I like music! + Why do you say that? + > bye + It was nice talking to you, goodbye! + ``` + + Una possibile soluzione al compito è [qui](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/1-Introduction-to-NLP/solution/bot.py) + + ✅ Fermati e rifletti + + 1. Pensi che le risposte casuali 'ingannerebbero' qualcuno facendogli credere che il bot li comprenda veramente? + 2. Quali caratteristiche avrebbe bisogno il bot per essere più efficace? + 3. Se un bot potesse davvero 'comprendere' il significato di una frase, avrebbe bisogno di 'ricordare' anche il significato delle frasi precedenti in una conversazione? + +--- + +## 🚀Sfida + +Scegli uno degli elementi "fermati e rifletti" sopra e prova a implementarlo nel codice o scrivi una soluzione su carta usando pseudocodice. + +Nella prossima lezione, imparerai su numerosi altri approcci per analizzare il linguaggio naturale e il machine learning. + +## [Quiz post-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/32/) + +## Revisione e studio autonomo + +Dai un'occhiata alle referenze qui sotto come ulteriori opportunità di lettura. + +### Referenze + +1. Schubert, Lenhart, "Computational Linguistics", *The Stanford Encyclopedia of Philosophy* (Spring 2020 Edition), Edward N. Zalta (ed.), URL =
Negativa | Recensione Positiva | Tag | +| -------------- | ---------------------- | ---------------- | :------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | --------------------------------- | ----------------------------------------------------------------------------------------- | +| 7.8 | 1945 | 2.5 | Questo attualmente non è un hotel ma un cantiere sono stato terrorizzato fin dalle prime ore del mattino e per tutto il giorno con rumori di costruzione inaccettabili mentre riposavo dopo un lungo viaggio e lavoravo nella stanza le persone lavoravano tutto il giorno con martelli pneumatici nelle stanze adiacenti ho chiesto un cambio di stanza ma non c'era una stanza silenziosa disponibile per peggiorare le cose sono stato sovraccaricato ho effettuato il check-out la sera poiché dovevo partire molto presto e ho ricevuto una fattura appropriata un giorno dopo l'hotel ha effettuato un altro addebito senza il mio consenso in eccesso rispetto al prezzo prenotato è un posto terribile non punirti prenotando qui | Niente Posto terribile Stai lontano | Viaggio d'affari Coppia Camera Doppia Standard Soggiorno di 2 notti | + +Come puoi vedere, questo ospite non ha avuto un soggiorno felice in questo hotel. L'hotel ha un buon punteggio medio di 7.8 e 1945 recensioni, ma questo recensore gli ha dato 2.5 e ha scritto 115 parole su quanto negativa fosse la loro permanenza. Se non avessero scritto nulla nella colonna Positive_Review, potresti dedurre che non ci fosse nulla di positivo, ma ahimè hanno scritto 7 parole di avvertimento. Se contassimo solo le parole invece del significato o del sentiment delle parole, potremmo avere una visione distorta dell'intento del recensore. Stranamente, il loro punteggio di 2.5 è confuso, perché se quel soggiorno in hotel era così brutto, perché dare qualche punto? Investigando il dataset da vicino, vedrai che il punteggio più basso possibile è 2.5, non 0. Il punteggio più alto possibile è 10. + +##### Tag + +Come accennato sopra, a prima vista, l'idea di utilizzare `Tags` per categorizzare i dati ha senso. Sfortunatamente questi tag non sono standardizzati, il che significa che in un dato hotel, le opzioni potrebbero essere *Camera singola*, *Camera doppia*, e *Camera matrimoniale*, ma nel prossimo hotel, sono *Camera Singola Deluxe*, *Camera Queen Classica*, e *Camera King Executive*. Potrebbero essere le stesse cose, ma ci sono così tante variazioni che la scelta diventa: + +1. Tentare di cambiare tutti i termini a uno standard unico, il che è molto difficile, perché non è chiaro quale sarebbe il percorso di conversione in ogni caso (ad esempio, *Camera singola classica* si mappa a *Camera singola* ma *Camera Queen Superior con Vista Giardino o Città* è molto più difficile da mappare) + +1. Possiamo adottare un approccio NLP e misurare la frequenza di certi termini come *Solitario*, *Viaggiatore d'affari*, o *Famiglia con bambini piccoli* mentre si applicano a ciascun hotel, e considerarlo nel modello di raccomandazione + +I tag sono di solito (ma non sempre) un singolo campo contenente un elenco di 5 o 6 valori separati da virgole allineati a *Tipo di viaggio*, *Tipo di ospiti*, *Tipo di stanza*, *Numero di notti*, e *Tipo di dispositivo su cui è stata inviata la recensione*. Tuttavia, poiché alcuni recensori non riempiono ogni campo (potrebbero lasciarne uno vuoto), i valori non sono sempre nello stesso ordine. + +Come esempio, prendi *Tipo di gruppo*. Ci sono 1025 possibilità uniche in questo campo nella colonna `Tags`, e sfortunatamente solo alcune di esse si riferiscono a un gruppo (alcune sono il tipo di stanza ecc.). Se filtri solo quelli che menzionano la famiglia, i risultati contengono molti tipi di *Camera famiglia*. Se includi il termine *con*, cioè conti i valori *Famiglia con*, i risultati sono migliori, con oltre 80.000 dei 515.000 risultati contenenti la frase "Famiglia con bambini piccoli" o "Famiglia con bambini più grandi". + +Questo significa che la colonna dei tag non è completamente inutile per noi, ma ci vorrà un po' di lavoro per renderla utile. + +##### Punteggio medio dell'hotel + +Ci sono un certo numero di stranezze o discrepanze con il dataset che non riesco a capire, ma sono illustrate qui in modo che tu ne sia consapevole quando costruisci i tuoi modelli. Se riesci a capirlo, faccelo sapere nella sezione di discussione! + +Il dataset ha le seguenti colonne relative al punteggio medio e al numero di recensioni: + +1. Hotel_Name +2. Additional_Number_of_Scoring +3. Average_Score +4. Total_Number_of_Reviews +5. Reviewer_Score + +L'hotel singolo con il maggior numero di recensioni in questo dataset è *Britannia International Hotel Canary Wharf* con 4789 recensioni su 515.000. Ma se guardiamo il valore `Total_Number_of_Reviews` per questo hotel, è 9086. Potresti dedurre che ci sono molti più punteggi senza recensioni, quindi forse dovremmo aggiungere il valore della colonna `Additional_Number_of_Scoring`. Quel valore è 2682, e aggiungendolo a 4789 otteniamo 7.471 che è ancora 1615 meno di `Total_Number_of_Reviews`. + +Se prendi le colonne `Average_Score`, potresti dedurre che è la media delle recensioni nel dataset, ma la descrizione da Kaggle è "*Punteggio Medio dell'hotel, calcolato in base all'ultimo commento dell'ultimo anno*". Questo non sembra molto utile, ma possiamo calcolare la nostra media basata sui punteggi delle recensioni nel dataset. Utilizzando lo stesso hotel come esempio, il punteggio medio dell'hotel è dato come 7.1 ma il punteggio calcolato (media del punteggio del recensore *nel* dataset) è 6.8. Questo è vicino, ma non lo stesso valore, e possiamo solo supporre che i punteggi dati nelle recensioni `Additional_Number_of_Scoring` abbiano aumentato la media a 7.1. Sfortunatamente, senza un modo per testare o provare tale affermazione, è difficile usare o fidarsi di `Average_Score`, `Additional_Number_of_Scoring` e `Total_Number_of_Reviews` quando si basano su, o si riferiscono a, dati che non abbiamo. + +Per complicare ulteriormente le cose, l'hotel con il secondo maggior numero di recensioni ha un punteggio medio calcolato di 8.12 e il dataset `Average_Score` è 8.1. È questa coincidenza corretta o è la discrepanza del primo hotel? + +Nel caso in cui questi hotel potrebbero essere un'eccezione, e che forse la maggior parte dei valori si allineano (ma alcuni no per qualche ragione), scriveremo un breve programma successivo per esplorare i valori nel dataset e determinare l'uso corretto (o non uso) dei valori. + +> 🚨 Una nota di cautela +> +> Quando lavori con questo dataset scriverai codice che calcola qualcosa dal testo senza dover leggere o analizzare il testo tu stesso. Questa è l'essenza dell'NLP, interpretare il significato o il sentiment senza dover farlo fare a un umano. Tuttavia, è possibile che tu legga alcune delle recensioni negative. Ti esorto a non farlo, perché non è necessario. Alcune di esse sono sciocche o irrilevanti recensioni negative di hotel, come "Il tempo non era buono", qualcosa al di fuori del controllo dell'hotel, o di chiunque. Ma c'è anche un lato oscuro in alcune recensioni. A volte le recensioni negative sono razziste, sessiste o discriminatorie per età. Questo è sfortunato ma prevedibile in un dataset estratto da un sito pubblico. Alcuni recensori lasciano recensioni che troveresti di cattivo gusto, scomode o sconvolgenti. Meglio lasciare che il codice misuri il sentiment piuttosto che leggerle tu stesso e rimanere sconvolto. Detto ciò, è una minoranza che scrive tali cose, ma esistono comunque. + +## Esercizio - Esplorazione dei dati +### Carica i dati + +Basta esaminare visivamente i dati, ora scriverai del codice e otterrai delle risposte! Questa sezione utilizza la libreria pandas. Il tuo primissimo compito è assicurarti di poter caricare e leggere i dati CSV. La libreria pandas ha un caricatore CSV veloce, e il risultato è posizionato in un dataframe, come nelle lezioni precedenti. Il CSV che stiamo caricando ha oltre mezzo milione di righe, ma solo 17 colonne. Pandas ti offre molti modi potenti per interagire con un dataframe, inclusa la possibilità di eseguire operazioni su ogni riga. + +Da qui in avanti in questa lezione, ci saranno frammenti di codice e alcune spiegazioni del codice e alcune discussioni su cosa significano i risultati. Usa il notebook _notebook.ipynb_ incluso per il tuo codice. + +Iniziamo con il caricamento del file di dati che utilizzerai: + +```python +# Load the hotel reviews from CSV +import pandas as pd +import time +# importing time so the start and end time can be used to calculate file loading time +print("Loading data file now, this could take a while depending on file size") +start = time.time() +# df is 'DataFrame' - make sure you downloaded the file to the data folder +df = pd.read_csv('../../data/Hotel_Reviews.csv') +end = time.time() +print("Loading took " + str(round(end - start, 2)) + " seconds") +``` + +Ora che i dati sono caricati, possiamo eseguire alcune operazioni su di essi. Tieni questo codice in cima al tuo programma per la prossima parte. + +## Esplora i dati + +In questo caso, i dati sono già *puliti*, il che significa che sono pronti per essere utilizzati e non contengono caratteri in altre lingue che potrebbero far inciampare gli algoritmi che si aspettano solo caratteri inglesi. + +✅ Potresti dover lavor +righe hanno valori della colonna `Positive_Review` di "No Positive" 9. Calcola e stampa quante righe hanno valori della colonna `Positive_Review` di "No Positive" **e** valori della colonna `Negative_Review` di "No Negative" ### Risposte al codice 1. Stampa la *forma* del data frame che hai appena caricato (la forma è il numero di righe e colonne) ```python + print("The shape of the data (rows, cols) is " + str(df.shape)) + > The shape of the data (rows, cols) is (515738, 17) + ``` 2. Calcola la frequenza delle nazionalità dei recensori: 1. Quanti valori distinti ci sono per la colonna `Reviewer_Nationality` e quali sono? 2. Qual è la nazionalità del recensore più comune nel dataset (stampa il paese e il numero di recensioni)? ```python + # value_counts() creates a Series object that has index and values in this case, the country and the frequency they occur in reviewer nationality + nationality_freq = df["Reviewer_Nationality"].value_counts() + print("There are " + str(nationality_freq.size) + " different nationalities") + # print first and last rows of the Series. Change to nationality_freq.to_string() to print all of the data + print(nationality_freq) + + There are 227 different nationalities + United Kingdom 245246 + United States of America 35437 + Australia 21686 + Ireland 14827 + United Arab Emirates 10235 + ... + Comoros 1 + Palau 1 + Northern Mariana Islands 1 + Cape Verde 1 + Guinea 1 + Name: Reviewer_Nationality, Length: 227, dtype: int64 + ``` 3. Quali sono le successive 10 nazionalità più frequentemente trovate e il loro conteggio di frequenza? ```python + print("The highest frequency reviewer nationality is " + str(nationality_freq.index[0]).strip() + " with " + str(nationality_freq[0]) + " reviews.") + # Notice there is a leading space on the values, strip() removes that for printing + # What is the top 10 most common nationalities and their frequencies? + print("The next 10 highest frequency reviewer nationalities are:") + print(nationality_freq[1:11].to_string()) + + The highest frequency reviewer nationality is United Kingdom with 245246 reviews. + The next 10 highest frequency reviewer nationalities are: + United States of America 35437 + Australia 21686 + Ireland 14827 + United Arab Emirates 10235 + Saudi Arabia 8951 + Netherlands 8772 + Switzerland 8678 + Germany 7941 + Canada 7894 + France 7296 + ``` 3. Qual è stato l'hotel più recensito per ciascuna delle prime 10 nazionalità dei recensori? ```python + # What was the most frequently reviewed hotel for the top 10 nationalities + # Normally with pandas you will avoid an explicit loop, but wanted to show creating a new dataframe using criteria (don't do this with large amounts of data because it could be very slow) + for nat in nationality_freq[:10].index: + # First, extract all the rows that match the criteria into a new dataframe + nat_df = df[df["Reviewer_Nationality"] == nat] + # Now get the hotel freq + freq = nat_df["Hotel_Name"].value_counts() + print("The most reviewed hotel for " + str(nat).strip() + " was " + str(freq.index[0]) + " with " + str(freq[0]) + " reviews.") + + The most reviewed hotel for United Kingdom was Britannia International Hotel Canary Wharf with 3833 reviews. + The most reviewed hotel for United States of America was Hotel Esther a with 423 reviews. + The most reviewed hotel for Australia was Park Plaza Westminster Bridge London with 167 reviews. + The most reviewed hotel for Ireland was Copthorne Tara Hotel London Kensington with 239 reviews. + The most reviewed hotel for United Arab Emirates was Millennium Hotel London Knightsbridge with 129 reviews. + The most reviewed hotel for Saudi Arabia was The Cumberland A Guoman Hotel with 142 reviews. + The most reviewed hotel for Netherlands was Jaz Amsterdam with 97 reviews. + The most reviewed hotel for Switzerland was Hotel Da Vinci with 97 reviews. + The most reviewed hotel for Germany was Hotel Da Vinci with 86 reviews. + The most reviewed hotel for Canada was St James Court A Taj Hotel London with 61 reviews. + ``` 4. Quante recensioni ci sono per hotel (conteggio di frequenza degli hotel) nel dataset? ```python + # First create a new dataframe based on the old one, removing the uneeded columns + hotel_freq_df = df.drop(["Hotel_Address", "Additional_Number_of_Scoring", "Review_Date", "Average_Score", "Reviewer_Nationality", "Negative_Review", "Review_Total_Negative_Word_Counts", "Positive_Review", "Review_Total_Positive_Word_Counts", "Total_Number_of_Reviews_Reviewer_Has_Given", "Reviewer_Score", "Tags", "days_since_review", "lat", "lng"], axis = 1) + + # Group the rows by Hotel_Name, count them and put the result in a new column Total_Reviews_Found + hotel_freq_df['Total_Reviews_Found'] = hotel_freq_df.groupby('Hotel_Name').transform('count') + + # Get rid of all the duplicated rows + hotel_freq_df = hotel_freq_df.drop_duplicates(subset = ["Hotel_Name"]) + display(hotel_freq_df) + ``` | Nome_Hotel | Numero_Totale_di_Recensioni | Recensioni_Trovate | | :----------------------------------------: | :---------------------: | :-----------------: | | Britannia International Hotel Canary Wharf | 9086 | 4789 | | Park Plaza Westminster Bridge London | 12158 | 4169 | | Copthorne Tara Hotel London Kensington | 7105 | 3578 | | ... | ... | ... | | Mercure Paris Porte d Orleans | 110 | 10 | | Hotel Wagner | 135 | 10 | | Hotel Gallitzinberg | 173 | 8 | Potresti notare che i risultati *contati nel dataset* non corrispondono al valore in `Total_Number_of_Reviews`. Non è chiaro se questo valore nel dataset rappresentasse il numero totale di recensioni che l'hotel aveva, ma non tutte sono state estratte, o qualche altro calcolo. `Total_Number_of_Reviews` non è utilizzato nel modello a causa di questa incertezza. 5. Sebbene ci sia una colonna `Average_Score` per ciascun hotel nel dataset, puoi anche calcolare un punteggio medio (ottenendo la media di tutti i punteggi dei recensori nel dataset per ciascun hotel). Aggiungi una nuova colonna al tuo dataframe con l'intestazione della colonna `Calc_Average_Score` che contiene quella media calcolata. Stampa le colonne `Hotel_Name`, `Average_Score` e `Calc_Average_Score`. ```python + # define a function that takes a row and performs some calculation with it + def get_difference_review_avg(row): + return row["Average_Score"] - row["Calc_Average_Score"] + + # 'mean' is mathematical word for 'average' + df['Calc_Average_Score'] = round(df.groupby('Hotel_Name').Reviewer_Score.transform('mean'), 1) + + # Add a new column with the difference between the two average scores + df["Average_Score_Difference"] = df.apply(get_difference_review_avg, axis = 1) + + # Create a df without all the duplicates of Hotel_Name (so only 1 row per hotel) + review_scores_df = df.drop_duplicates(subset = ["Hotel_Name"]) + + # Sort the dataframe to find the lowest and highest average score difference + review_scores_df = review_scores_df.sort_values(by=["Average_Score_Difference"]) + + display(review_scores_df[["Average_Score_Difference", "Average_Score", "Calc_Average_Score", "Hotel_Name"]]) + ``` Potresti anche chiederti del valore `Average_Score` e perché a volte è diverso dal punteggio medio calcolato. Poiché non possiamo sapere perché alcuni valori corrispondono, ma altri hanno una differenza, è più sicuro in questo caso utilizzare i punteggi delle recensioni che abbiamo per calcolare la media da soli. Detto questo, le differenze sono solitamente molto piccole, ecco gli hotel con la maggiore deviazione dalla media del dataset e la media calcolata: | Differenza_Punteggio_Medio | Punteggio_Medio | Calc_Average_Score | Nome_Hotel | | :----------------------: | :-----------: | :----------------: | ------------------------------------------: | | -0.8 | 7.7 | 8.5 | Best Western Hotel Astoria | | -0.7 | 8.8 | 9.5 | Hotel Stendhal Place Vend me Paris MGallery | | -0.7 | 7.5 | 8.2 | Mercure Paris Porte d Orleans | | -0.7 | 7.9 | 8.6 | Renaissance Paris Vendome Hotel | | -0.5 | 7.0 | 7.5 | Hotel Royal Elys es | | ... | ... | ... | ... | | 0.7 | 7.5 | 6.8 | Mercure Paris Op ra Faubourg Montmartre | | 0.8 | 7.1 | 6.3 | Holiday Inn Paris Montparnasse Pasteur | | 0.9 | 6.8 | 5.9 | Villa Eugenie | | 0.9 | 8.6 | 7.7 | MARQUIS Faubourg St Honor Relais Ch teaux | | 1.3 | 7.2 | 5.9 | Kube Hotel Ice Bar | Con solo 1 hotel che ha una differenza di punteggio superiore a 1, significa che probabilmente possiamo ignorare la differenza e utilizzare il punteggio medio calcolato. 6. Calcola e stampa quante righe hanno valori della colonna `Negative_Review` di "No Negative" 7. Calcola e stampa quante righe hanno valori della colonna `Positive_Review` di "No Positive" 8. Calcola e stampa quante righe hanno valori della colonna `Positive_Review` di "No Positive" **e** valori della colonna `Negative_Review` di "No Negative" ```python + # with lambdas: + start = time.time() + no_negative_reviews = df.apply(lambda x: True if x['Negative_Review'] == "No Negative" else False , axis=1) + print("Number of No Negative reviews: " + str(len(no_negative_reviews[no_negative_reviews == True].index))) + + no_positive_reviews = df.apply(lambda x: True if x['Positive_Review'] == "No Positive" else False , axis=1) + print("Number of No Positive reviews: " + str(len(no_positive_reviews[no_positive_reviews == True].index))) + + both_no_reviews = df.apply(lambda x: True if x['Negative_Review'] == "No Negative" and x['Positive_Review'] == "No Positive" else False , axis=1) + print("Number of both No Negative and No Positive reviews: " + str(len(both_no_reviews[both_no_reviews == True].index))) + end = time.time() + print("Lambdas took " + str(round(end - start, 2)) + " seconds") + + Number of No Negative reviews: 127890 + Number of No Positive reviews: 35946 + Number of both No Negative and No Positive reviews: 127 + Lambdas took 9.64 seconds + ``` ## Un altro modo Un altro modo per contare gli elementi senza Lambdas, e utilizzare sum per contare le righe: ```python + # without lambdas (using a mixture of notations to show you can use both) + start = time.time() + no_negative_reviews = sum(df.Negative_Review == "No Negative") + print("Number of No Negative reviews: " + str(no_negative_reviews)) + + no_positive_reviews = sum(df["Positive_Review"] == "No Positive") + print("Number of No Positive reviews: " + str(no_positive_reviews)) + + both_no_reviews = sum((df.Negative_Review == "No Negative") & (df.Positive_Review == "No Positive")) + print("Number of both No Negative and No Positive reviews: " + str(both_no_reviews)) + + end = time.time() + print("Sum took " + str(round(end - start, 2)) + " seconds") + + Number of No Negative reviews: 127890 + Number of No Positive reviews: 35946 + Number of both No Negative and No Positive reviews: 127 + Sum took 0.19 seconds + ``` Potresti aver notato che ci sono 127 righe che hanno sia valori "No Negative" che "No Positive" per le colonne `Negative_Review` e `Positive_Review` rispettivamente. Ciò significa che il recensore ha dato all'hotel un punteggio numerico, ma ha rifiutato di scrivere una recensione positiva o negativa. Fortunatamente si tratta di una piccola quantità di righe (127 su 515738, ovvero lo 0,02%), quindi probabilmente non influenzerà il nostro modello o i risultati in una direzione particolare, ma potresti non aspettarti che un set di dati di recensioni abbia righe senza recensioni, quindi vale la pena esplorare i dati per scoprire righe come questa. Ora che hai esplorato il dataset, nella prossima lezione filtrerai i dati e aggiungerai un'analisi del sentiment. --- ## 🚀Sfida Questa lezione dimostra, come abbiamo visto nelle lezioni precedenti, quanto sia fondamentale comprendere i tuoi dati e le loro particolarità prima di eseguire operazioni su di essi. I dati basati su testo, in particolare, richiedono un'attenta analisi. Scava in vari set di dati ricchi di testo e vedi se riesci a scoprire aree che potrebbero introdurre bias o sentiment distorti in un modello. ## [Quiz post-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/38/) ## Revisione e studio autonomo Segui [questo percorso di apprendimento su NLP](https://docs.microsoft.com/learn/paths/explore-natural-language-processing/?WT.mc_id=academic-77952-leestott) per scoprire strumenti da provare quando costruisci modelli basati su discorsi e testi. ## Compito [NLTK](assignment.md) + +**Dichiarazione di non responsabilità**: +Questo documento è stato tradotto utilizzando servizi di traduzione basati su intelligenza artificiale. Pur cercando di garantire la massima accuratezza, si prega di notare che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua madre deve essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali fraintendimenti o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/6-NLP/4-Hotel-Reviews-1/assignment.md b/translations/it/6-NLP/4-Hotel-Reviews-1/assignment.md new file mode 100644 index 000000000..7153e692d --- /dev/null +++ b/translations/it/6-NLP/4-Hotel-Reviews-1/assignment.md @@ -0,0 +1,8 @@ +# NLTK + +## Istruzioni + +NLTK è una libreria ben nota per l'uso nella linguistica computazionale e nell'NLP. Approfitta di questa opportunità per leggere il '[libro NLTK](https://www.nltk.org/book/)' e provare i suoi esercizi. In questo compito non valutato, avrai l'opportunità di conoscere più a fondo questa libreria. + +**Avvertenza**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su intelligenza artificiale. Anche se ci impegniamo per l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/6-NLP/4-Hotel-Reviews-1/solution/Julia/README.md b/translations/it/6-NLP/4-Hotel-Reviews-1/solution/Julia/README.md new file mode 100644 index 000000000..11af8dcf2 --- /dev/null +++ b/translations/it/6-NLP/4-Hotel-Reviews-1/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Avvertenza**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatizzati basati su intelligenza artificiale. Sebbene ci sforziamo di garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/6-NLP/4-Hotel-Reviews-1/solution/R/README.md b/translations/it/6-NLP/4-Hotel-Reviews-1/solution/R/README.md new file mode 100644 index 000000000..d3081994b --- /dev/null +++ b/translations/it/6-NLP/4-Hotel-Reviews-1/solution/R/README.md @@ -0,0 +1,4 @@ + + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su AI. Sebbene ci impegniamo per l'accuratezza, si prega di notare che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione umana professionale. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/6-NLP/5-Hotel-Reviews-2/README.md b/translations/it/6-NLP/5-Hotel-Reviews-2/README.md new file mode 100644 index 000000000..93ae56a0e --- /dev/null +++ b/translations/it/6-NLP/5-Hotel-Reviews-2/README.md @@ -0,0 +1,377 @@ +# Analisi del sentiment con recensioni di hotel + +Ora che hai esplorato il dataset in dettaglio, è il momento di filtrare le colonne e poi utilizzare tecniche di NLP sul dataset per ottenere nuove informazioni sugli hotel. +## [Pre-lecture quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/39/) + +### Operazioni di Filtraggio e Analisi del Sentiment + +Come avrai notato, il dataset presenta alcuni problemi. Alcune colonne sono piene di informazioni inutili, altre sembrano errate. Anche se fossero corrette, non è chiaro come siano state calcolate, e le risposte non possono essere verificate indipendentemente dai tuoi calcoli. + +## Esercizio: un po' più di elaborazione dei dati + +Pulisci i dati un po' di più. Aggiungi colonne che saranno utili in seguito, cambia i valori in altre colonne e elimina completamente alcune colonne. + +1. Elaborazione iniziale delle colonne + + 1. Elimina `lat` e `lng` + + 2. Sostituisci i valori di `Hotel_Address` con i seguenti valori (se l'indirizzo contiene il nome della città e del paese, cambialo con solo la città e il paese). + + Queste sono le uniche città e paesi nel dataset: + + Amsterdam, Netherlands + + Barcelona, Spain + + London, United Kingdom + + Milan, Italy + + Paris, France + + Vienna, Austria + + ```python + def replace_address(row): + if "Netherlands" in row["Hotel_Address"]: + return "Amsterdam, Netherlands" + elif "Barcelona" in row["Hotel_Address"]: + return "Barcelona, Spain" + elif "United Kingdom" in row["Hotel_Address"]: + return "London, United Kingdom" + elif "Milan" in row["Hotel_Address"]: + return "Milan, Italy" + elif "France" in row["Hotel_Address"]: + return "Paris, France" + elif "Vienna" in row["Hotel_Address"]: + return "Vienna, Austria" + + # Replace all the addresses with a shortened, more useful form + df["Hotel_Address"] = df.apply(replace_address, axis = 1) + # The sum of the value_counts() should add up to the total number of reviews + print(df["Hotel_Address"].value_counts()) + ``` + + Ora puoi interrogare i dati a livello di paese: + + ```python + display(df.groupby("Hotel_Address").agg({"Hotel_Name": "nunique"})) + ``` + + | Hotel_Address | Hotel_Name | + | :--------------------- | :--------: | + | Amsterdam, Netherlands | 105 | + | Barcelona, Spain | 211 | + | London, United Kingdom | 400 | + | Milan, Italy | 162 | + | Paris, France | 458 | + | Vienna, Austria | 158 | + +2. Processa le colonne Meta-review degli Hotel + + 1. Elimina `Additional_Number_of_Scoring` + + 1. Replace `Total_Number_of_Reviews` with the total number of reviews for that hotel that are actually in the dataset + + 1. Replace `Average_Score` con il nostro punteggio calcolato + + ```python + # Drop `Additional_Number_of_Scoring` + df.drop(["Additional_Number_of_Scoring"], axis = 1, inplace=True) + # Replace `Total_Number_of_Reviews` and `Average_Score` with our own calculated values + df.Total_Number_of_Reviews = df.groupby('Hotel_Name').transform('count') + df.Average_Score = round(df.groupby('Hotel_Name').Reviewer_Score.transform('mean'), 1) + ``` + +3. Processa le colonne delle recensioni + + 1. Elimina `Review_Total_Negative_Word_Counts`, `Review_Total_Positive_Word_Counts`, `Review_Date` and `days_since_review` + + 2. Keep `Reviewer_Score`, `Negative_Review`, and `Positive_Review` as they are, + + 3. Keep `Tags` for now + + - We'll be doing some additional filtering operations on the tags in the next section and then tags will be dropped + +4. Process reviewer columns + + 1. Drop `Total_Number_of_Reviews_Reviewer_Has_Given` + + 2. Keep `Reviewer_Nationality` + +### Tag columns + +The `Tag` column is problematic as it is a list (in text form) stored in the column. Unfortunately the order and number of sub sections in this column are not always the same. It's hard for a human to identify the correct phrases to be interested in, because there are 515,000 rows, and 1427 hotels, and each has slightly different options a reviewer could choose. This is where NLP shines. You can scan the text and find the most common phrases, and count them. + +Unfortunately, we are not interested in single words, but multi-word phrases (e.g. *Business trip*). Running a multi-word frequency distribution algorithm on that much data (6762646 words) could take an extraordinary amount of time, but without looking at the data, it would seem that is a necessary expense. This is where exploratory data analysis comes in useful, because you've seen a sample of the tags such as `[' Business trip ', ' Solo traveler ', ' Single Room ', ' Stayed 5 nights ', ' Submitted from a mobile device ']`, puoi iniziare a chiederti se è possibile ridurre notevolmente l'elaborazione che devi fare. Fortunatamente, è possibile - ma prima devi seguire alcuni passaggi per accertarti dei tag di interesse. + +### Filtraggio dei tag + +Ricorda che l'obiettivo del dataset è aggiungere sentiment e colonne che ti aiuteranno a scegliere il miglior hotel (per te stesso o magari per un cliente che ti chiede di creare un bot di raccomandazione di hotel). Devi chiederti se i tag sono utili o meno nel dataset finale. Ecco un'interpretazione (se avessi bisogno del dataset per altri motivi diversi, potrebbero restare/fuori dalla selezione): + +1. Il tipo di viaggio è rilevante e dovrebbe rimanere +2. Il tipo di gruppo di ospiti è importante e dovrebbe rimanere +3. Il tipo di stanza, suite o studio in cui l'ospite ha soggiornato è irrilevante (tutti gli hotel hanno fondamentalmente le stesse stanze) +4. Il dispositivo da cui è stata inviata la recensione è irrilevante +5. Il numero di notti di soggiorno del recensore *potrebbe* essere rilevante se attribuisci soggiorni più lunghi al fatto che gli sia piaciuto di più l'hotel, ma è un'ipotesi azzardata e probabilmente irrilevante + +In sintesi, **mantieni 2 tipi di tag e rimuovi gli altri**. + +Prima di tutto, non vuoi contare i tag finché non sono in un formato migliore, quindi significa rimuovere le parentesi quadre e le virgolette. Puoi farlo in diversi modi, ma vuoi il più veloce possibile poiché potrebbe richiedere molto tempo per elaborare molti dati. Fortunatamente, pandas ha un modo semplice per eseguire ciascuno di questi passaggi. + +```Python +# Remove opening and closing brackets +df.Tags = df.Tags.str.strip("[']") +# remove all quotes too +df.Tags = df.Tags.str.replace(" ', '", ",", regex = False) +``` + +Ogni tag diventa qualcosa come: `Business trip, Solo traveler, Single Room, Stayed 5 nights, Submitted from a mobile device`. + +Next we find a problem. Some reviews, or rows, have 5 columns, some 3, some 6. This is a result of how the dataset was created, and hard to fix. You want to get a frequency count of each phrase, but they are in different order in each review, so the count might be off, and a hotel might not get a tag assigned to it that it deserved. + +Instead you will use the different order to our advantage, because each tag is multi-word but also separated by a comma! The simplest way to do this is to create 6 temporary columns with each tag inserted in to the column corresponding to its order in the tag. You can then merge the 6 columns into one big column and run the `value_counts()` method on the resulting column. Printing that out, you'll see there was 2428 unique tags. Here is a small sample: + +| Tag | Count | +| ------------------------------ | ------ | +| Leisure trip | 417778 | +| Submitted from a mobile device | 307640 | +| Couple | 252294 | +| Stayed 1 night | 193645 | +| Stayed 2 nights | 133937 | +| Solo traveler | 108545 | +| Stayed 3 nights | 95821 | +| Business trip | 82939 | +| Group | 65392 | +| Family with young children | 61015 | +| Stayed 4 nights | 47817 | +| Double Room | 35207 | +| Standard Double Room | 32248 | +| Superior Double Room | 31393 | +| Family with older children | 26349 | +| Deluxe Double Room | 24823 | +| Double or Twin Room | 22393 | +| Stayed 5 nights | 20845 | +| Standard Double or Twin Room | 17483 | +| Classic Double Room | 16989 | +| Superior Double or Twin Room | 13570 | +| 2 rooms | 12393 | + +Some of the common tags like `Submitted from a mobile device` are of no use to us, so it might be a smart thing to remove them before counting phrase occurrence, but it is such a fast operation you can leave them in and ignore them. + +### Removing the length of stay tags + +Removing these tags is step 1, it reduces the total number of tags to be considered slightly. Note you do not remove them from the dataset, just choose to remove them from consideration as values to count/keep in the reviews dataset. + +| Length of stay | Count | +| ---------------- | ------ | +| Stayed 1 night | 193645 | +| Stayed 2 nights | 133937 | +| Stayed 3 nights | 95821 | +| Stayed 4 nights | 47817 | +| Stayed 5 nights | 20845 | +| Stayed 6 nights | 9776 | +| Stayed 7 nights | 7399 | +| Stayed 8 nights | 2502 | +| Stayed 9 nights | 1293 | +| ... | ... | + +There are a huge variety of rooms, suites, studios, apartments and so on. They all mean roughly the same thing and not relevant to you, so remove them from consideration. + +| Type of room | Count | +| ----------------------------- | ----- | +| Double Room | 35207 | +| Standard Double Room | 32248 | +| Superior Double Room | 31393 | +| Deluxe Double Room | 24823 | +| Double or Twin Room | 22393 | +| Standard Double or Twin Room | 17483 | +| Classic Double Room | 16989 | +| Superior Double or Twin Room | 13570 | + +Finally, and this is delightful (because it didn't take much processing at all), you will be left with the following *useful* tags: + +| Tag | Count | +| --------------------------------------------- | ------ | +| Leisure trip | 417778 | +| Couple | 252294 | +| Solo traveler | 108545 | +| Business trip | 82939 | +| Group (combined with Travellers with friends) | 67535 | +| Family with young children | 61015 | +| Family with older children | 26349 | +| With a pet | 1405 | + +You could argue that `Travellers with friends` is the same as `Group` more or less, and that would be fair to combine the two as above. The code for identifying the correct tags is [the Tags notebook](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/1-notebook.ipynb). + +The final step is to create new columns for each of these tags. Then, for every review row, if the `Tag` se la colonna corrisponde a una delle nuove colonne, aggiungi 1, altrimenti aggiungi 0. Il risultato finale sarà un conteggio di quanti recensori hanno scelto questo hotel (in aggregato) per, ad esempio, affari vs svago, o per portare un animale domestico, e queste sono informazioni utili quando si raccomanda un hotel. + +```python +# Process the Tags into new columns +# The file Hotel_Reviews_Tags.py, identifies the most important tags +# Leisure trip, Couple, Solo traveler, Business trip, Group combined with Travelers with friends, +# Family with young children, Family with older children, With a pet +df["Leisure_trip"] = df.Tags.apply(lambda tag: 1 if "Leisure trip" in tag else 0) +df["Couple"] = df.Tags.apply(lambda tag: 1 if "Couple" in tag else 0) +df["Solo_traveler"] = df.Tags.apply(lambda tag: 1 if "Solo traveler" in tag else 0) +df["Business_trip"] = df.Tags.apply(lambda tag: 1 if "Business trip" in tag else 0) +df["Group"] = df.Tags.apply(lambda tag: 1 if "Group" in tag or "Travelers with friends" in tag else 0) +df["Family_with_young_children"] = df.Tags.apply(lambda tag: 1 if "Family with young children" in tag else 0) +df["Family_with_older_children"] = df.Tags.apply(lambda tag: 1 if "Family with older children" in tag else 0) +df["With_a_pet"] = df.Tags.apply(lambda tag: 1 if "With a pet" in tag else 0) + +``` + +### Salva il tuo file + +Infine, salva il dataset come è ora con un nuovo nome. + +```python +df.drop(["Review_Total_Negative_Word_Counts", "Review_Total_Positive_Word_Counts", "days_since_review", "Total_Number_of_Reviews_Reviewer_Has_Given"], axis = 1, inplace=True) + +# Saving new data file with calculated columns +print("Saving results to Hotel_Reviews_Filtered.csv") +df.to_csv(r'../data/Hotel_Reviews_Filtered.csv', index = False) +``` + +## Operazioni di Analisi del Sentiment + +In questa sezione finale, applicherai l'analisi del sentiment alle colonne delle recensioni e salverai i risultati in un dataset. + +## Esercizio: carica e salva i dati filtrati + +Nota che ora stai caricando il dataset filtrato che è stato salvato nella sezione precedente, **non** il dataset originale. + +```python +import time +import pandas as pd +import nltk as nltk +from nltk.corpus import stopwords +from nltk.sentiment.vader import SentimentIntensityAnalyzer +nltk.download('vader_lexicon') + +# Load the filtered hotel reviews from CSV +df = pd.read_csv('../../data/Hotel_Reviews_Filtered.csv') + +# You code will be added here + + +# Finally remember to save the hotel reviews with new NLP data added +print("Saving results to Hotel_Reviews_NLP.csv") +df.to_csv(r'../data/Hotel_Reviews_NLP.csv', index = False) +``` + +### Rimozione delle stop words + +Se dovessi eseguire l'analisi del sentiment sulle colonne delle recensioni negative e positive, potrebbe richiedere molto tempo. Testato su un potente laptop di prova con CPU veloce, ha impiegato 12 - 14 minuti a seconda della libreria di sentiment utilizzata. È un tempo (relativamente) lungo, quindi vale la pena indagare se può essere velocizzato. + +Rimuovere le stop words, o parole comuni in inglese che non cambiano il sentiment di una frase, è il primo passo. Rimuovendole, l'analisi del sentiment dovrebbe essere più veloce, ma non meno accurata (poiché le stop words non influenzano il sentiment, ma rallentano l'analisi). + +La recensione negativa più lunga era di 395 parole, ma dopo aver rimosso le stop words, è di 195 parole. + +La rimozione delle stop words è anche un'operazione veloce, rimuovere le stop words da 2 colonne di recensioni su 515.000 righe ha impiegato 3,3 secondi sul dispositivo di prova. Potrebbe richiedere un po' più o meno tempo per te a seconda della velocità della CPU del tuo dispositivo, della RAM, se hai un SSD o meno, e di altri fattori. La relativa brevità dell'operazione significa che se migliora il tempo dell'analisi del sentiment, allora vale la pena farlo. + +```python +from nltk.corpus import stopwords + +# Load the hotel reviews from CSV +df = pd.read_csv("../../data/Hotel_Reviews_Filtered.csv") + +# Remove stop words - can be slow for a lot of text! +# Ryan Han (ryanxjhan on Kaggle) has a great post measuring performance of different stop words removal approaches +# https://www.kaggle.com/ryanxjhan/fast-stop-words-removal # using the approach that Ryan recommends +start = time.time() +cache = set(stopwords.words("english")) +def remove_stopwords(review): + text = " ".join([word for word in review.split() if word not in cache]) + return text + +# Remove the stop words from both columns +df.Negative_Review = df.Negative_Review.apply(remove_stopwords) +df.Positive_Review = df.Positive_Review.apply(remove_stopwords) +``` + +### Eseguire l'analisi del sentiment + +Ora dovresti calcolare l'analisi del sentiment per entrambe le colonne delle recensioni negative e positive, e memorizzare il risultato in 2 nuove colonne. Il test del sentiment sarà confrontarlo con il punteggio del recensore per la stessa recensione. Ad esempio, se il sentiment ritiene che la recensione negativa abbia un sentiment di 1 (sentiment estremamente positivo) e un sentiment della recensione positiva di 1, ma il recensore ha dato all'hotel il punteggio più basso possibile, allora o il testo della recensione non corrisponde al punteggio, oppure l'analizzatore di sentiment non è riuscito a riconoscere correttamente il sentiment. Dovresti aspettarti che alcuni punteggi di sentiment siano completamente sbagliati, e spesso sarà spiegabile, ad esempio la recensione potrebbe essere estremamente sarcastica "Ovviamente HO ADORATO dormire in una stanza senza riscaldamento" e l'analizzatore di sentiment pensa che sia un sentiment positivo, anche se un essere umano leggendo capirebbe che è sarcasmo. + +NLTK fornisce diversi analizzatori di sentiment con cui imparare, e puoi sostituirli e vedere se il sentiment è più o meno accurato. Qui viene utilizzata l'analisi del sentiment VADER. + +> Hutto, C.J. & Gilbert, E.E. (2014). VADER: A Parsimonious Rule-based Model for Sentiment Analysis of Social Media Text. Eighth International Conference on Weblogs and Social Media (ICWSM-14). Ann Arbor, MI, June 2014. + +```python +from nltk.sentiment.vader import SentimentIntensityAnalyzer + +# Create the vader sentiment analyser (there are others in NLTK you can try too) +vader_sentiment = SentimentIntensityAnalyzer() +# Hutto, C.J. & Gilbert, E.E. (2014). VADER: A Parsimonious Rule-based Model for Sentiment Analysis of Social Media Text. Eighth International Conference on Weblogs and Social Media (ICWSM-14). Ann Arbor, MI, June 2014. + +# There are 3 possibilities of input for a review: +# It could be "No Negative", in which case, return 0 +# It could be "No Positive", in which case, return 0 +# It could be a review, in which case calculate the sentiment +def calc_sentiment(review): + if review == "No Negative" or review == "No Positive": + return 0 + return vader_sentiment.polarity_scores(review)["compound"] +``` + +Più avanti nel tuo programma, quando sei pronto per calcolare il sentiment, puoi applicarlo a ogni recensione come segue: + +```python +# Add a negative sentiment and positive sentiment column +print("Calculating sentiment columns for both positive and negative reviews") +start = time.time() +df["Negative_Sentiment"] = df.Negative_Review.apply(calc_sentiment) +df["Positive_Sentiment"] = df.Positive_Review.apply(calc_sentiment) +end = time.time() +print("Calculating sentiment took " + str(round(end - start, 2)) + " seconds") +``` + +Questo richiede circa 120 secondi sul mio computer, ma varierà su ciascun computer. Se vuoi stampare i risultati e vedere se il sentiment corrisponde alla recensione: + +```python +df = df.sort_values(by=["Negative_Sentiment"], ascending=True) +print(df[["Negative_Review", "Negative_Sentiment"]]) +df = df.sort_values(by=["Positive_Sentiment"], ascending=True) +print(df[["Positive_Review", "Positive_Sentiment"]]) +``` + +L'ultima cosa da fare con il file prima di usarlo nella sfida è salvarlo! Dovresti anche considerare di riordinare tutte le tue nuove colonne in modo che siano facili da lavorare (per un essere umano, è un cambiamento cosmetico). + +```python +# Reorder the columns (This is cosmetic, but to make it easier to explore the data later) +df = df.reindex(["Hotel_Name", "Hotel_Address", "Total_Number_of_Reviews", "Average_Score", "Reviewer_Score", "Negative_Sentiment", "Positive_Sentiment", "Reviewer_Nationality", "Leisure_trip", "Couple", "Solo_traveler", "Business_trip", "Group", "Family_with_young_children", "Family_with_older_children", "With_a_pet", "Negative_Review", "Positive_Review"], axis=1) + +print("Saving results to Hotel_Reviews_NLP.csv") +df.to_csv(r"../data/Hotel_Reviews_NLP.csv", index = False) +``` + +Dovresti eseguire l'intero codice per [il notebook di analisi](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/3-notebook.ipynb) (dopo aver eseguito [il tuo notebook di filtraggio](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/1-notebook.ipynb) per generare il file Hotel_Reviews_Filtered.csv). + +Per riepilogare, i passaggi sono: + +1. Il file del dataset originale **Hotel_Reviews.csv** è stato esplorato nella lezione precedente con [il notebook di esplorazione](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/4-Hotel-Reviews-1/solution/notebook.ipynb) +2. Hotel_Reviews.csv è filtrato dal [notebook di filtraggio](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/1-notebook.ipynb) risultando in **Hotel_Reviews_Filtered.csv** +3. Hotel_Reviews_Filtered.csv è processato dal [notebook di analisi del sentiment](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/3-notebook.ipynb) risultando in **Hotel_Reviews_NLP.csv** +4. Usa Hotel_Reviews_NLP.csv nella sfida NLP qui sotto + +### Conclusione + +Quando hai iniziato, avevi un dataset con colonne e dati ma non tutti potevano essere verificati o utilizzati. Hai esplorato i dati, filtrato ciò che non ti serve, convertito i tag in qualcosa di utile, calcolato le tue medie, aggiunto alcune colonne di sentiment e, si spera, imparato alcune cose interessanti sull'elaborazione del testo naturale. + +## [Post-lecture quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/40/) + +## Sfida + +Ora che hai analizzato il tuo dataset per il sentiment, vedi se puoi utilizzare le strategie che hai imparato in questo curriculum (clustering, forse?) per determinare modelli attorno al sentiment. + +## Revisione & Studio Autonomo + +Segui [questo modulo di Learn](https://docs.microsoft.com/en-us/learn/modules/classify-user-feedback-with-the-text-analytics-api/?WT.mc_id=academic-77952-leestott) per saperne di più e utilizzare strumenti diversi per esplorare il sentiment nel testo. +## Compito + +[Prova un dataset diverso](assignment.md) + +**Avvertenza**: +Questo documento è stato tradotto utilizzando servizi di traduzione basati su intelligenza artificiale. Sebbene ci impegniamo per garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua madre dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali incomprensioni o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/6-NLP/5-Hotel-Reviews-2/assignment.md b/translations/it/6-NLP/5-Hotel-Reviews-2/assignment.md new file mode 100644 index 000000000..e725ffbaa --- /dev/null +++ b/translations/it/6-NLP/5-Hotel-Reviews-2/assignment.md @@ -0,0 +1,14 @@ +# Prova un dataset diverso + +## Istruzioni + +Ora che hai imparato a usare NLTK per assegnare sentimenti al testo, prova un dataset diverso. Probabilmente dovrai fare un po' di elaborazione dei dati, quindi crea un notebook e documenta il tuo processo di pensiero. Cosa scopri? + +## Rubrica + +| Criteri | Esemplare | Adeguato | Da migliorare | +| -------- | ----------------------------------------------------------------------------------------------------------------- | ----------------------------------------- | ---------------------- | +| | Viene presentato un notebook completo e un dataset con celle ben documentate che spiegano come viene assegnato il sentimento | Il notebook manca di buone spiegazioni | Il notebook è difettoso | + +**Avvertenza**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su intelligenza artificiale. Sebbene ci impegniamo per garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua madre dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/6-NLP/5-Hotel-Reviews-2/solution/Julia/README.md b/translations/it/6-NLP/5-Hotel-Reviews-2/solution/Julia/README.md new file mode 100644 index 000000000..0fccd2faa --- /dev/null +++ b/translations/it/6-NLP/5-Hotel-Reviews-2/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su intelligenza artificiale. Sebbene ci impegniamo per garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatizzate possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione umana professionale. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/6-NLP/5-Hotel-Reviews-2/solution/R/README.md b/translations/it/6-NLP/5-Hotel-Reviews-2/solution/R/README.md new file mode 100644 index 000000000..b1ba65971 --- /dev/null +++ b/translations/it/6-NLP/5-Hotel-Reviews-2/solution/R/README.md @@ -0,0 +1,4 @@ + + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su AI. Anche se ci sforziamo di garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione umana professionale. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/6-NLP/README.md b/translations/it/6-NLP/README.md new file mode 100644 index 000000000..b409e9635 --- /dev/null +++ b/translations/it/6-NLP/README.md @@ -0,0 +1,27 @@ +# Introduzione all'elaborazione del linguaggio naturale + +L'elaborazione del linguaggio naturale (NLP) è la capacità di un programma informatico di comprendere il linguaggio umano così come viene parlato e scritto, noto come linguaggio naturale. È una componente dell'intelligenza artificiale (AI). L'NLP esiste da più di 50 anni e ha radici nel campo della linguistica. L'intero campo è indirizzato ad aiutare le macchine a comprendere e processare il linguaggio umano. Questo può essere poi utilizzato per svolgere compiti come il controllo ortografico o la traduzione automatica. Ha una varietà di applicazioni nel mondo reale in numerosi campi, tra cui la ricerca medica, i motori di ricerca e l'intelligenza aziendale. + +## Argomento regionale: lingue e letterature europee e hotel romantici d'Europa ❤️ + +In questa sezione del curriculum, verrai introdotto a uno degli usi più diffusi del machine learning: l'elaborazione del linguaggio naturale (NLP). Derivata dalla linguistica computazionale, questa categoria di intelligenza artificiale è il ponte tra gli esseri umani e le macchine tramite la comunicazione vocale o testuale. + +In queste lezioni impareremo le basi dell'NLP costruendo piccoli bot conversazionali per capire come il machine learning aiuta a rendere queste conversazioni sempre più 'intelligenti'. Viaggerai indietro nel tempo, chiacchierando con Elizabeth Bennett e Mr. Darcy dal classico romanzo di Jane Austen, **Orgoglio e Pregiudizio**, pubblicato nel 1813. Poi, approfondirai la tua conoscenza imparando l'analisi del sentiment tramite le recensioni degli hotel in Europa. + + +> Foto di Elaine Howlin su Unsplash + +## Lezioni + +1. [Introduzione all'elaborazione del linguaggio naturale](1-Introduction-to-NLP/README.md) +2. [Compiti e tecniche comuni dell'NLP](2-Tasks/README.md) +3. [Traduzione e analisi del sentiment con il machine learning](3-Translation-Sentiment/README.md) +4. [Preparare i tuoi dati](4-Hotel-Reviews-1/README.md) +5. [NLTK per l'analisi del sentiment](5-Hotel-Reviews-2/README.md) + +## Crediti + +Queste lezioni sull'elaborazione del linguaggio naturale sono state scritte con ☕ da [Stephen Howell](https://twitter.com/Howell_MSFT) + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su intelligenza artificiale. Anche se ci impegniamo per l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o inesattezze. Il documento originale nella sua lingua madre dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda la traduzione umana professionale. Non siamo responsabili per eventuali incomprensioni o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/6-NLP/data/README.md b/translations/it/6-NLP/data/README.md new file mode 100644 index 000000000..d5833f295 --- /dev/null +++ b/translations/it/6-NLP/data/README.md @@ -0,0 +1,4 @@ + + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su AI. Sebbene ci sforziamo per l'accuratezza, si prega di notare che le traduzioni automatiche possono contenere errori o inesattezze. Il documento originale nella sua lingua madre dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/7-TimeSeries/1-Introduction/README.md b/translations/it/7-TimeSeries/1-Introduction/README.md new file mode 100644 index 000000000..fdcaeaba3 --- /dev/null +++ b/translations/it/7-TimeSeries/1-Introduction/README.md @@ -0,0 +1,188 @@ +# Introduzione alla previsione delle serie temporali + + + +> Sketchnote di [Tomomi Imura](https://www.twitter.com/girlie_mac) + +In questa lezione e nella successiva, imparerai un po' sulla previsione delle serie temporali, una parte interessante e preziosa del repertorio di uno scienziato di ML, che è un po' meno conosciuta rispetto ad altri argomenti. La previsione delle serie temporali è una sorta di 'sfera di cristallo': basandosi sulle prestazioni passate di una variabile come il prezzo, puoi prevederne il valore potenziale futuro. + +[](https://youtu.be/cBojo1hsHiI "Introduzione alla previsione delle serie temporali") + +> 🎥 Clicca sull'immagine sopra per un video sulla previsione delle serie temporali + +## [Quiz pre-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/41/) + +È un campo utile e interessante con un reale valore per il business, dato che ha una diretta applicazione a problemi di prezzo, inventario e questioni della catena di approvvigionamento. Mentre le tecniche di deep learning hanno iniziato a essere utilizzate per ottenere maggiori intuizioni per prevedere meglio le prestazioni future, la previsione delle serie temporali rimane un campo fortemente informato dalle tecniche classiche di ML. + +> Il curriculum utile di serie temporali della Penn State può essere trovato [qui](https://online.stat.psu.edu/stat510/lesson/1) + +## Introduzione + +Supponiamo che tu gestisca una serie di parcometri intelligenti che forniscono dati su quanto spesso vengono utilizzati e per quanto tempo nel tempo. + +> E se potessi prevedere, basandoti sulle prestazioni passate del parcometro, il suo valore futuro secondo le leggi della domanda e dell'offerta? + +Prevedere accuratamente quando agire per raggiungere il tuo obiettivo è una sfida che potrebbe essere affrontata dalla previsione delle serie temporali. Non renderebbe felici le persone essere addebitate di più nei momenti di punta quando cercano un parcheggio, ma sarebbe un modo sicuro per generare entrate per pulire le strade! + +Esploriamo alcuni dei tipi di algoritmi delle serie temporali e iniziamo un notebook per pulire e preparare alcuni dati. I dati che analizzerai sono presi dalla competizione di previsione GEFCom2014. Consistono in 3 anni di valori orari di carico elettrico e temperatura tra il 2012 e il 2014. Dati i modelli storici di carico elettrico e temperatura, puoi prevedere i valori futuri del carico elettrico. + +In questo esempio, imparerai come prevedere un passo temporale avanti, utilizzando solo i dati storici del carico. Tuttavia, prima di iniziare, è utile capire cosa sta succedendo dietro le quinte. + +## Alcune definizioni + +Quando incontri il termine 'serie temporale' devi capire il suo uso in diversi contesti. + +🎓 **Serie temporale** + +In matematica, "una serie temporale è una serie di punti dati indicizzati (o elencati o tracciati) in ordine temporale. Più comunemente, una serie temporale è una sequenza presa in punti di tempo successivi equamente distanziati." Un esempio di serie temporale è il valore di chiusura giornaliero del [Dow Jones Industrial Average](https://wikipedia.org/wiki/Time_series). L'uso di tracciati di serie temporali e la modellazione statistica è frequentemente incontrato nell'elaborazione del segnale, previsione meteorologica, previsione dei terremoti e altri campi in cui si verificano eventi e i punti dati possono essere tracciati nel tempo. + +🎓 **Analisi delle serie temporali** + +L'analisi delle serie temporali è l'analisi dei dati di serie temporali sopra menzionati. I dati di serie temporali possono assumere forme distinte, incluso 'serie temporali interrotte' che rilevano modelli nell'evoluzione di una serie temporale prima e dopo un evento di interruzione. Il tipo di analisi necessario per la serie temporale dipende dalla natura dei dati. I dati di serie temporali stessi possono assumere la forma di serie di numeri o caratteri. + +L'analisi da eseguire utilizza una varietà di metodi, inclusi dominio della frequenza e dominio del tempo, lineare e non lineare, e altro. [Scopri di più](https://www.itl.nist.gov/div898/handbook/pmc/section4/pmc4.htm) sui molti modi per analizzare questo tipo di dati. + +🎓 **Previsione delle serie temporali** + +La previsione delle serie temporali è l'uso di un modello per prevedere valori futuri basati su modelli mostrati dai dati raccolti in precedenza come si sono verificati nel passato. Mentre è possibile utilizzare modelli di regressione per esplorare i dati di serie temporali, con indici temporali come variabili x su un grafico, tali dati sono meglio analizzati utilizzando tipi speciali di modelli. + +I dati di serie temporali sono un elenco di osservazioni ordinate, a differenza dei dati che possono essere analizzati tramite regressione lineare. Il più comune è ARIMA, un acronimo che sta per "Autoregressive Integrated Moving Average". + +I [modelli ARIMA](https://online.stat.psu.edu/stat510/lesson/1/1.1) "relazionano il valore presente di una serie ai valori passati e agli errori di previsione passati." Sono più appropriati per l'analisi dei dati nel dominio del tempo, dove i dati sono ordinati nel tempo. + +> Esistono diversi tipi di modelli ARIMA, che puoi imparare [qui](https://people.duke.edu/~rnau/411arim.htm) e che toccherai nella prossima lezione. + +Nella prossima lezione, costruirai un modello ARIMA utilizzando [Serie Temporali Univariate](https://itl.nist.gov/div898/handbook/pmc/section4/pmc44.htm), che si concentra su una variabile che cambia il suo valore nel tempo. Un esempio di questo tipo di dati è [questo dataset](https://itl.nist.gov/div898/handbook/pmc/section4/pmc4411.htm) che registra la concentrazione mensile di CO2 all'Osservatorio di Mauna Loa: + +| CO2 | YearMonth | Year | Month | +| :----: | :-------: | :---: | :---: | +| 330.62 | 1975.04 | 1975 | 1 | +| 331.40 | 1975.13 | 1975 | 2 | +| 331.87 | 1975.21 | 1975 | 3 | +| 333.18 | 1975.29 | 1975 | 4 | +| 333.92 | 1975.38 | 1975 | 5 | +| 333.43 | 1975.46 | 1975 | 6 | +| 331.85 | 1975.54 | 1975 | 7 | +| 330.01 | 1975.63 | 1975 | 8 | +| 328.51 | 1975.71 | 1975 | 9 | +| 328.41 | 1975.79 | 1975 | 10 | +| 329.25 | 1975.88 | 1975 | 11 | +| 330.97 | 1975.96 | 1975 | 12 | + +✅ Identifica la variabile che cambia nel tempo in questo dataset + +## Caratteristiche dei dati delle serie temporali da considerare + +Quando guardi i dati delle serie temporali, potresti notare che hanno [certe caratteristiche](https://online.stat.psu.edu/stat510/lesson/1/1.1) che devi prendere in considerazione e mitigare per comprendere meglio i loro modelli. Se consideri i dati delle serie temporali come potenzialmente fornendo un 'segnale' che vuoi analizzare, queste caratteristiche possono essere considerate 'rumore'. Spesso sarà necessario ridurre questo 'rumore' compensando alcune di queste caratteristiche utilizzando alcune tecniche statistiche. + +Ecco alcuni concetti che dovresti conoscere per poter lavorare con le serie temporali: + +🎓 **Trend** + +I trend sono definiti come aumenti e diminuzioni misurabili nel tempo. [Leggi di più](https://machinelearningmastery.com/time-series-trends-in-python). Nel contesto delle serie temporali, si tratta di come usare e, se necessario, rimuovere i trend dalla tua serie temporale. + +🎓 **[Stagionalità](https://machinelearningmastery.com/time-series-seasonality-with-python/)** + +La stagionalità è definita come fluttuazioni periodiche, come i picchi di vendita durante le festività, per esempio. [Dai un'occhiata](https://itl.nist.gov/div898/handbook/pmc/section4/pmc443.htm) a come diversi tipi di grafici mostrano la stagionalità nei dati. + +🎓 **Outliers** + +Gli outliers sono lontani dalla varianza standard dei dati. + +🎓 **Ciclo a lungo termine** + +Indipendentemente dalla stagionalità, i dati potrebbero mostrare un ciclo a lungo termine come una recessione economica che dura più di un anno. + +🎓 **Varianza costante** + +Nel tempo, alcuni dati mostrano fluttuazioni costanti, come l'uso di energia per giorno e notte. + +🎓 **Cambiamenti improvvisi** + +I dati potrebbero mostrare un cambiamento improvviso che potrebbe necessitare di ulteriori analisi. La chiusura improvvisa delle attività a causa del COVID, per esempio, ha causato cambiamenti nei dati. + +✅ Ecco un [esempio di grafico di serie temporali](https://www.kaggle.com/kashnitsky/topic-9-part-1-time-series-analysis-in-python) che mostra la spesa giornaliera in valuta di gioco nel corso di alcuni anni. Riesci a identificare alcune delle caratteristiche elencate sopra in questi dati? + + + +## Esercizio - iniziare con i dati sull'uso dell'energia + +Iniziamo a creare un modello di serie temporali per prevedere l'uso futuro dell'energia dato l'uso passato. + +> I dati in questo esempio sono presi dalla competizione di previsione GEFCom2014. Consistono in 3 anni di valori orari di carico elettrico e temperatura tra il 2012 e il 2014. +> +> Tao Hong, Pierre Pinson, Shu Fan, Hamidreza Zareipour, Alberto Troccoli e Rob J. Hyndman, "Previsione probabilistica dell'energia: Competizione Globale di Previsione dell'Energia 2014 e oltre", International Journal of Forecasting, vol.32, no.3, pp 896-913, luglio-settembre, 2016. + +1. Nella cartella `working` di questa lezione, apri il file _notebook.ipynb_. Inizia aggiungendo le librerie che ti aiuteranno a caricare e visualizzare i dati + + ```python + import os + import matplotlib.pyplot as plt + from common.utils import load_data + %matplotlib inline + ``` + + Nota, stai usando i file dalla cartella `common` folder which set up your environment and handle downloading the data. + +2. Next, examine the data as a dataframe calling `load_data()` and `head()`: + + ```python + data_dir = './data' + energy = load_data(data_dir)[['load']] + energy.head() + ``` + + Puoi vedere che ci sono due colonne che rappresentano data e carico: + + | | carico | + | :-----------------: | :------: | + | 2012-01-01 00:00:00 | 2698.0 | + | 2012-01-01 01:00:00 | 2558.0 | + | 2012-01-01 02:00:00 | 2444.0 | + | 2012-01-01 03:00:00 | 2402.0 | + | 2012-01-01 04:00:00 | 2403.0 | + +3. Ora, traccia i dati chiamando `plot()`: + + ```python + energy.plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + +4. Ora, traccia la prima settimana di luglio 2014, fornendola come input al modello `energy` in `[from date]: [to date]`: + + ```python + energy['2014-07-01':'2014-07-07'].plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + + Un grafico bellissimo! Dai un'occhiata a questi grafici e vedi se riesci a determinare alcune delle caratteristiche elencate sopra. Cosa possiamo dedurre visualizzando i dati? + +Nella prossima lezione, creerai un modello ARIMA per creare alcune previsioni. + +--- + +## 🚀Sfida + +Fai un elenco di tutte le industrie e aree di indagine che puoi pensare che potrebbero beneficiare della previsione delle serie temporali. Riesci a pensare a un'applicazione di queste tecniche nelle arti? Nell'econometria? Nell'ecologia? Nel commercio al dettaglio? Nell'industria? Nella finanza? Dove altro? + +## [Quiz post-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/42/) + +## Revisione e Autoapprendimento + +Anche se non li copriremo qui, le reti neurali sono talvolta utilizzate per migliorare i metodi classici di previsione delle serie temporali. Leggi di più su di esse [in questo articolo](https://medium.com/microsoftazure/neural-networks-for-forecasting-financial-and-economic-time-series-6aca370ff412) + +## Compito + +[Visualizza altre serie temporali](assignment.md) + +**Avvertenza**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su AI. Sebbene ci impegniamo per garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua madre dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/7-TimeSeries/1-Introduction/assignment.md b/translations/it/7-TimeSeries/1-Introduction/assignment.md new file mode 100644 index 000000000..5b93f96f8 --- /dev/null +++ b/translations/it/7-TimeSeries/1-Introduction/assignment.md @@ -0,0 +1,14 @@ +# Visualizza altre Serie Temporali + +## Istruzioni + +Hai iniziato a conoscere il Time Series Forecasting esaminando il tipo di dati che richiede questa modellazione speciale. Hai visualizzato alcuni dati relativi all'energia. Ora, cerca altri dati che potrebbero beneficiare del Time Series Forecasting. Trova tre esempi (prova [Kaggle](https://kaggle.com) e [Azure Open Datasets](https://azure.microsoft.com/en-us/services/open-datasets/catalog/?WT.mc_id=academic-77952-leestott)) e crea un notebook per visualizzarli. Nota nel notebook qualsiasi caratteristica speciale che presentano (stagionalità, cambiamenti improvvisi o altre tendenze). + +## Rubrica + +| Criteri | Esemplare | Adeguato | Da Migliorare | +| -------- | ------------------------------------------------------ | ---------------------------------------------------- | ----------------------------------------------------------------------------------------- | +| | Tre dataset sono tracciati e spiegati in un notebook | Due dataset sono tracciati e spiegati in un notebook | Pochi dataset sono tracciati o spiegati in un notebook o i dati presentati sono insufficienti | + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatizzati basati su intelligenza artificiale. Anche se ci sforziamo di garantire l'accuratezza, si prega di notare che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione umana professionale. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/7-TimeSeries/1-Introduction/solution/Julia/README.md b/translations/it/7-TimeSeries/1-Introduction/solution/Julia/README.md new file mode 100644 index 000000000..cdfe4eab9 --- /dev/null +++ b/translations/it/7-TimeSeries/1-Introduction/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione basati su intelligenza artificiale. Sebbene ci sforziamo di garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatizzate possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/7-TimeSeries/1-Introduction/solution/R/README.md b/translations/it/7-TimeSeries/1-Introduction/solution/R/README.md new file mode 100644 index 000000000..cd23bc558 --- /dev/null +++ b/translations/it/7-TimeSeries/1-Introduction/solution/R/README.md @@ -0,0 +1,4 @@ + + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su intelligenza artificiale. Anche se ci impegniamo per l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali incomprensioni o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/7-TimeSeries/2-ARIMA/README.md b/translations/it/7-TimeSeries/2-ARIMA/README.md new file mode 100644 index 000000000..e9bebb7fc --- /dev/null +++ b/translations/it/7-TimeSeries/2-ARIMA/README.md @@ -0,0 +1,396 @@ +# Previsione di serie temporali con ARIMA + +Nella lezione precedente, hai appreso un po' sulla previsione di serie temporali e hai caricato un dataset che mostra le fluttuazioni del carico elettrico nel tempo. + +[](https://youtu.be/IUSk-YDau10 "Introduzione ad ARIMA") + +> 🎥 Clicca sull'immagine sopra per un video: Una breve introduzione ai modelli ARIMA. L'esempio è fatto in R, ma i concetti sono universali. + +## [Quiz pre-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/43/) + +## Introduzione + +In questa lezione, scoprirai un modo specifico per costruire modelli con [ARIMA: *A*uto*R*egressive *I*ntegrated *M*oving *A*verage](https://wikipedia.org/wiki/Autoregressive_integrated_moving_average). I modelli ARIMA sono particolarmente adatti per adattarsi ai dati che mostrano [non-stazionarietà](https://wikipedia.org/wiki/Stationary_process). + +## Concetti generali + +Per poter lavorare con ARIMA, ci sono alcuni concetti che devi conoscere: + +- 🎓 **Stazionarietà**. In un contesto statistico, la stazionarietà si riferisce a dati la cui distribuzione non cambia quando viene spostata nel tempo. I dati non stazionari, invece, mostrano fluttuazioni dovute a tendenze che devono essere trasformate per essere analizzate. La stagionalità, per esempio, può introdurre fluttuazioni nei dati e può essere eliminata attraverso un processo di 'differenziazione stagionale'. + +- 🎓 **[Differenziazione](https://wikipedia.org/wiki/Autoregressive_integrated_moving_average#Differencing)**. La differenziazione dei dati, ancora una volta in un contesto statistico, si riferisce al processo di trasformazione dei dati non stazionari per renderli stazionari rimuovendo la loro tendenza non costante. "La differenziazione rimuove i cambiamenti nel livello di una serie temporale, eliminando tendenza e stagionalità e stabilizzando di conseguenza la media della serie temporale." [Paper di Shixiong et al](https://arxiv.org/abs/1904.07632) + +## ARIMA nel contesto delle serie temporali + +Esaminiamo le parti di ARIMA per capire meglio come ci aiuta a modellare le serie temporali e a fare previsioni. + +- **AR - per AutoRegressivo**. I modelli autoregressivi, come suggerisce il nome, guardano 'indietro' nel tempo per analizzare i valori precedenti nei tuoi dati e fare ipotesi su di essi. Questi valori precedenti sono chiamati 'lag'. Un esempio potrebbe essere i dati che mostrano le vendite mensili di matite. Il totale delle vendite di ogni mese sarebbe considerato una 'variabile evolutiva' nel dataset. Questo modello è costruito come "la variabile evolutiva di interesse è regressa sui suoi stessi valori ritardati (cioè, precedenti)." [wikipedia](https://wikipedia.org/wiki/Autoregressive_integrated_moving_average) + +- **I - per Integrato**. A differenza dei modelli simili 'ARMA', la 'I' in ARIMA si riferisce al suo aspetto *[integrato](https://wikipedia.org/wiki/Order_of_integration)*. I dati sono 'integrati' quando vengono applicati passaggi di differenziazione per eliminare la non stazionarietà. + +- **MA - per Media Mobile**. L'aspetto della [media mobile](https://wikipedia.org/wiki/Moving-average_model) di questo modello si riferisce alla variabile di output che è determinata osservando i valori attuali e passati dei lag. + +In sintesi: ARIMA viene utilizzato per adattare un modello alla forma speciale dei dati di serie temporali nel modo più preciso possibile. + +## Esercizio - costruisci un modello ARIMA + +Apri la cartella [_/working_](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA/working) in questa lezione e trova il file [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/7-TimeSeries/2-ARIMA/working/notebook.ipynb). + +1. Esegui il notebook per caricare la libreria `statsmodels` Python; avrai bisogno di questa per i modelli ARIMA. + +1. Carica le librerie necessarie + +1. Ora, carica altre librerie utili per la visualizzazione dei dati: + + ```python + import os + import warnings + import matplotlib.pyplot as plt + import numpy as np + import pandas as pd + import datetime as dt + import math + + from pandas.plotting import autocorrelation_plot + from statsmodels.tsa.statespace.sarimax import SARIMAX + from sklearn.preprocessing import MinMaxScaler + from common.utils import load_data, mape + from IPython.display import Image + + %matplotlib inline + pd.options.display.float_format = '{:,.2f}'.format + np.set_printoptions(precision=2) + warnings.filterwarnings("ignore") # specify to ignore warning messages + ``` + +1. Carica i dati dal file `/data/energy.csv` in un dataframe Pandas e dai un'occhiata: + + ```python + energy = load_data('./data')[['load']] + energy.head(10) + ``` + +1. Traccia tutti i dati energetici disponibili da gennaio 2012 a dicembre 2014. Non ci dovrebbero essere sorprese poiché abbiamo visto questi dati nella lezione precedente: + + ```python + energy.plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + + Ora, costruiamo un modello! + +### Crea dataset di addestramento e test + +Ora i tuoi dati sono caricati, quindi puoi separarli in set di addestramento e di test. Addestrerai il tuo modello sul set di addestramento. Come al solito, dopo che il modello ha terminato l'addestramento, valuterai la sua accuratezza utilizzando il set di test. Devi assicurarti che il set di test copra un periodo di tempo successivo rispetto al set di addestramento per garantire che il modello non acquisisca informazioni dai periodi futuri. + +1. Assegna un periodo di due mesi dal 1 settembre al 31 ottobre 2014 al set di addestramento. Il set di test includerà il periodo di due mesi dal 1 novembre al 31 dicembre 2014: + + ```python + train_start_dt = '2014-11-01 00:00:00' + test_start_dt = '2014-12-30 00:00:00' + ``` + + Poiché questi dati riflettono il consumo giornaliero di energia, c'è un forte schema stagionale, ma il consumo è più simile al consumo nei giorni più recenti. + +1. Visualizza le differenze: + + ```python + energy[(energy.index < test_start_dt) & (energy.index >= train_start_dt)][['load']].rename(columns={'load':'train'}) \ + .join(energy[test_start_dt:][['load']].rename(columns={'load':'test'}), how='outer') \ + .plot(y=['train', 'test'], figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + + Pertanto, utilizzare una finestra di tempo relativamente piccola per l'addestramento dei dati dovrebbe essere sufficiente. + + > Nota: Poiché la funzione che utilizziamo per adattare il modello ARIMA utilizza la validazione in-sample durante l'adattamento, ometteremo i dati di validazione. + +### Prepara i dati per l'addestramento + +Ora, devi preparare i dati per l'addestramento eseguendo il filtraggio e la scalatura dei tuoi dati. Filtra il tuo dataset per includere solo i periodi di tempo e le colonne di cui hai bisogno e scala i dati per assicurarti che siano proiettati nell'intervallo 0,1. + +1. Filtra il dataset originale per includere solo i periodi di tempo sopra menzionati per set e includendo solo la colonna 'load' necessaria più la data: + + ```python + train = energy.copy()[(energy.index >= train_start_dt) & (energy.index < test_start_dt)][['load']] + test = energy.copy()[energy.index >= test_start_dt][['load']] + + print('Training data shape: ', train.shape) + print('Test data shape: ', test.shape) + ``` + + Puoi vedere la forma dei dati: + + ```output + Training data shape: (1416, 1) + Test data shape: (48, 1) + ``` + +1. Scala i dati per essere nell'intervallo (0, 1). + + ```python + scaler = MinMaxScaler() + train['load'] = scaler.fit_transform(train) + train.head(10) + ``` + +1. Visualizza i dati originali vs. scalati: + + ```python + energy[(energy.index >= train_start_dt) & (energy.index < test_start_dt)][['load']].rename(columns={'load':'original load'}).plot.hist(bins=100, fontsize=12) + train.rename(columns={'load':'scaled load'}).plot.hist(bins=100, fontsize=12) + plt.show() + ``` + +  + + > I dati originali + +  + + > I dati scalati + +1. Ora che hai calibrato i dati scalati, puoi scalare i dati di test: + + ```python + test['load'] = scaler.transform(test) + test.head() + ``` + +### Implementa ARIMA + +È ora di implementare ARIMA! Ora utilizzerai la libreria `statsmodels` che hai installato in precedenza. + +Ora devi seguire diversi passaggi + + 1. Definisci il modello chiamando `SARIMAX()` and passing in the model parameters: p, d, and q parameters, and P, D, and Q parameters. + 2. Prepare the model for the training data by calling the fit() function. + 3. Make predictions calling the `forecast()` function and specifying the number of steps (the `horizon`) to forecast. + +> 🎓 What are all these parameters for? In an ARIMA model there are 3 parameters that are used to help model the major aspects of a time series: seasonality, trend, and noise. These parameters are: + +`p`: the parameter associated with the auto-regressive aspect of the model, which incorporates *past* values. +`d`: the parameter associated with the integrated part of the model, which affects the amount of *differencing* (🎓 remember differencing 👆?) to apply to a time series. +`q`: the parameter associated with the moving-average part of the model. + +> Note: If your data has a seasonal aspect - which this one does - , we use a seasonal ARIMA model (SARIMA). In that case you need to use another set of parameters: `P`, `D`, and `Q` which describe the same associations as `p`, `d`, and `q`, ma corrispondono ai componenti stagionali del modello. + +1. Inizia impostando il tuo valore di orizzonte preferito. Proviamo 3 ore: + + ```python + # Specify the number of steps to forecast ahead + HORIZON = 3 + print('Forecasting horizon:', HORIZON, 'hours') + ``` + + Selezionare i migliori valori per i parametri di un modello ARIMA può essere impegnativo poiché è in parte soggettivo e richiede tempo. Potresti considerare di utilizzare una libreria `auto_arima()` function from the [`pyramid`](https://alkaline-ml.com/pmdarima/0.9.0/modules/generated/pyramid.arima.auto_arima.html), + +1. Per ora prova alcune selezioni manuali per trovare un buon modello. + + ```python + order = (4, 1, 0) + seasonal_order = (1, 1, 0, 24) + + model = SARIMAX(endog=train, order=order, seasonal_order=seasonal_order) + results = model.fit() + + print(results.summary()) + ``` + + Viene stampata una tabella di risultati. + +Hai costruito il tuo primo modello! Ora dobbiamo trovare un modo per valutarlo. + +### Valuta il tuo modello + +Per valutare il tuo modello, puoi eseguire la cosiddetta validazione `walk forward`. In pratica, i modelli di serie temporali vengono ri-addestrati ogni volta che sono disponibili nuovi dati. Questo consente al modello di fare la migliore previsione a ogni passo temporale. + +Partendo dall'inizio della serie temporale utilizzando questa tecnica, addestra il modello sul set di dati di addestramento. Quindi fai una previsione sul passo temporale successivo. La previsione viene valutata rispetto al valore noto. Il set di addestramento viene quindi ampliato per includere il valore noto e il processo viene ripetuto. + +> Nota: Dovresti mantenere la finestra del set di addestramento fissa per un addestramento più efficiente in modo che ogni volta che aggiungi una nuova osservazione al set di addestramento, rimuovi l'osservazione dall'inizio del set. + +Questo processo fornisce una stima più robusta di come il modello si comporterà in pratica. Tuttavia, comporta il costo computazionale di creare tanti modelli. Questo è accettabile se i dati sono piccoli o se il modello è semplice, ma potrebbe essere un problema su larga scala. + +La validazione walk-forward è lo standard d'oro per la valutazione dei modelli di serie temporali ed è raccomandata per i tuoi progetti. + +1. Innanzitutto, crea un punto dati di test per ogni passo HORIZON. + + ```python + test_shifted = test.copy() + + for t in range(1, HORIZON+1): + test_shifted['load+'+str(t)] = test_shifted['load'].shift(-t, freq='H') + + test_shifted = test_shifted.dropna(how='any') + test_shifted.head(5) + ``` + + | | | load | load+1 | load+2 | + | ---------- | -------- | ---- | ------ | ------ | + | 2014-12-30 | 00:00:00 | 0.33 | 0.29 | 0.27 | + | 2014-12-30 | 01:00:00 | 0.29 | 0.27 | 0.27 | + | 2014-12-30 | 02:00:00 | 0.27 | 0.27 | 0.30 | + | 2014-12-30 | 03:00:00 | 0.27 | 0.30 | 0.41 | + | 2014-12-30 | 04:00:00 | 0.30 | 0.41 | 0.57 | + + I dati vengono spostati orizzontalmente in base al punto di orizzonte. + +1. Fai previsioni sui tuoi dati di test utilizzando questo approccio a finestra scorrevole in un ciclo della lunghezza dei dati di test: + + ```python + %%time + training_window = 720 # dedicate 30 days (720 hours) for training + + train_ts = train['load'] + test_ts = test_shifted + + history = [x for x in train_ts] + history = history[(-training_window):] + + predictions = list() + + order = (2, 1, 0) + seasonal_order = (1, 1, 0, 24) + + for t in range(test_ts.shape[0]): + model = SARIMAX(endog=history, order=order, seasonal_order=seasonal_order) + model_fit = model.fit() + yhat = model_fit.forecast(steps = HORIZON) + predictions.append(yhat) + obs = list(test_ts.iloc[t]) + # move the training window + history.append(obs[0]) + history.pop(0) + print(test_ts.index[t]) + print(t+1, ': predicted =', yhat, 'expected =', obs) + ``` + + Puoi osservare l'addestramento in corso: + + ```output + 2014-12-30 00:00:00 + 1 : predicted = [0.32 0.29 0.28] expected = [0.32945389435989236, 0.2900626678603402, 0.2739480752014323] + + 2014-12-30 01:00:00 + 2 : predicted = [0.3 0.29 0.3 ] expected = [0.2900626678603402, 0.2739480752014323, 0.26812891674127126] + + 2014-12-30 02:00:00 + 3 : predicted = [0.27 0.28 0.32] expected = [0.2739480752014323, 0.26812891674127126, 0.3025962399283795] + ``` + +1. Confronta le previsioni con il carico effettivo: + + ```python + eval_df = pd.DataFrame(predictions, columns=['t+'+str(t) for t in range(1, HORIZON+1)]) + eval_df['timestamp'] = test.index[0:len(test.index)-HORIZON+1] + eval_df = pd.melt(eval_df, id_vars='timestamp', value_name='prediction', var_name='h') + eval_df['actual'] = np.array(np.transpose(test_ts)).ravel() + eval_df[['prediction', 'actual']] = scaler.inverse_transform(eval_df[['prediction', 'actual']]) + eval_df.head() + ``` + + Output + | | | timestamp | h | prediction | actual | + | --- | ---------- | --------- | --- | ---------- | -------- | + | 0 | 2014-12-30 | 00:00:00 | t+1 | 3,008.74 | 3,023.00 | + | 1 | 2014-12-30 | 01:00:00 | t+1 | 2,955.53 | 2,935.00 | + | 2 | 2014-12-30 | 02:00:00 | t+1 | 2,900.17 | 2,899.00 | + | 3 | 2014-12-30 | 03:00:00 | t+1 | 2,917.69 | 2,886.00 | + | 4 | 2014-12-30 | 04:00:00 | t+1 | 2,946.99 | 2,963.00 | + + Osserva la previsione dei dati orari, rispetto al carico effettivo. Quanto è accurata questa previsione? + +### Verifica l'accuratezza del modello + +Verifica l'accuratezza del tuo modello testando il suo errore percentuale assoluto medio (MAPE) su tutte le previsioni. + +> **🧮 Mostrami i calcoli** +> +>  +> +> [MAPE](https://www.linkedin.com/pulse/what-mape-mad-msd-time-series-allameh-statistics/) viene utilizzato per mostrare l'accuratezza della previsione come rapporto definito dalla formula sopra. La differenza tra actualt e predictedt viene divisa per actualt. "Il valore assoluto in questo calcolo viene sommato per ogni punto di previsione nel tempo e diviso per il numero di punti adattati n." [wikipedia](https://wikipedia.org/wiki/Mean_absolute_percentage_error) + +1. Esprimi l'equazione in codice: + + ```python + if(HORIZON > 1): + eval_df['APE'] = (eval_df['prediction'] - eval_df['actual']).abs() / eval_df['actual'] + print(eval_df.groupby('h')['APE'].mean()) + ``` + +1. Calcola il MAPE di un singolo passo: + + ```python + print('One step forecast MAPE: ', (mape(eval_df[eval_df['h'] == 't+1']['prediction'], eval_df[eval_df['h'] == 't+1']['actual']))*100, '%') + ``` + + MAPE della previsione di un passo: 0.5570581332313952 % + +1. Stampa il MAPE della previsione multi-passo: + + ```python + print('Multi-step forecast MAPE: ', mape(eval_df['prediction'], eval_df['actual'])*100, '%') + ``` + + ```output + Multi-step forecast MAPE: 1.1460048657704118 % + ``` + + Un numero basso è il migliore: considera che una previsione con un MAPE di 10 è sbagliata del 10%. + +1. Ma come sempre, è più facile vedere questo tipo di misurazione dell'accuratezza visivamente, quindi tracciamolo: + + ```python + if(HORIZON == 1): + ## Plotting single step forecast + eval_df.plot(x='timestamp', y=['actual', 'prediction'], style=['r', 'b'], figsize=(15, 8)) + + else: + ## Plotting multi step forecast + plot_df = eval_df[(eval_df.h=='t+1')][['timestamp', 'actual']] + for t in range(1, HORIZON+1): + plot_df['t+'+str(t)] = eval_df[(eval_df.h=='t+'+str(t))]['prediction'].values + + fig = plt.figure(figsize=(15, 8)) + ax = plt.plot(plot_df['timestamp'], plot_df['actual'], color='red', linewidth=4.0) + ax = fig.add_subplot(111) + for t in range(1, HORIZON+1): + x = plot_df['timestamp'][(t-1):] + y = plot_df['t+'+str(t)][0:len(x)] + ax.plot(x, y, color='blue', linewidth=4*math.pow(.9,t), alpha=math.pow(0.8,t)) + + ax.legend(loc='best') + + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + +🏆 Un grafico molto bello, che mostra un modello con buona accuratezza. Ben fatto! + +--- + +## 🚀Sfida + +Approfondisci i modi per testare l'accuratezza di un modello di serie temporali. Abbiamo trattato il MAPE in questa lezione, ma ci sono altri metodi che potresti usare? Ricercali e annotali. Un documento utile può essere trovato [qui](https://otexts.com/fpp2/accuracy.html) + +## [Quiz post-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/44/) + +## Revisione & Autoapprendimento + +Questa lezione tocca solo le basi della previsione di serie temporali con ARIMA. Prenditi del tempo per approfondire la tua conoscenza esplorando [questo repository](https://microsoft.github.io/forecasting/) e i suoi vari tipi di modelli per imparare altri modi per costruire modelli di serie temporali. + +## Compito + +[Un nuovo modello ARIMA](assignment.md) + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su intelligenza artificiale. Sebbene ci sforziamo di ottenere accuratezza, si prega di notare che le traduzioni automatiche possono contenere errori o inesattezze. Il documento originale nella sua lingua madre dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/7-TimeSeries/2-ARIMA/assignment.md b/translations/it/7-TimeSeries/2-ARIMA/assignment.md new file mode 100644 index 000000000..6c9d7f677 --- /dev/null +++ b/translations/it/7-TimeSeries/2-ARIMA/assignment.md @@ -0,0 +1,14 @@ +# Un nuovo modello ARIMA + +## Istruzioni + +Ora che hai costruito un modello ARIMA, costruiscine uno nuovo con dati freschi (prova uno di [questi dataset di Duke](http://www2.stat.duke.edu/~mw/ts_data_sets.html)). Annota il tuo lavoro in un notebook, visualizza i dati e il tuo modello, e testa la sua accuratezza utilizzando MAPE. + +## Rubrica + +| Criteri | Esemplare | Adeguato | Necessita Miglioramenti | +| -------- | ------------------------------------------------------------------------------------------------------------------- | -------------------------------------------------------- | ----------------------------------- | +| | Un notebook è presentato con un nuovo modello ARIMA costruito, testato e spiegato con visualizzazioni e accuratezza dichiarata. | Il notebook presentato non è annotato o contiene errori | Viene presentato un notebook incompleto | + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su AI. Sebbene ci impegniamo per l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali fraintendimenti o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/7-TimeSeries/2-ARIMA/solution/Julia/README.md b/translations/it/7-TimeSeries/2-ARIMA/solution/Julia/README.md new file mode 100644 index 000000000..b20a093c6 --- /dev/null +++ b/translations/it/7-TimeSeries/2-ARIMA/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Avvertenza**: +Questo documento è stato tradotto utilizzando servizi di traduzione basati su intelligenza artificiale. Sebbene ci sforziamo di garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/7-TimeSeries/2-ARIMA/solution/R/README.md b/translations/it/7-TimeSeries/2-ARIMA/solution/R/README.md new file mode 100644 index 000000000..9bc2be598 --- /dev/null +++ b/translations/it/7-TimeSeries/2-ARIMA/solution/R/README.md @@ -0,0 +1,4 @@ + + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatizzati basati su intelligenza artificiale. Sebbene ci impegniamo per garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatizzate possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/7-TimeSeries/3-SVR/README.md b/translations/it/7-TimeSeries/3-SVR/README.md new file mode 100644 index 000000000..f9095cd83 --- /dev/null +++ b/translations/it/7-TimeSeries/3-SVR/README.md @@ -0,0 +1,389 @@ +# Previsione di Serie Temporali con Support Vector Regressor + +Nella lezione precedente, hai imparato a utilizzare il modello ARIMA per fare previsioni su serie temporali. Ora vedrai il modello Support Vector Regressor, che è un modello di regressione usato per prevedere dati continui. + +## [Quiz Pre-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/51/) + +## Introduzione + +In questa lezione, scoprirai un modo specifico per costruire modelli con [**SVM**: **S**upport **V**ector **M**achine](https://en.wikipedia.org/wiki/Support-vector_machine) per la regressione, o **SVR: Support Vector Regressor**. + +### SVR nel contesto delle serie temporali [^1] + +Prima di comprendere l'importanza di SVR nella previsione delle serie temporali, ecco alcuni concetti importanti che devi conoscere: + +- **Regressione:** Tecnica di apprendimento supervisionato per prevedere valori continui da un insieme di input dato. L'idea è di adattare una curva (o linea) nello spazio delle caratteristiche che ha il maggior numero di punti dati. [Clicca qui](https://en.wikipedia.org/wiki/Regression_analysis) per maggiori informazioni. +- **Support Vector Machine (SVM):** Un tipo di modello di apprendimento supervisionato utilizzato per classificazione, regressione e rilevamento di anomalie. Il modello è un iperpiano nello spazio delle caratteristiche, che nel caso della classificazione agisce come un confine, e nel caso della regressione agisce come la linea di miglior adattamento. In SVM, una funzione Kernel viene generalmente utilizzata per trasformare il dataset in uno spazio con un numero maggiore di dimensioni, in modo che possano essere facilmente separabili. [Clicca qui](https://en.wikipedia.org/wiki/Support-vector_machine) per maggiori informazioni sulle SVM. +- **Support Vector Regressor (SVR):** Un tipo di SVM, per trovare la linea di miglior adattamento (che nel caso di SVM è un iperpiano) che ha il maggior numero di punti dati. + +### Perché SVR? [^1] + +Nell'ultima lezione hai imparato l'ARIMA, che è un metodo statistico lineare molto efficace per prevedere i dati delle serie temporali. Tuttavia, in molti casi, i dati delle serie temporali presentano *non-linearità*, che non possono essere mappate da modelli lineari. In questi casi, la capacità di SVM di considerare la non-linearità nei dati per compiti di regressione rende SVR efficace nella previsione delle serie temporali. + +## Esercizio - costruisci un modello SVR + +I primi passi per la preparazione dei dati sono gli stessi della lezione precedente su [ARIMA](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA). + +Apri la cartella [_/working_](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/3-SVR/working) in questa lezione e trova il file [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/7-TimeSeries/3-SVR/working/notebook.ipynb).[^2] + +1. Esegui il notebook e importa le librerie necessarie: [^2] + + ```python + import sys + sys.path.append('../../') + ``` + + ```python + import os + import warnings + import matplotlib.pyplot as plt + import numpy as np + import pandas as pd + import datetime as dt + import math + + from sklearn.svm import SVR + from sklearn.preprocessing import MinMaxScaler + from common.utils import load_data, mape + ``` + +2. Carica i dati dal file `/data/energy.csv` in un dataframe Pandas e dai un'occhiata: [^2] + + ```python + energy = load_data('../../data')[['load']] + ``` + +3. Traccia tutti i dati energetici disponibili da gennaio 2012 a dicembre 2014: [^2] + + ```python + energy.plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + + Ora, costruiamo il nostro modello SVR. + +### Crea set di dati per l'addestramento e il test + +Ora i tuoi dati sono caricati, quindi puoi separarli in set di addestramento e test. Poi ridimensionerai i dati per creare un dataset basato sui passi temporali che sarà necessario per il SVR. Addestrerai il tuo modello sul set di addestramento. Dopo che il modello ha finito l'addestramento, valuterai la sua accuratezza sul set di addestramento, sul set di test e poi sull'intero dataset per vedere le prestazioni complessive. Devi assicurarti che il set di test copra un periodo successivo nel tempo rispetto al set di addestramento per garantire che il modello non acquisisca informazioni dai periodi futuri [^2] (una situazione nota come *Overfitting*). + +1. Assegna un periodo di due mesi dal 1 settembre al 31 ottobre 2014 al set di addestramento. Il set di test includerà il periodo di due mesi dal 1 novembre al 31 dicembre 2014: [^2] + + ```python + train_start_dt = '2014-11-01 00:00:00' + test_start_dt = '2014-12-30 00:00:00' + ``` + +2. Visualizza le differenze: [^2] + + ```python + energy[(energy.index < test_start_dt) & (energy.index >= train_start_dt)][['load']].rename(columns={'load':'train'}) \ + .join(energy[test_start_dt:][['load']].rename(columns={'load':'test'}), how='outer') \ + .plot(y=['train', 'test'], figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + + + +### Prepara i dati per l'addestramento + +Ora, devi preparare i dati per l'addestramento eseguendo il filtraggio e la scalatura dei dati. Filtra il tuo dataset per includere solo i periodi di tempo e le colonne necessarie, e scala i dati per garantire che siano proiettati nell'intervallo 0,1. + +1. Filtra il dataset originale per includere solo i periodi di tempo sopra menzionati per set e includendo solo la colonna necessaria 'load' più la data: [^2] + + ```python + train = energy.copy()[(energy.index >= train_start_dt) & (energy.index < test_start_dt)][['load']] + test = energy.copy()[energy.index >= test_start_dt][['load']] + + print('Training data shape: ', train.shape) + print('Test data shape: ', test.shape) + ``` + + ```output + Training data shape: (1416, 1) + Test data shape: (48, 1) + ``` + +2. Scala i dati di addestramento per essere nell'intervallo (0, 1): [^2] + + ```python + scaler = MinMaxScaler() + train['load'] = scaler.fit_transform(train) + ``` + +4. Ora, scala i dati di test: [^2] + + ```python + test['load'] = scaler.transform(test) + ``` + +### Crea dati con passi temporali [^1] + +Per il SVR, trasformi i dati di input in forma `[batch, timesteps]`. So, you reshape the existing `train_data` and `test_data` in modo che ci sia una nuova dimensione che si riferisce ai passi temporali. + +```python +# Converting to numpy arrays +train_data = train.values +test_data = test.values +``` + +Per questo esempio, prendiamo `timesteps = 5`. Quindi, gli input al modello sono i dati per i primi 4 passi temporali, e l'output sarà i dati per il 5° passo temporale. + +```python +timesteps=5 +``` + +Convertire i dati di addestramento in un tensore 2D utilizzando la comprensione delle liste nidificate: + +```python +train_data_timesteps=np.array([[j for j in train_data[i:i+timesteps]] for i in range(0,len(train_data)-timesteps+1)])[:,:,0] +train_data_timesteps.shape +``` + +```output +(1412, 5) +``` + +Convertire i dati di test in un tensore 2D: + +```python +test_data_timesteps=np.array([[j for j in test_data[i:i+timesteps]] for i in range(0,len(test_data)-timesteps+1)])[:,:,0] +test_data_timesteps.shape +``` + +```output +(44, 5) +``` + + Selezionare input e output dai dati di addestramento e test: + +```python +x_train, y_train = train_data_timesteps[:,:timesteps-1],train_data_timesteps[:,[timesteps-1]] +x_test, y_test = test_data_timesteps[:,:timesteps-1],test_data_timesteps[:,[timesteps-1]] + +print(x_train.shape, y_train.shape) +print(x_test.shape, y_test.shape) +``` + +```output +(1412, 4) (1412, 1) +(44, 4) (44, 1) +``` + +### Implementa SVR [^1] + +Ora, è il momento di implementare SVR. Per leggere di più su questa implementazione, puoi fare riferimento a [questa documentazione](https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVR.html). Per la nostra implementazione, seguiamo questi passaggi: + + 1. Definisci il modello chiamando `SVR()` and passing in the model hyperparameters: kernel, gamma, c and epsilon + 2. Prepare the model for the training data by calling the `fit()` function + 3. Make predictions calling the `predict()` function + +Ora creiamo un modello SVR. Qui usiamo il [kernel RBF](https://scikit-learn.org/stable/modules/svm.html#parameters-of-the-rbf-kernel), e impostiamo gli iperparametri gamma, C ed epsilon rispettivamente a 0.5, 10 e 0.05. + +```python +model = SVR(kernel='rbf',gamma=0.5, C=10, epsilon = 0.05) +``` + +#### Adatta il modello ai dati di addestramento [^1] + +```python +model.fit(x_train, y_train[:,0]) +``` + +```output +SVR(C=10, cache_size=200, coef0=0.0, degree=3, epsilon=0.05, gamma=0.5, + kernel='rbf', max_iter=-1, shrinking=True, tol=0.001, verbose=False) +``` + +#### Fai previsioni con il modello [^1] + +```python +y_train_pred = model.predict(x_train).reshape(-1,1) +y_test_pred = model.predict(x_test).reshape(-1,1) + +print(y_train_pred.shape, y_test_pred.shape) +``` + +```output +(1412, 1) (44, 1) +``` + +Hai costruito il tuo SVR! Ora dobbiamo valutarlo. + +### Valuta il tuo modello [^1] + +Per la valutazione, prima scaleremo indietro i dati alla nostra scala originale. Poi, per verificare le prestazioni, tracceremo il grafico della serie temporale originale e prevista, e stamperemo anche il risultato MAPE. + +Scala l'output previsto e originale: + +```python +# Scaling the predictions +y_train_pred = scaler.inverse_transform(y_train_pred) +y_test_pred = scaler.inverse_transform(y_test_pred) + +print(len(y_train_pred), len(y_test_pred)) +``` + +```python +# Scaling the original values +y_train = scaler.inverse_transform(y_train) +y_test = scaler.inverse_transform(y_test) + +print(len(y_train), len(y_test)) +``` + +#### Verifica le prestazioni del modello sui dati di addestramento e di test [^1] + +Estrarremo i timestamp dal dataset per mostrarli sull'asse x del nostro grafico. Nota che stiamo utilizzando i primi ```timesteps-1``` valori come input per il primo output, quindi i timestamp per l'output inizieranno dopo. + +```python +train_timestamps = energy[(energy.index < test_start_dt) & (energy.index >= train_start_dt)].index[timesteps-1:] +test_timestamps = energy[test_start_dt:].index[timesteps-1:] + +print(len(train_timestamps), len(test_timestamps)) +``` + +```output +1412 44 +``` + +Traccia le previsioni per i dati di addestramento: + +```python +plt.figure(figsize=(25,6)) +plt.plot(train_timestamps, y_train, color = 'red', linewidth=2.0, alpha = 0.6) +plt.plot(train_timestamps, y_train_pred, color = 'blue', linewidth=0.8) +plt.legend(['Actual','Predicted']) +plt.xlabel('Timestamp') +plt.title("Training data prediction") +plt.show() +``` + + + +Stampa MAPE per i dati di addestramento + +```python +print('MAPE for training data: ', mape(y_train_pred, y_train)*100, '%') +``` + +```output +MAPE for training data: 1.7195710200875551 % +``` + +Traccia le previsioni per i dati di test + +```python +plt.figure(figsize=(10,3)) +plt.plot(test_timestamps, y_test, color = 'red', linewidth=2.0, alpha = 0.6) +plt.plot(test_timestamps, y_test_pred, color = 'blue', linewidth=0.8) +plt.legend(['Actual','Predicted']) +plt.xlabel('Timestamp') +plt.show() +``` + + + +Stampa MAPE per i dati di test + +```python +print('MAPE for testing data: ', mape(y_test_pred, y_test)*100, '%') +``` + +```output +MAPE for testing data: 1.2623790187854018 % +``` + +🏆 Hai ottenuto un ottimo risultato sul dataset di test! + +### Verifica le prestazioni del modello sull'intero dataset [^1] + +```python +# Extracting load values as numpy array +data = energy.copy().values + +# Scaling +data = scaler.transform(data) + +# Transforming to 2D tensor as per model input requirement +data_timesteps=np.array([[j for j in data[i:i+timesteps]] for i in range(0,len(data)-timesteps+1)])[:,:,0] +print("Tensor shape: ", data_timesteps.shape) + +# Selecting inputs and outputs from data +X, Y = data_timesteps[:,:timesteps-1],data_timesteps[:,[timesteps-1]] +print("X shape: ", X.shape,"\nY shape: ", Y.shape) +``` + +```output +Tensor shape: (26300, 5) +X shape: (26300, 4) +Y shape: (26300, 1) +``` + +```python +# Make model predictions +Y_pred = model.predict(X).reshape(-1,1) + +# Inverse scale and reshape +Y_pred = scaler.inverse_transform(Y_pred) +Y = scaler.inverse_transform(Y) +``` + +```python +plt.figure(figsize=(30,8)) +plt.plot(Y, color = 'red', linewidth=2.0, alpha = 0.6) +plt.plot(Y_pred, color = 'blue', linewidth=0.8) +plt.legend(['Actual','Predicted']) +plt.xlabel('Timestamp') +plt.show() +``` + + + +```python +print('MAPE: ', mape(Y_pred, Y)*100, '%') +``` + +```output +MAPE: 2.0572089029888656 % +``` + + + +🏆 Grafici molto belli, che mostrano un modello con buona accuratezza. Ben fatto! + +--- + +## 🚀Sfida + +- Prova a modificare gli iperparametri (gamma, C, epsilon) durante la creazione del modello e valuta sui dati per vedere quale set di iperparametri dà i migliori risultati sui dati di test. Per saperne di più su questi iperparametri, puoi fare riferimento al documento [qui](https://scikit-learn.org/stable/modules/svm.html#parameters-of-the-rbf-kernel). +- Prova a usare diverse funzioni kernel per il modello e analizza le loro prestazioni sul dataset. Un documento utile può essere trovato [qui](https://scikit-learn.org/stable/modules/svm.html#kernel-functions). +- Prova a usare diversi valori per `timesteps` per far sì che il modello guardi indietro per fare la previsione. + +## [Quiz Post-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/52/) + +## Revisione & Studio Autonomo + +Questa lezione era per introdurre l'applicazione di SVR per la previsione delle serie temporali. Per leggere di più su SVR, puoi fare riferimento a [questo blog](https://www.analyticsvidhya.com/blog/2020/03/support-vector-regression-tutorial-for-machine-learning/). Questa [documentazione su scikit-learn](https://scikit-learn.org/stable/modules/svm.html) fornisce una spiegazione più completa sulle SVM in generale, [SVR](https://scikit-learn.org/stable/modules/svm.html#regression) e anche altri dettagli di implementazione come le diverse [funzioni kernel](https://scikit-learn.org/stable/modules/svm.html#kernel-functions) che possono essere utilizzate, e i loro parametri. + +## Compito + +[Un nuovo modello SVR](assignment.md) + + + +## Crediti + + +[^1]: Il testo, il codice e l'output in questa sezione sono stati contribuiti da [@AnirbanMukherjeeXD](https://github.com/AnirbanMukherjeeXD) +[^2]: Il testo, il codice e l'output in questa sezione sono stati presi da [ARIMA](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA) + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatizzata basati su intelligenza artificiale. Sebbene ci impegniamo per l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o inesattezze. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/7-TimeSeries/3-SVR/assignment.md b/translations/it/7-TimeSeries/3-SVR/assignment.md new file mode 100644 index 000000000..2fa971bbe --- /dev/null +++ b/translations/it/7-TimeSeries/3-SVR/assignment.md @@ -0,0 +1,16 @@ +# Un nuovo modello SVR + +## Istruzioni [^1] + +Ora che hai costruito un modello SVR, costruiscine uno nuovo con dati freschi (prova uno di [questi dataset da Duke](http://www2.stat.duke.edu/~mw/ts_data_sets.html)). Annota il tuo lavoro in un notebook, visualizza i dati e il tuo modello, e testa la sua accuratezza utilizzando grafici appropriati e MAPE. Prova anche a modificare i diversi iperparametri e a usare valori differenti per i timesteps. + +## Rubrica [^1] + +| Criteri | Esemplare | Adeguato | Da Migliorare | +| -------- | ------------------------------------------------------------ | --------------------------------------------------------- | ----------------------------------- | +| | Viene presentato un notebook con un modello SVR costruito, testato e spiegato con visualizzazioni e accuratezza dichiarata. | Il notebook presentato non è annotato o contiene errori. | Viene presentato un notebook incompleto. | + +[^1]: Il testo in questa sezione è basato sull'[assignment di ARIMA](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA/assignment.md) + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su AI. Sebbene ci impegniamo per l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione umana professionale. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/7-TimeSeries/README.md b/translations/it/7-TimeSeries/README.md new file mode 100644 index 000000000..9502c0c39 --- /dev/null +++ b/translations/it/7-TimeSeries/README.md @@ -0,0 +1,26 @@ +# Introduzione alla previsione delle serie temporali + +Cos'è la previsione delle serie temporali? Si tratta di prevedere eventi futuri analizzando le tendenze del passato. + +## Argomento regionale: consumo di elettricità nel mondo ✨ + +In queste due lezioni, verrà introdotta la previsione delle serie temporali, un'area del machine learning meno conosciuta ma estremamente preziosa per le applicazioni industriali e aziendali, tra gli altri campi. Sebbene le reti neurali possano essere utilizzate per migliorare l'utilità di questi modelli, li studieremo nel contesto del machine learning classico poiché i modelli aiutano a prevedere le prestazioni future basandosi sul passato. + +Il nostro focus regionale è il consumo di elettricità nel mondo, un dataset interessante per imparare a prevedere il consumo futuro di energia basandosi sui modelli di carico passati. Puoi vedere come questo tipo di previsione possa essere estremamente utile in un ambiente aziendale. + + + +Foto di [Peddi Sai hrithik](https://unsplash.com/@shutter_log?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText) di torri elettriche su una strada in Rajasthan su [Unsplash](https://unsplash.com/s/photos/electric-india?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText) + +## Lezioni + +1. [Introduzione alla previsione delle serie temporali](1-Introduction/README.md) +2. [Costruzione di modelli ARIMA per serie temporali](2-ARIMA/README.md) +3. [Costruzione di un Support Vector Regressor per la previsione delle serie temporali](3-SVR/README.md) + +## Crediti + +"L'introduzione alla previsione delle serie temporali" è stata scritta con ⚡️ da [Francesca Lazzeri](https://twitter.com/frlazzeri) e [Jen Looper](https://twitter.com/jenlooper). I notebook sono apparsi per la prima volta online nel [repo Azure "Deep Learning For Time Series"](https://github.com/Azure/DeepLearningForTimeSeriesForecasting) originariamente scritto da Francesca Lazzeri. La lezione SVR è stata scritta da [Anirban Mukherjee](https://github.com/AnirbanMukherjeeXD) + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatizzata basati su intelligenza artificiale. Sebbene ci sforziamo di garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/8-Reinforcement/1-QLearning/README.md b/translations/it/8-Reinforcement/1-QLearning/README.md new file mode 100644 index 000000000..e5b89fedd --- /dev/null +++ b/translations/it/8-Reinforcement/1-QLearning/README.md @@ -0,0 +1,319 @@ +## Introduzione al Reinforcement Learning e al Q-Learning + + +> Sketchnote di [Tomomi Imura](https://www.twitter.com/girlie_mac) + +Il reinforcement learning coinvolge tre concetti importanti: l'agente, alcuni stati e un insieme di azioni per ogni stato. Eseguendo un'azione in uno stato specificato, l'agente riceve una ricompensa. Immagina di nuovo il videogioco Super Mario. Sei Mario, sei in un livello del gioco, in piedi accanto a un dirupo. Sopra di te c'è una moneta. Essere Mario, in un livello del gioco, in una posizione specifica ... quello è il tuo stato. Muoversi di un passo a destra (un'azione) ti farà cadere nel vuoto, e ciò ti darebbe un punteggio numerico basso. Tuttavia, premendo il pulsante di salto otterresti un punto e rimarresti vivo. Questo è un risultato positivo e dovrebbe premiarti con un punteggio numerico positivo. + +Utilizzando il reinforcement learning e un simulatore (il gioco), puoi imparare a giocare per massimizzare la ricompensa che consiste nel rimanere vivo e segnare il maggior numero di punti possibile. + +[](https://www.youtube.com/watch?v=lDq_en8RNOo) + +> 🎥 Clicca sull'immagine sopra per ascoltare Dmitry parlare del Reinforcement Learning + +## [Quiz pre-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/45/) + +## Prerequisiti e Setup + +In questa lezione, sperimenteremo un po' di codice in Python. Dovresti essere in grado di eseguire il codice del Jupyter Notebook di questa lezione, sia sul tuo computer che da qualche parte nel cloud. + +Puoi aprire [il notebook della lezione](https://github.com/microsoft/ML-For-Beginners/blob/main/8-Reinforcement/1-QLearning/notebook.ipynb) e seguire questa lezione per costruire. + +> **Nota:** Se stai aprendo questo codice dal cloud, devi anche recuperare il file [`rlboard.py`](https://github.com/microsoft/ML-For-Beginners/blob/main/8-Reinforcement/1-QLearning/rlboard.py), che viene utilizzato nel codice del notebook. Aggiungilo nella stessa directory del notebook. + +## Introduzione + +In questa lezione, esploreremo il mondo di **[Peter e il lupo](https://en.wikipedia.org/wiki/Peter_and_the_Wolf)**, ispirato a una fiaba musicale di un compositore russo, [Sergei Prokofiev](https://en.wikipedia.org/wiki/Sergei_Prokofiev). Utilizzeremo il **Reinforcement Learning** per permettere a Peter di esplorare il suo ambiente, raccogliere gustose mele ed evitare di incontrare il lupo. + +Il **Reinforcement Learning** (RL) è una tecnica di apprendimento che ci permette di apprendere un comportamento ottimale di un **agente** in un certo **ambiente** eseguendo molti esperimenti. Un agente in questo ambiente dovrebbe avere un **obiettivo**, definito da una **funzione di ricompensa**. + +## L'ambiente + +Per semplicità, consideriamo il mondo di Peter come una scacchiera di dimensioni `width` x `height`, come questa: + + + +Ogni cella in questa scacchiera può essere: + +* **terra**, su cui Peter e altre creature possono camminare. +* **acqua**, su cui ovviamente non si può camminare. +* un **albero** o **erba**, un luogo dove si può riposare. +* una **mela**, che rappresenta qualcosa che Peter sarebbe felice di trovare per nutrirsi. +* un **lupo**, che è pericoloso e dovrebbe essere evitato. + +C'è un modulo Python separato, [`rlboard.py`](https://github.com/microsoft/ML-For-Beginners/blob/main/8-Reinforcement/1-QLearning/rlboard.py), che contiene il codice per lavorare con questo ambiente. Poiché questo codice non è importante per comprendere i nostri concetti, importeremo il modulo e lo utilizzeremo per creare la scacchiera di esempio (blocco di codice 1): + +```python +from rlboard import * + +width, height = 8,8 +m = Board(width,height) +m.randomize(seed=13) +m.plot() +``` + +Questo codice dovrebbe stampare un'immagine dell'ambiente simile a quella sopra. + +## Azioni e politica + +Nel nostro esempio, l'obiettivo di Peter sarebbe trovare una mela, evitando il lupo e altri ostacoli. Per fare ciò, può essenzialmente camminare in giro fino a trovare una mela. + +Pertanto, in qualsiasi posizione, può scegliere tra una delle seguenti azioni: su, giù, sinistra e destra. + +Definiremo queste azioni come un dizionario e le mapperemo a coppie di cambiamenti di coordinate corrispondenti. Ad esempio, muoversi a destra (`R`) would correspond to a pair `(1,0)`. (blocco di codice 2): + +```python +actions = { "U" : (0,-1), "D" : (0,1), "L" : (-1,0), "R" : (1,0) } +action_idx = { a : i for i,a in enumerate(actions.keys()) } +``` + +Riassumendo, la strategia e l'obiettivo di questo scenario sono i seguenti: + +- **La strategia**, del nostro agente (Peter) è definita da una cosiddetta **politica**. Una politica è una funzione che restituisce l'azione in qualsiasi stato dato. Nel nostro caso, lo stato del problema è rappresentato dalla scacchiera, inclusa la posizione attuale del giocatore. + +- **L'obiettivo**, del reinforcement learning è alla fine imparare una buona politica che ci permetta di risolvere il problema in modo efficiente. Tuttavia, come base, consideriamo la politica più semplice chiamata **camminata casuale**. + +## Camminata casuale + +Per prima cosa risolviamo il nostro problema implementando una strategia di camminata casuale. Con la camminata casuale, sceglieremo casualmente la prossima azione tra le azioni consentite, fino a raggiungere la mela (blocco di codice 3). + +1. Implementa la camminata casuale con il codice seguente: + + ```python + def random_policy(m): + return random.choice(list(actions)) + + def walk(m,policy,start_position=None): + n = 0 # number of steps + # set initial position + if start_position: + m.human = start_position + else: + m.random_start() + while True: + if m.at() == Board.Cell.apple: + return n # success! + if m.at() in [Board.Cell.wolf, Board.Cell.water]: + return -1 # eaten by wolf or drowned + while True: + a = actions[policy(m)] + new_pos = m.move_pos(m.human,a) + if m.is_valid(new_pos) and m.at(new_pos)!=Board.Cell.water: + m.move(a) # do the actual move + break + n+=1 + + walk(m,random_policy) + ``` + + La chiamata a `walk` dovrebbe restituire la lunghezza del percorso corrispondente, che può variare da una esecuzione all'altra. + +1. Esegui l'esperimento di camminata un certo numero di volte (diciamo, 100) e stampa le statistiche risultanti (blocco di codice 4): + + ```python + def print_statistics(policy): + s,w,n = 0,0,0 + for _ in range(100): + z = walk(m,policy) + if z<0: + w+=1 + else: + s += z + n += 1 + print(f"Average path length = {s/n}, eaten by wolf: {w} times") + + print_statistics(random_policy) + ``` + + Nota che la lunghezza media di un percorso è intorno ai 30-40 passi, che è piuttosto elevata, dato che la distanza media alla mela più vicina è di circa 5-6 passi. + + Puoi anche vedere come appare il movimento di Peter durante la camminata casuale: + +  + +## Funzione di ricompensa + +Per rendere la nostra politica più intelligente, dobbiamo capire quali mosse sono "migliori" delle altre. Per fare ciò, dobbiamo definire il nostro obiettivo. + +L'obiettivo può essere definito in termini di una **funzione di ricompensa**, che restituirà un valore di punteggio per ogni stato. Più alto è il numero, migliore è la funzione di ricompensa. (blocco di codice 5) + +```python +move_reward = -0.1 +goal_reward = 10 +end_reward = -10 + +def reward(m,pos=None): + pos = pos or m.human + if not m.is_valid(pos): + return end_reward + x = m.at(pos) + if x==Board.Cell.water or x == Board.Cell.wolf: + return end_reward + if x==Board.Cell.apple: + return goal_reward + return move_reward +``` + +Una cosa interessante delle funzioni di ricompensa è che nella maggior parte dei casi, *ci viene data una ricompensa sostanziale solo alla fine del gioco*. Questo significa che il nostro algoritmo dovrebbe in qualche modo ricordare i "buoni" passi che portano a una ricompensa positiva alla fine e aumentare la loro importanza. Allo stesso modo, tutte le mosse che portano a risultati negativi dovrebbero essere scoraggiate. + +## Q-Learning + +Un algoritmo di cui discuteremo qui è chiamato **Q-Learning**. In questo algoritmo, la politica è definita da una funzione (o una struttura dati) chiamata **Q-Table**. Registra la "bontà" di ciascuna delle azioni in uno stato dato. + +Si chiama Q-Table perché spesso è conveniente rappresentarla come una tabella, o array multidimensionale. Poiché la nostra scacchiera ha dimensioni `width` x `height`, possiamo rappresentare la Q-Table utilizzando un array numpy con forma `width` x `height` x `len(actions)`: (blocco di codice 6) + +```python +Q = np.ones((width,height,len(actions)),dtype=np.float)*1.0/len(actions) +``` + +Nota che inizializziamo tutti i valori della Q-Table con un valore uguale, nel nostro caso - 0.25. Questo corrisponde alla politica della "camminata casuale", perché tutte le mosse in ogni stato sono ugualmente buone. Possiamo passare la Q-Table al `plot` function in order to visualize the table on the board: `m.plot(Q)`. + + + +In the center of each cell there is an "arrow" that indicates the preferred direction of movement. Since all directions are equal, a dot is displayed. + +Now we need to run the simulation, explore our environment, and learn a better distribution of Q-Table values, which will allow us to find the path to the apple much faster. + +## Essence of Q-Learning: Bellman Equation + +Once we start moving, each action will have a corresponding reward, i.e. we can theoretically select the next action based on the highest immediate reward. However, in most states, the move will not achieve our goal of reaching the apple, and thus we cannot immediately decide which direction is better. + +> Remember that it is not the immediate result that matters, but rather the final result, which we will obtain at the end of the simulation. + +In order to account for this delayed reward, we need to use the principles of **[dynamic programming](https://en.wikipedia.org/wiki/Dynamic_programming)**, which allow us to think about out problem recursively. + +Suppose we are now at the state *s*, and we want to move to the next state *s'*. By doing so, we will receive the immediate reward *r(s,a)*, defined by the reward function, plus some future reward. If we suppose that our Q-Table correctly reflects the "attractiveness" of each action, then at state *s'* we will chose an action *a* that corresponds to maximum value of *Q(s',a')*. Thus, the best possible future reward we could get at state *s* will be defined as `max`a'*Q(s',a')* (maximum here is computed over all possible actions *a'* at state *s'*). + +This gives the **Bellman formula** for calculating the value of the Q-Table at state *s*, given action *a*: + +
+
+Here γ is the so-called **discount factor** that determines to which extent you should prefer the current reward over the future reward and vice versa.
+
+## Learning Algorithm
+
+Given the equation above, we can now write pseudo-code for our learning algorithm:
+
+* Initialize Q-Table Q with equal numbers for all states and actions
+* Set learning rate α ← 1
+* Repeat simulation many times
+ 1. Start at random position
+ 1. Repeat
+ 1. Select an action *a* at state *s*
+ 2. Execute action by moving to a new state *s'*
+ 3. If we encounter end-of-game condition, or total reward is too small - exit simulation
+ 4. Compute reward *r* at the new state
+ 5. Update Q-Function according to Bellman equation: *Q(s,a)* ← *(1-α)Q(s,a)+α(r+γ maxa'Q(s',a'))*
+ 6. *s* ← *s'*
+ 7. Update the total reward and decrease α.
+
+## Exploit vs. explore
+
+In the algorithm above, we did not specify how exactly we should choose an action at step 2.1. If we are choosing the action randomly, we will randomly **explore** the environment, and we are quite likely to die often as well as explore areas where we would not normally go. An alternative approach would be to **exploit** the Q-Table values that we already know, and thus to choose the best action (with higher Q-Table value) at state *s*. This, however, will prevent us from exploring other states, and it's likely we might not find the optimal solution.
+
+Thus, the best approach is to strike a balance between exploration and exploitation. This can be done by choosing the action at state *s* with probabilities proportional to values in the Q-Table. In the beginning, when Q-Table values are all the same, it would correspond to a random selection, but as we learn more about our environment, we would be more likely to follow the optimal route while allowing the agent to choose the unexplored path once in a while.
+
+## Python implementation
+
+We are now ready to implement the learning algorithm. Before we do that, we also need some function that will convert arbitrary numbers in the Q-Table into a vector of probabilities for corresponding actions.
+
+1. Create a function `probs()`:
+
+ ```python
+ def probs(v,eps=1e-4):
+ v = v-v.min()+eps
+ v = v/v.sum()
+ return v
+ ```
+
+ Aggiungiamo alcuni `eps` al vettore originale per evitare la divisione per 0 nel caso iniziale, quando tutti i componenti del vettore sono identici.
+
+Esegui l'algoritmo di apprendimento attraverso 5000 esperimenti, chiamati anche **epoche**: (blocco di codice 8)
+```python
+ for epoch in range(5000):
+
+ # Pick initial point
+ m.random_start()
+
+ # Start travelling
+ n=0
+ cum_reward = 0
+ while True:
+ x,y = m.human
+ v = probs(Q[x,y])
+ a = random.choices(list(actions),weights=v)[0]
+ dpos = actions[a]
+ m.move(dpos,check_correctness=False) # we allow player to move outside the board, which terminates episode
+ r = reward(m)
+ cum_reward += r
+ if r==end_reward or cum_reward < -1000:
+ lpath.append(n)
+ break
+ alpha = np.exp(-n / 10e5)
+ gamma = 0.5
+ ai = action_idx[a]
+ Q[x,y,ai] = (1 - alpha) * Q[x,y,ai] + alpha * (r + gamma * Q[x+dpos[0], y+dpos[1]].max())
+ n+=1
+```
+
+Dopo aver eseguito questo algoritmo, la Q-Table dovrebbe essere aggiornata con valori che definiscono l'attrattività delle diverse azioni a ogni passo. Possiamo provare a visualizzare la Q-Table tracciando un vettore in ogni cella che indicherà la direzione desiderata del movimento. Per semplicità, disegniamo un piccolo cerchio invece della punta di una freccia.
+
+## Verifica della politica
+
+Poiché la Q-Table elenca l'"attrattività" di ciascuna azione in ogni stato, è abbastanza facile utilizzarla per definire la navigazione efficiente nel nostro mondo. Nel caso più semplice, possiamo selezionare l'azione corrispondente al valore Q-Table più alto: (blocco di codice 9)
+
+```python
+def qpolicy_strict(m):
+ x,y = m.human
+ v = probs(Q[x,y])
+ a = list(actions)[np.argmax(v)]
+ return a
+
+walk(m,qpolicy_strict)
+```
+
+> Se provi il codice sopra diverse volte, potresti notare che a volte si "blocca" e devi premere il pulsante STOP nel notebook per interromperlo. Questo accade perché potrebbero esserci situazioni in cui due stati "puntano" l'uno all'altro in termini di valore Q ottimale, nel qual caso l'agente finisce per muoversi tra quegli stati indefinitamente.
+
+## 🚀Sfida
+
+> **Compito 1:** Modifica il `walk` function to limit the maximum length of path by a certain number of steps (say, 100), and watch the code above return this value from time to time.
+
+> **Task 2:** Modify the `walk` function so that it does not go back to the places where it has already been previously. This will prevent `walk` from looping, however, the agent can still end up being "trapped" in a location from which it is unable to escape.
+
+## Navigation
+
+A better navigation policy would be the one that we used during training, which combines exploitation and exploration. In this policy, we will select each action with a certain probability, proportional to the values in the Q-Table. This strategy may still result in the agent returning back to a position it has already explored, but, as you can see from the code below, it results in a very short average path to the desired location (remember that `print_statistics` esegue la simulazione 100 volte): (blocco di codice 10)
+
+```python
+def qpolicy(m):
+ x,y = m.human
+ v = probs(Q[x,y])
+ a = random.choices(list(actions),weights=v)[0]
+ return a
+
+print_statistics(qpolicy)
+```
+
+Dopo aver eseguito questo codice, dovresti ottenere una lunghezza media del percorso molto più piccola rispetto a prima, nell'intervallo di 3-6.
+
+## Indagare il processo di apprendimento
+
+Come abbiamo menzionato, il processo di apprendimento è un equilibrio tra esplorazione e esplorazione della conoscenza acquisita sulla struttura dello spazio dei problemi. Abbiamo visto che i risultati dell'apprendimento (la capacità di aiutare un agente a trovare un percorso breve verso l'obiettivo) sono migliorati, ma è anche interessante osservare come si comporta la lunghezza media del percorso durante il processo di apprendimento:
+
+Le lezioni possono essere riassunte come:
+
+- **Aumento della lunghezza media del percorso**. Quello che vediamo qui è che all'inizio, la lunghezza media del percorso aumenta. Questo è probabilmente dovuto al fatto che quando non sappiamo nulla sull'ambiente, è probabile che ci imbattiamo in stati negativi, acqua o lupo. Man mano che impariamo di più e iniziamo a utilizzare questa conoscenza, possiamo esplorare l'ambiente per più tempo, ma non sappiamo ancora bene dove si trovano le mele.
+
+- **Diminuzione della lunghezza del percorso, man mano che impariamo di più**. Una volta che impariamo abbastanza, diventa più facile per l'agente raggiungere l'obiettivo, e la lunghezza del percorso inizia a diminuire. Tuttavia, siamo ancora aperti all'esplorazione, quindi spesso ci allontaniamo dal percorso migliore e esploriamo nuove opzioni, rendendo il percorso più lungo del necessario.
+
+- **Aumento improvviso della lunghezza**. Quello che osserviamo anche su questo grafico è che a un certo punto, la lunghezza è aumentata improvvisamente. Questo indica la natura stocastica del processo, e che a un certo punto possiamo "rovinare" i coefficienti della Q-Table sovrascrivendoli con nuovi valori. Questo dovrebbe idealmente essere minimizzato riducendo il tasso di apprendimento (ad esempio, verso la fine dell'addestramento, regoliamo i valori della Q-Table solo di un piccolo valore).
+
+In generale, è importante ricordare che il successo e la qualità del processo di apprendimento dipendono significativamente dai parametri, come il tasso di apprendimento, la decadenza del tasso di apprendimento e il fattore di sconto. Questi sono spesso chiamati **iperparametri**, per distinguerli dai **parametri**, che ottimizziamo durante l'addestramento (ad esempio, i coefficienti della Q-Table). Il processo di trovare i migliori valori degli iperparametri è chiamato **ottimizzazione degli iperparametri**, e merita un argomento a parte.
+
+## [Quiz post-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/46/)
+
+## Compito
+[Un Mondo Più Realistico](assignment.md)
+
+**Avvertenza**:
+Questo documento è stato tradotto utilizzando servizi di traduzione basati su intelligenza artificiale. Sebbene ci impegniamo per garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione.
\ No newline at end of file
diff --git a/translations/it/8-Reinforcement/1-QLearning/assignment.md b/translations/it/8-Reinforcement/1-QLearning/assignment.md
new file mode 100644
index 000000000..d91102cf7
--- /dev/null
+++ b/translations/it/8-Reinforcement/1-QLearning/assignment.md
@@ -0,0 +1,30 @@
+# Un Mondo Più Realistico
+
+Nella nostra situazione, Peter era in grado di muoversi quasi senza stancarsi o avere fame. In un mondo più realistico, deve sedersi e riposare di tanto in tanto, e anche nutrirsi. Rendiamo il nostro mondo più realistico, implementando le seguenti regole:
+
+1. Spostandosi da un luogo all'altro, Peter perde **energia** e guadagna un po' di **fatica**.
+2. Peter può guadagnare più energia mangiando mele.
+3. Peter può liberarsi della fatica riposando sotto l'albero o sull'erba (cioè camminando in una posizione della tavola con un albero o erba - campo verde)
+4. Peter deve trovare e uccidere il lupo.
+5. Per uccidere il lupo, Peter deve avere certi livelli di energia e fatica, altrimenti perde la battaglia.
+
+## Istruzioni
+
+Usa il [notebook.ipynb](../../../../8-Reinforcement/1-QLearning/notebook.ipynb) originale come punto di partenza per la tua soluzione.
+
+Modifica la funzione di ricompensa sopra secondo le regole del gioco, esegui l'algoritmo di apprendimento per rinforzo per imparare la migliore strategia per vincere il gioco, e confronta i risultati del cammino casuale con il tuo algoritmo in termini di numero di giochi vinti e persi.
+
+> **Note**: Nel tuo nuovo mondo, lo stato è più complesso, e oltre alla posizione umana include anche i livelli di fatica e energia. Puoi scegliere di rappresentare lo stato come una tupla (Board,energy,fatigue), o definire una classe per lo stato (puoi anche voler derivarla da `Board`), o anche modificare la classe originale `Board` all'interno di [rlboard.py](../../../../8-Reinforcement/1-QLearning/rlboard.py).
+
+Nella tua soluzione, per favore mantieni il codice responsabile della strategia del cammino casuale, e confronta i risultati del tuo algoritmo con il cammino casuale alla fine.
+
+> **Note**: Potrebbe essere necessario regolare gli iperparametri per farlo funzionare, specialmente il numero di epoche. Poiché il successo del gioco (combattere il lupo) è un evento raro, puoi aspettarti tempi di allenamento molto più lunghi.
+
+## Rubrica
+
+| Criteri | Esemplare | Adeguato | Bisogno di Miglioramento |
+| -------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------ |
+| | Un notebook è presentato con la definizione delle nuove regole del mondo, algoritmo Q-Learning e alcune spiegazioni testuali. Q-Learning è in grado di migliorare significativamente i risultati rispetto al cammino casuale. | Il notebook è presentato, Q-Learning è implementato e migliora i risultati rispetto al cammino casuale, ma non significativamente; o il notebook è scarsamente documentato e il codice non è ben strutturato | È stato fatto qualche tentativo di ridefinire le regole del mondo, ma l'algoritmo Q-Learning non funziona, o la funzione di ricompensa non è completamente definita |
+
+**Disclaimer**:
+Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su intelligenza artificiale. Sebbene ci impegniamo per garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione umana professionale. Non siamo responsabili per eventuali incomprensioni o interpretazioni errate derivanti dall'uso di questa traduzione.
\ No newline at end of file
diff --git a/translations/it/8-Reinforcement/1-QLearning/solution/Julia/README.md b/translations/it/8-Reinforcement/1-QLearning/solution/Julia/README.md
new file mode 100644
index 000000000..434620a63
--- /dev/null
+++ b/translations/it/8-Reinforcement/1-QLearning/solution/Julia/README.md
@@ -0,0 +1,4 @@
+
+
+**Disclaimer**:
+Questo documento è stato tradotto utilizzando servizi di traduzione basati su intelligenza artificiale. Sebbene ci impegniamo per l'accuratezza, si prega di notare che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione umana professionale. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione.
\ No newline at end of file
diff --git a/translations/it/8-Reinforcement/1-QLearning/solution/R/README.md b/translations/it/8-Reinforcement/1-QLearning/solution/R/README.md
new file mode 100644
index 000000000..dd36ee3d8
--- /dev/null
+++ b/translations/it/8-Reinforcement/1-QLearning/solution/R/README.md
@@ -0,0 +1,4 @@
+
+
+**Disclaimer**:
+Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su AI. Sebbene ci impegniamo per garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali incomprensioni o interpretazioni errate derivanti dall'uso di questa traduzione.
\ No newline at end of file
diff --git a/translations/it/8-Reinforcement/2-Gym/README.md b/translations/it/8-Reinforcement/2-Gym/README.md
new file mode 100644
index 000000000..49403b0c9
--- /dev/null
+++ b/translations/it/8-Reinforcement/2-Gym/README.md
@@ -0,0 +1,342 @@
+# CartPole Skating
+
+Il problema che abbiamo risolto nella lezione precedente potrebbe sembrare un problema giocattolo, non realmente applicabile a scenari di vita reale. Non è così, perché molti problemi del mondo reale condividono questo scenario - incluso giocare a scacchi o Go. Sono simili, perché abbiamo anche una scacchiera con regole date e uno **stato discreto**.
+
+## [Quiz Pre-lezione](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/47/)
+
+## Introduzione
+
+In questa lezione applicheremo gli stessi principi del Q-Learning a un problema con **stato continuo**, cioè uno stato che è dato da uno o più numeri reali. Ci occuperemo del seguente problema:
+
+> **Problema**: Se Peter vuole scappare dal lupo, deve essere in grado di muoversi più velocemente. Vedremo come Peter può imparare a pattinare, in particolare, a mantenere l'equilibrio, usando il Q-Learning.
+
+
+
+> Peter e i suoi amici diventano creativi per scappare dal lupo! Immagine di [Jen Looper](https://twitter.com/jenlooper)
+
+Utilizzeremo una versione semplificata del mantenimento dell'equilibrio nota come problema **CartPole**. Nel mondo del cartpole, abbiamo uno slider orizzontale che può muoversi a sinistra o a destra, e l'obiettivo è mantenere in equilibrio un palo verticale sulla parte superiore dello slider.
+
+## Prerequisiti
+
+In questa lezione, utilizzeremo una libreria chiamata **OpenAI Gym** per simulare diversi **ambienti**. Puoi eseguire il codice di questa lezione localmente (ad esempio da Visual Studio Code), nel qual caso la simulazione si aprirà in una nuova finestra. Quando esegui il codice online, potresti dover apportare alcune modifiche al codice, come descritto [qui](https://towardsdatascience.com/rendering-openai-gym-envs-on-binder-and-google-colab-536f99391cc7).
+
+## OpenAI Gym
+
+Nella lezione precedente, le regole del gioco e lo stato erano dati dalla classe `Board` che abbiamo definito noi stessi. Qui utilizzeremo un **ambiente di simulazione** speciale, che simulerà la fisica dietro il palo in equilibrio. Uno degli ambienti di simulazione più popolari per l'addestramento degli algoritmi di apprendimento per rinforzo è chiamato [Gym](https://gym.openai.com/), che è mantenuto da [OpenAI](https://openai.com/). Utilizzando questo gym possiamo creare diversi **ambienti** da una simulazione di cartpole a giochi Atari.
+
+> **Nota**: Puoi vedere altri ambienti disponibili da OpenAI Gym [qui](https://gym.openai.com/envs/#classic_control).
+
+Prima, installiamo il gym e importiamo le librerie necessarie (blocco di codice 1):
+
+```python
+import sys
+!{sys.executable} -m pip install gym
+
+import gym
+import matplotlib.pyplot as plt
+import numpy as np
+import random
+```
+
+## Esercizio - inizializzare un ambiente cartpole
+
+Per lavorare con un problema di equilibrio del cartpole, dobbiamo inizializzare l'ambiente corrispondente. Ogni ambiente è associato a:
+
+- **Observation space** che definisce la struttura delle informazioni che riceviamo dall'ambiente. Per il problema del cartpole, riceviamo la posizione del palo, la velocità e altri valori.
+
+- **Action space** che definisce le azioni possibili. Nel nostro caso lo spazio delle azioni è discreto e consiste in due azioni - **sinistra** e **destra**. (blocco di codice 2)
+
+1. Per inizializzare, digita il seguente codice:
+
+ ```python
+ env = gym.make("CartPole-v1")
+ print(env.action_space)
+ print(env.observation_space)
+ print(env.action_space.sample())
+ ```
+
+Per vedere come funziona l'ambiente, eseguiamo una breve simulazione per 100 passi. Ad ogni passo, forniamo una delle azioni da intraprendere - in questa simulazione selezioniamo casualmente un'azione da `action_space`.
+
+1. Esegui il codice qui sotto e vedi a cosa porta.
+
+ ✅ Ricorda che è preferibile eseguire questo codice su un'installazione locale di Python! (blocco di codice 3)
+
+ ```python
+ env.reset()
+
+ for i in range(100):
+ env.render()
+ env.step(env.action_space.sample())
+ env.close()
+ ```
+
+ Dovresti vedere qualcosa di simile a questa immagine:
+
+ 
+
+1. Durante la simulazione, dobbiamo ottenere osservazioni per decidere come agire. Infatti, la funzione step restituisce le osservazioni attuali, una funzione di ricompensa e il flag done che indica se ha senso continuare la simulazione o meno: (blocco di codice 4)
+
+ ```python
+ env.reset()
+
+ done = False
+ while not done:
+ env.render()
+ obs, rew, done, info = env.step(env.action_space.sample())
+ print(f"{obs} -> {rew}")
+ env.close()
+ ```
+
+ Finirai per vedere qualcosa di simile a questo nell'output del notebook:
+
+ ```text
+ [ 0.03403272 -0.24301182 0.02669811 0.2895829 ] -> 1.0
+ [ 0.02917248 -0.04828055 0.03248977 0.00543839] -> 1.0
+ [ 0.02820687 0.14636075 0.03259854 -0.27681916] -> 1.0
+ [ 0.03113408 0.34100283 0.02706215 -0.55904489] -> 1.0
+ [ 0.03795414 0.53573468 0.01588125 -0.84308041] -> 1.0
+ ...
+ [ 0.17299878 0.15868546 -0.20754175 -0.55975453] -> 1.0
+ [ 0.17617249 0.35602306 -0.21873684 -0.90998894] -> 1.0
+ ```
+
+ Il vettore di osservazione che viene restituito ad ogni passo della simulazione contiene i seguenti valori:
+ - Posizione del carrello
+ - Velocità del carrello
+ - Angolo del palo
+ - Velocità di rotazione del palo
+
+1. Ottieni il valore minimo e massimo di questi numeri: (blocco di codice 5)
+
+ ```python
+ print(env.observation_space.low)
+ print(env.observation_space.high)
+ ```
+
+ Potresti anche notare che il valore della ricompensa ad ogni passo della simulazione è sempre 1. Questo perché il nostro obiettivo è sopravvivere il più a lungo possibile, cioè mantenere il palo in una posizione ragionevolmente verticale per il periodo di tempo più lungo possibile.
+
+ ✅ In effetti, la simulazione del CartPole è considerata risolta se riusciamo a ottenere una ricompensa media di 195 su 100 prove consecutive.
+
+## Discretizzazione dello stato
+
+Nel Q-Learning, dobbiamo costruire una Q-Table che definisca cosa fare in ogni stato. Per poter fare questo, lo stato deve essere **discreto**, più precisamente, deve contenere un numero finito di valori discreti. Pertanto, dobbiamo in qualche modo **discretizzare** le nostre osservazioni, mappandole su un insieme finito di stati.
+
+Ci sono alcuni modi in cui possiamo farlo:
+
+- **Dividere in bin**. Se conosciamo l'intervallo di un certo valore, possiamo dividere questo intervallo in un numero di **bin**, e poi sostituire il valore con il numero del bin a cui appartiene. Questo può essere fatto usando il metodo numpy [`digitize`](https://numpy.org/doc/stable/reference/generated/numpy.digitize.html). In questo caso, conosceremo esattamente la dimensione dello stato, perché dipenderà dal numero di bin che selezioniamo per la digitalizzazione.
+
+✅ Possiamo usare l'interpolazione lineare per portare i valori a un intervallo finito (diciamo, da -20 a 20), e poi convertire i numeri in interi arrotondandoli. Questo ci dà un po' meno controllo sulla dimensione dello stato, soprattutto se non conosciamo gli intervalli esatti dei valori di input. Ad esempio, nel nostro caso 2 dei 4 valori non hanno limiti superiori/inferiori sui loro valori, il che può comportare un numero infinito di stati.
+
+Nel nostro esempio, utilizzeremo il secondo approccio. Come potresti notare più avanti, nonostante i limiti superiori/inferiori indefiniti, quei valori raramente assumono valori al di fuori di certi intervalli finiti, quindi quegli stati con valori estremi saranno molto rari.
+
+1. Ecco la funzione che prenderà l'osservazione dal nostro modello e produrrà una tupla di 4 valori interi: (blocco di codice 6)
+
+ ```python
+ def discretize(x):
+ return tuple((x/np.array([0.25, 0.25, 0.01, 0.1])).astype(np.int))
+ ```
+
+1. Esploriamo anche un altro metodo di discretizzazione usando i bin: (blocco di codice 7)
+
+ ```python
+ def create_bins(i,num):
+ return np.arange(num+1)*(i[1]-i[0])/num+i[0]
+
+ print("Sample bins for interval (-5,5) with 10 bins\n",create_bins((-5,5),10))
+
+ ints = [(-5,5),(-2,2),(-0.5,0.5),(-2,2)] # intervals of values for each parameter
+ nbins = [20,20,10,10] # number of bins for each parameter
+ bins = [create_bins(ints[i],nbins[i]) for i in range(4)]
+
+ def discretize_bins(x):
+ return tuple(np.digitize(x[i],bins[i]) for i in range(4))
+ ```
+
+1. Ora eseguiamo una breve simulazione e osserviamo quei valori discreti dell'ambiente. Sentiti libero di provare sia `discretize` and `discretize_bins` e vedere se c'è una differenza.
+
+ ✅ discretize_bins restituisce il numero del bin, che è basato su 0. Quindi per i valori della variabile di input intorno a 0 restituisce il numero dal centro dell'intervallo (10). In discretize, non ci siamo preoccupati dell'intervallo dei valori di output, permettendo loro di essere negativi, quindi i valori dello stato non sono spostati, e 0 corrisponde a 0. (blocco di codice 8)
+
+ ```python
+ env.reset()
+
+ done = False
+ while not done:
+ #env.render()
+ obs, rew, done, info = env.step(env.action_space.sample())
+ #print(discretize_bins(obs))
+ print(discretize(obs))
+ env.close()
+ ```
+
+ ✅ Decommenta la riga che inizia con env.render se vuoi vedere come l'ambiente viene eseguito. Altrimenti puoi eseguirlo in background, che è più veloce. Utilizzeremo questa esecuzione "invisibile" durante il nostro processo di Q-Learning.
+
+## La struttura della Q-Table
+
+Nella nostra lezione precedente, lo stato era una semplice coppia di numeri da 0 a 8, quindi era conveniente rappresentare la Q-Table con un tensore numpy con una forma di 8x8x2. Se usiamo la discretizzazione dei bin, la dimensione del nostro vettore di stato è anche conosciuta, quindi possiamo usare lo stesso approccio e rappresentare lo stato con un array di forma 20x20x10x10x2 (qui 2 è la dimensione dello spazio delle azioni, e le prime dimensioni corrispondono al numero di bin che abbiamo selezionato per ciascuno dei parametri nello spazio delle osservazioni).
+
+Tuttavia, a volte le dimensioni precise dello spazio delle osservazioni non sono conosciute. Nel caso della funzione `discretize`, potremmo non essere mai sicuri che il nostro stato rimanga entro certi limiti, perché alcuni dei valori originali non sono limitati. Pertanto, utilizzeremo un approccio leggermente diverso e rappresenteremo la Q-Table con un dizionario.
+
+1. Usa la coppia *(stato, azione)* come chiave del dizionario, e il valore corrisponderebbe al valore dell'entry della Q-Table. (blocco di codice 9)
+
+ ```python
+ Q = {}
+ actions = (0,1)
+
+ def qvalues(state):
+ return [Q.get((state,a),0) for a in actions]
+ ```
+
+ Qui definiamo anche una funzione `qvalues()`, che restituisce una lista di valori della Q-Table per un dato stato che corrisponde a tutte le azioni possibili. Se l'entry non è presente nella Q-Table, restituiremo 0 come valore predefinito.
+
+## Iniziamo il Q-Learning
+
+Ora siamo pronti a insegnare a Peter a mantenere l'equilibrio!
+
+1. Prima, impostiamo alcuni iperparametri: (blocco di codice 10)
+
+ ```python
+ # hyperparameters
+ alpha = 0.3
+ gamma = 0.9
+ epsilon = 0.90
+ ```
+
+ Qui, `alpha` is the **learning rate** that defines to which extent we should adjust the current values of Q-Table at each step. In the previous lesson we started with 1, and then decreased `alpha` to lower values during training. In this example we will keep it constant just for simplicity, and you can experiment with adjusting `alpha` values later.
+
+ `gamma` is the **discount factor** that shows to which extent we should prioritize future reward over current reward.
+
+ `epsilon` is the **exploration/exploitation factor** that determines whether we should prefer exploration to exploitation or vice versa. In our algorithm, we will in `epsilon` percent of the cases select the next action according to Q-Table values, and in the remaining number of cases we will execute a random action. This will allow us to explore areas of the search space that we have never seen before.
+
+ ✅ In terms of balancing - choosing random action (exploration) would act as a random punch in the wrong direction, and the pole would have to learn how to recover the balance from those "mistakes"
+
+### Improve the algorithm
+
+We can also make two improvements to our algorithm from the previous lesson:
+
+- **Calculate average cumulative reward**, over a number of simulations. We will print the progress each 5000 iterations, and we will average out our cumulative reward over that period of time. It means that if we get more than 195 point - we can consider the problem solved, with even higher quality than required.
+
+- **Calculate maximum average cumulative result**, `Qmax`, and we will store the Q-Table corresponding to that result. When you run the training you will notice that sometimes the average cumulative result starts to drop, and we want to keep the values of Q-Table that correspond to the best model observed during training.
+
+1. Collect all cumulative rewards at each simulation at `rewards` per ulteriori grafici. (blocco di codice 11)
+
+ ```python
+ def probs(v,eps=1e-4):
+ v = v-v.min()+eps
+ v = v/v.sum()
+ return v
+
+ Qmax = 0
+ cum_rewards = []
+ rewards = []
+ for epoch in range(100000):
+ obs = env.reset()
+ done = False
+ cum_reward=0
+ # == do the simulation ==
+ while not done:
+ s = discretize(obs)
+ if random.random()- [Python](2-Regression/1-Tools/README.md)
- [R](../../2-Regression/1-Tools/solution/R/lesson_1.html)
- Jen
- Eric Wanjau
- [Python](2-Regression/2-Data/README.md)
- [R](../../2-Regression/2-Data/solution/R/lesson_2.html)
- Jen
- Eric Wanjau
- [Python](2-Regression/3-Linear/README.md)
- [R](../../2-Regression/3-Linear/solution/R/lesson_3.html)
- Jen e Dmitry
- Eric Wanjau
- [Python](2-Regression/4-Logistic/README.md)
- [R](../../2-Regression/4-Logistic/solution/R/lesson_4.html)
- Jen
- Eric Wanjau
- [Python](4-Classification/1-Introduction/README.md)
- [R](../../4-Classification/1-Introduction/solution/R/lesson_10.html) |
- Jen e Cassie
- Eric Wanjau
- [Python](4-Classification/2-Classifiers-1/README.md)
- [R](../../4-Classification/2-Classifiers-1/solution/R/lesson_11.html) |
- Jen e Cassie
- Eric Wanjau
- [Python](4-Classification/3-Classifiers-2/README.md)
- [R](../../4-Classification/3-Classifiers-2/solution/R/lesson_12.html) |
- Jen e Cassie
- Eric Wanjau
- [Python](5-Clustering/1-Visualize/README.md)
- [R](../../5-Clustering/1-Visualize/solution/R/lesson_14.html) |
- Jen
- Eric Wanjau
- [Python](5-Clustering/2-K-Means/README.md)
- [R](../../5-Clustering/2-K-Means/solution/R/lesson_15.html) |
- Jen
- Eric Wanjau
.yml). Questo workflow gestirà il processo di build e distribuzione. + +6. Monitora la distribuzione +Vai alla scheda “Actions” nel tuo repository GitHub. +Dovresti vedere un workflow in esecuzione. Questo workflow costruirà e distribuirà la tua app web statica su Azure. +Una volta completato il workflow, la tua app sarà live sull'URL fornito da Azure. + +### Esempio di file Workflow + +Ecco un esempio di come potrebbe apparire il file di workflow di GitHub Actions: +name: Azure Static Web Apps CI/CD +``` +on: + push: + branches: + - main + pull_request: + types: [opened, synchronize, reopened, closed] + branches: + - main + +jobs: + build_and_deploy_job: + runs-on: ubuntu-latest + name: Build and Deploy Job + steps: + - uses: actions/checkout@v2 + - name: Build And Deploy + id: builddeploy + uses: Azure/static-web-apps-deploy@v1 + with: + azure_static_web_apps_api_token: ${{ secrets.AZURE_STATIC_WEB_APPS_API_TOKEN }} + repo_token: ${{ secrets.GITHUB_TOKEN }} + action: "upload" + app_location: "/quiz-app" # App source code path + api_location: ""API source code path optional + output_location: "dist" #Built app content directory - optional +``` + +### Risorse aggiuntive +- [Documentazione di Azure Static Web Apps](https://learn.microsoft.com/azure/static-web-apps/getting-started) +- [Documentazione di GitHub Actions](https://docs.github.com/actions/use-cases-and-examples/deploying/deploying-to-azure-static-web-app) + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su AI. Anche se ci sforziamo di garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o imprecisioni. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/sketchnotes/LICENSE.md b/translations/it/sketchnotes/LICENSE.md new file mode 100644 index 000000000..ec2180491 --- /dev/null +++ b/translations/it/sketchnotes/LICENSE.md @@ -0,0 +1,261 @@ +Attribuzione-Condividi allo stesso modo 4.0 Internazionale + +======================================================================= + +La Creative Commons Corporation ("Creative Commons") non è uno studio legale e non fornisce servizi legali o consulenza legale. La distribuzione delle licenze pubbliche Creative Commons non crea un rapporto avvocato-cliente o altro tipo di rapporto. Creative Commons rende disponibili le sue licenze e le informazioni correlate "così come sono". Creative Commons non offre garanzie riguardo alle sue licenze, qualsiasi materiale concesso in licenza secondo i loro termini e condizioni, o qualsiasi informazione correlata. Creative Commons declina ogni responsabilità per danni derivanti dal loro utilizzo nella misura massima consentita. + +Utilizzo delle licenze pubbliche Creative Commons + +Le licenze pubbliche Creative Commons forniscono un insieme standard di termini e condizioni che i creatori e altri titolari di diritti possono utilizzare per condividere opere originali e altro materiale soggetto a copyright e altri diritti specificati nella licenza pubblica di seguito. Le seguenti considerazioni sono solo a scopo informativo, non sono esaustive e non fanno parte delle nostre licenze. + + Considerazioni per i licenzianti: Le nostre licenze pubbliche sono + destinate all'uso da parte di coloro che sono autorizzati a dare + al pubblico il permesso di utilizzare il materiale in modi altrimenti + limitati dal copyright e da certi altri diritti. Le nostre licenze sono + irrevocabili. I licenzianti dovrebbero leggere e comprendere i termini + e le condizioni della licenza che scelgono prima di applicarla. + I licenzianti dovrebbero anche assicurarsi di avere tutti i diritti + necessari prima di applicare le nostre licenze in modo che il pubblico + possa riutilizzare il materiale come previsto. I licenzianti dovrebbero + chiaramente contrassegnare qualsiasi materiale non soggetto alla licenza. + Questo include altro materiale concesso in licenza CC, o materiale + utilizzato in base a un'eccezione o limitazione al copyright. Maggiori + considerazioni per i licenzianti: + wiki.creativecommons.org/Considerations_for_licensors + + Considerazioni per il pubblico: Utilizzando una delle nostre licenze + pubbliche, un licenziante concede al pubblico il permesso di utilizzare + il materiale concesso in licenza secondo i termini e le condizioni + specificati. Se il permesso del licenziante non è necessario per + qualsiasi motivo, ad esempio, a causa di un'eccezione o limitazione + applicabile al copyright, tale uso non è regolato dalla licenza. Le + nostre licenze concedono solo permessi sotto il copyright e certi + altri diritti che un licenziante ha l'autorità di concedere. L'uso del + materiale concesso in licenza può comunque essere limitato per altri + motivi, inclusi il fatto che altri abbiano diritti di copyright o altri + diritti sul materiale. Un licenziante può fare richieste speciali, come + chiedere che tutte le modifiche siano contrassegnate o descritte. Anche + se non richiesto dalle nostre licenze, si consiglia di rispettare tali + richieste quando ragionevoli. Maggiori considerazioni per il pubblico: + wiki.creativecommons.org/Considerations_for_licensees + +======================================================================= + +Licenza Pubblica Creative Commons Attribution-ShareAlike 4.0 Internazionale + +Esercitando i Diritti Concessi (definiti di seguito), accetti e concordi di essere vincolato dai termini e dalle condizioni di questa Licenza Pubblica Creative Commons Attribution-ShareAlike 4.0 Internazionale ("Licenza Pubblica"). Nella misura in cui questa Licenza Pubblica possa essere interpretata come un contratto, ti vengono concessi i Diritti Concessi in considerazione della tua accettazione di questi termini e condizioni, e il Licenziante ti concede tali diritti in considerazione dei benefici che il Licenziante riceve rendendo disponibile il Materiale Concesso in licenza secondo questi termini e condizioni. + + +Sezione 1 -- Definizioni. + + a. Materiale Adattato significa materiale soggetto a Copyright e Diritti Simili che è derivato o basato sul Materiale Concesso in licenza e nel quale il Materiale Concesso in licenza è tradotto, alterato, arrangiato, trasformato o altrimenti modificato in un modo che richiede permesso ai sensi del Copyright e dei Diritti Simili detenuti dal Licenziante. Ai fini di questa Licenza Pubblica, quando il Materiale Concesso in licenza è un'opera musicale, una performance o una registrazione sonora, il Materiale Adattato è sempre prodotto quando il Materiale Concesso in licenza è sincronizzato in relazione temporale con un'immagine in movimento. + + b. Licenza dell'Adattatore significa la licenza che applichi ai tuoi Copyright e Diritti Simili nei tuoi contributi al Materiale Adattato in conformità con i termini e le condizioni di questa Licenza Pubblica. + + c. Licenza Compatibile BY-SA significa una licenza elencata su creativecommons.org/compatiblelicenses, approvata da Creative Commons come essenzialmente equivalente a questa Licenza Pubblica. + + d. Copyright e Diritti Simili significa copyright e/o diritti simili strettamente correlati al copyright inclusi, senza limitazione, performance, trasmissione, registrazione sonora e Diritti sui Database Sui Generis, senza riguardo a come i diritti sono etichettati o categorizzati. Ai fini di questa Licenza Pubblica, i diritti specificati nella Sezione 2(b)(1)-(2) non sono Copyright e Diritti Simili. + + e. Misure Tecnologiche Efficaci significa quelle misure che, in assenza di adeguata autorizzazione, non possono essere aggirate ai sensi delle leggi che soddisfano gli obblighi ai sensi dell'Articolo 11 del Trattato sul Copyright dell'OMPI adottato il 20 dicembre 1996 e/o accordi internazionali simili. + + f. Eccezioni e Limitazioni significa uso equo, trattativa equa, e/o qualsiasi altra eccezione o limitazione al Copyright e Diritti Simili che si applica al tuo utilizzo del Materiale Concesso in licenza. + + g. Elementi della Licenza significa gli attributi della licenza elencati nel nome di una Licenza Pubblica Creative Commons. Gli Elementi della Licenza di questa Licenza Pubblica sono Attribuzione e Condividi allo stesso modo. + + h. Materiale Concesso in licenza significa l'opera artistica o letteraria, il database o altro materiale a cui il Licenziante ha applicato questa Licenza Pubblica. + + i. Diritti Concessi significa i diritti concessi a te soggetti ai termini e alle condizioni di questa Licenza Pubblica, che sono limitati a tutti i Copyright e Diritti Simili che si applicano al tuo utilizzo del Materiale Concesso in licenza e che il Licenziante ha l'autorità di concedere. + + j. Licenziante significa l'individuo o gli individui o l'entità o le entità che concedono diritti ai sensi di questa Licenza Pubblica. + + k. Condividere significa fornire materiale al pubblico con qualsiasi mezzo o processo che richiede permesso ai sensi dei Diritti Concessi, come la riproduzione, la visualizzazione pubblica, la performance pubblica, la distribuzione, la diffusione, la comunicazione o l'importazione, e rendere disponibile il materiale al pubblico anche in modi che i membri del pubblico possano accedere al materiale da un luogo e in un momento scelti individualmente da loro. + + l. Diritti sui Database Sui Generis significa diritti diversi dal copyright risultanti dalla Direttiva 96/9/CE del Parlamento Europeo e del Consiglio dell'11 marzo 1996 sulla protezione giuridica dei database, come modificata e/o sostituita, nonché altri diritti essenzialmente equivalenti in qualsiasi parte del mondo. + + m. Tu significa l'individuo o l'entità che esercita i Diritti Concessi ai sensi di questa Licenza Pubblica. Il tuo ha un significato corrispondente. + + +Sezione 2 -- Ambito. + + a. Concessione della licenza. + + 1. Soggetto ai termini e alle condizioni di questa Licenza Pubblica, + il Licenziante ti concede una licenza mondiale, gratuita, + non sublicenziabile, non esclusiva, irrevocabile per + esercitare i Diritti Concessi nel Materiale Concesso in licenza per: + + a. riprodurre e Condividere il Materiale Concesso in licenza, + in tutto o in parte; e + + b. produrre, riprodurre e Condividere Materiale Adattato. + + 2. Eccezioni e Limitazioni. Per evitare dubbi, laddove + Eccezioni e Limitazioni si applichino al tuo utilizzo, questa + Licenza Pubblica non si applica, e non è necessario che tu + rispetti i suoi termini e condizioni. + + 3. Durata. La durata di questa Licenza Pubblica è specificata nella Sezione + 6(a). + + 4. Media e formati; modifiche tecniche consentite. Il + Licenziante ti autorizza a esercitare i Diritti Concessi in + tutti i media e formati, sia ora conosciuti che creati in futuro, + e a fare le modifiche tecniche necessarie per farlo. Il + Licenziante rinuncia e/o si impegna a non far valere alcun diritto o + autorità per vietarti di fare modifiche tecniche necessarie per + esercitare i Diritti Concessi, comprese le modifiche tecniche + necessarie per aggirare le Misure Tecnologiche Efficaci. Ai fini di + questa Licenza Pubblica, semplicemente fare modifiche autorizzate + da questa Sezione 2(a)(4) non produce mai Materiale Adattato. + + 5. Destinatari successivi. + + a. Offerta del Licenziante -- Materiale Concesso in licenza. Ogni + destinatario del Materiale Concesso in licenza riceve automaticamente + un'offerta dal Licenziante per esercitare i Diritti Concessi + ai sensi dei termini e delle condizioni di questa Licenza Pubblica. + + b. Offerta aggiuntiva del Licenziante -- Materiale Adattato. + Ogni destinatario del Materiale Adattato da te + riceve automaticamente un'offerta dal Licenziante per + esercitare i Diritti Concessi nel Materiale Adattato + secondo le condizioni della Licenza dell'Adattatore che applichi. + + c. Nessuna restrizione a valle. Non puoi offrire o imporre + termini o condizioni aggiuntivi o diversi, né + applicare Misure Tecnologiche Efficaci al + Materiale Concesso in licenza se ciò limita l'esercizio dei + Diritti Concessi da parte di qualsiasi destinatario del Materiale + Concesso in licenza. + + 6. Nessuna approvazione. Nulla in questa Licenza Pubblica costituisce o + può essere interpretato come un permesso di affermare o implicare che tu + sia, o che il tuo utilizzo del Materiale Concesso in licenza sia, collegato + con, o sponsorizzato, approvato, o concesso stato ufficiale dal, + Licenziante o altri designati per ricevere attribuzione come + previsto nella Sezione 3(a)(1)(A)(i). + + b. Altri diritti. + + 1. I diritti morali, come il diritto all'integrità, non sono + concessi ai sensi di questa Licenza Pubblica, né i diritti di pubblicità, + privacy, e/o altri diritti simili della personalità; tuttavia, nella + misura possibile, il Licenziante rinuncia e/o si impegna a non far valere + tali diritti detenuti dal Licenziante nella misura limitata necessaria + per consentirti di esercitare i Diritti Concessi, ma non oltre. + + 2. I diritti di brevetto e marchio non sono concessi ai sensi di questa + Licenza Pubblica. + + 3. Nella misura possibile, il Licenziante rinuncia a qualsiasi diritto di + raccogliere royalties da te per l'esercizio dei Diritti Concessi, sia + direttamente che tramite una società di gestione collettiva + ai sensi di qualsiasi schema di licenza volontaria o obbligatoria + che possa essere rinunciata. In tutti gli altri casi il Licenziante si riserva + espressamente qualsiasi diritto di raccogliere tali royalties. + + +Sezione 3 -- Condizioni della Licenza. + +L'esercizio dei Diritti Concessi è espressamente soggetto alle +seguenti condizioni. + + a. Attribuzione. + + 1. Se Condividi il Materiale Concesso in licenza (incluso in forma modificata), + devi: + + a. mantenere quanto segue se fornito dal Licenziante + con il Materiale Concesso in licenza: + + i. identificazione del creatore o dei creatori del Materiale + Concesso in licenza e di qualsiasi altro designato per ricevere + attribuzione, in qualsiasi modo ragionevole richiesto dal + Licenziante (incluso con pseudonimo se + designato); + + ii. un avviso di copyright; + + iii. un avviso che fa riferimento a questa Licenza Pubblica; + + iv. un avviso che fa riferimento alla dichiarazione di + non responsabilità; + + v. un URI o un collegamento ipertestuale al Materiale Concesso in licenza + nella misura ragionevolmente praticabile; + + b. indicare se hai modificato il Materiale Concesso in licenza e + mantenere un'indicazione di eventuali modifiche precedenti; e + + c. indicare che il Materiale Concesso in licenza è concesso in licenza ai sensi di questa + Licenza Pubblica, e includere il testo di, o l'URI o + il collegamento ipertestuale a, questa Licenza Pubblica. + + 2. Puoi soddisfare le condizioni nella Sezione 3(a)(1) in qualsiasi + modo ragionevole basato sul mezzo, sui mezzi e sul contesto in + cui Condividi il Materiale Concesso in licenza. Ad esempio, può essere + ragionevole soddisfare le condizioni fornendo un URI o + un collegamento ipertestuale a una risorsa che include le informazioni + richieste. + + 3. Se richiesto dal Licenziante, devi rimuovere qualsiasi delle + informazioni richieste dalla Sezione 3(a)(1)(A) nella misura + ragionevolmente praticabile. + + b. Condividi allo stesso modo. + + Oltre alle condizioni nella Sezione 3(a), se Condividi + Materiale Adattato che produci, si applicano anche le seguenti condizioni. + + 1. La Licenza dell'Adattatore che applichi deve essere una licenza Creative Commons + con gli stessi Elementi della Licenza, questa versione o + successiva, o una Licenza Compatibile BY-SA. + + 2. Devi includere il testo di, o l'URI o il collegamento ipertestuale a, + la Licenza dell'Adattatore che applichi. Puoi soddisfare questa condizione + in qualsiasi modo ragionevole basato sul mezzo, sui mezzi e sul contesto in + cui Condividi il Materiale Adattato. + + 3. Non puoi offrire o imporre termini o condizioni aggiuntivi o diversi, né + applicare Misure Tecnologiche Efficaci al + Materiale Adattato che limitino l'esercizio dei + diritti concessi ai sensi della Licenza dell'Adattatore che applichi. + + +Sezione 4 -- Diritti sui Database Sui Generis. + +Laddove i Diritti Concessi includano i Diritti sui Database Sui Generis che +si applicano al tuo utilizzo del Materiale Concesso in licenza: + + a. per evitare dubbi, la Sezione 2(a)(1) ti concede il diritto + di estrarre, riutilizzare, riprodurre e Condividere tutto o una parte + sostanziale del contenuto del database; + + b. se includi tutto o una parte sostanziale del contenuto del database + in un database in cui hai Diritti sui Database Sui Generis, allora il database in + cui hai Diritti sui Database Sui Generis (ma non i suoi contenuti individuali) è Materiale Adattato, + + incluso ai fini della Sezione 3(b); e + c. devi rispettare le condizioni nella Sezione 3(a) se Condividi + tutto o una parte sostanziale del contenuto del database. + +Per evitare dubbi, questa Sezione 4 integra e non +sostituisce i tuoi obblighi ai sensi di questa Licenza Pubblica laddove i Diritti +Concessi includano altri Copyright e Diritti Simili. + + +Sezione 5 -- Dichiarazione di Non Responsabilità e Limitazione di Responsabilità. + + a. SALVO DIVERSAMENTE SPECIFICATO DAL LICENZIANTE, NELLA + MISURA POSSIBILE, IL LICENZIANTE OFFRE IL MATERIALE CONCESSO IN LICENZA + COSÌ COM'È E COME DISPONIBILE, E NON FA ALCUNA DICHIARAZIONE O GARANZIA DI + ALCUN TIPO RIGUARDO AL MATERIALE CONCESSO IN LICENZA, SIA ESPRESSA, + IMPLICITA, STATUTARIA, O ALTRO. QUESTO INCLUDE, SENZA LIMITAZIONE, + GARANZIE DI TITOLO, COMMERCIABILITÀ, IDONEITÀ A UNO SCOPO PARTICOLARE, + NON VIOLAZIONE, ASSENZA DI DIFETTI LATENTI O ALTRI DIFETTI, + ACCURATEZZA, O PRESENZA O ASSENZA DI ERRORI, SIA CONOSCIUTI CHE + SCOPRIBILI. LADDOVE LE DICHIARAZIONI DI NON RESPONSABILITÀ DELLE GARANZIE NON + SIANO CONS + +**Avvertenza**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su intelligenza artificiale. Sebbene ci sforziamo di garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatizzate possono contenere errori o imprecisioni. Il documento originale nella sua lingua madre deve essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione umana professionale. Non siamo responsabili per eventuali fraintendimenti o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/it/sketchnotes/README.md b/translations/it/sketchnotes/README.md new file mode 100644 index 000000000..54834ae06 --- /dev/null +++ b/translations/it/sketchnotes/README.md @@ -0,0 +1,10 @@ +Tutte le sketchnote del curriculum possono essere scaricate qui. + +🖨 Per la stampa in alta risoluzione, le versioni TIFF sono disponibili in [questo repo](https://github.com/girliemac/a-picture-is-worth-a-1000-words/tree/main/ml/tiff). + +🎨 Creato da: [Tomomi Imura](https://github.com/girliemac) (Twitter: [@girlie_mac](https://twitter.com/girlie_mac)) + +[](https://creativecommons.org/licenses/by-sa/4.0/) + +**Disclaimer**: +Questo documento è stato tradotto utilizzando servizi di traduzione automatica basati su AI. Sebbene ci sforziamo di garantire l'accuratezza, si prega di essere consapevoli che le traduzioni automatiche possono contenere errori o inesattezze. Il documento originale nella sua lingua nativa dovrebbe essere considerato la fonte autorevole. Per informazioni critiche, si raccomanda una traduzione professionale umana. Non siamo responsabili per eventuali malintesi o interpretazioni errate derivanti dall'uso di questa traduzione. \ No newline at end of file diff --git a/translations/ja/1-Introduction/1-intro-to-ML/README.md b/translations/ja/1-Introduction/1-intro-to-ML/README.md new file mode 100644 index 000000000..96b70f49c --- /dev/null +++ b/translations/ja/1-Introduction/1-intro-to-ML/README.md @@ -0,0 +1,148 @@ +# 機械学習の入門 + +## [事前講義クイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/1/) + +--- + +[](https://youtu.be/6mSx_KJxcHI "初心者向け機械学習入門") + +> 🎥 上の画像をクリックすると、このレッスンの短い動画が再生されます。 + +初心者向けの古典的な機械学習コースへようこそ！このトピックに全くの初心者であっても、または経験豊富なML実践者であっても、私たちはあなたを歓迎します！私たちは、あなたのML学習のための親しみやすい出発点を作りたいと考えており、あなたの[フィードバック](https://github.com/microsoft/ML-For-Beginners/discussions)を評価し、対応し、取り入れることを喜んで行います。 + +[](https://youtu.be/h0e2HAPTGF4 "機械学習入門") + +> 🎥 上の画像をクリックすると、MITのJohn Guttagが機械学習を紹介する動画が再生されます。 + +--- +## 機械学習の始め方 + +このカリキュラムを始める前に、ノートブックをローカルで実行するためにコンピュータのセットアップを行う必要があります。 + +- **これらのビデオでマシンを構成する**。システムに[Pythonをインストールする方法](https://youtu.be/CXZYvNRIAKM)と、開発のための[テキストエディタを設定する](https://youtu.be/EU8eayHWoZg)方法を学ぶために以下のリンクを使用してください。 +- **Pythonを学ぶ**。このコースで使用するデータサイエンティストに役立つプログラミング言語である[Python](https://docs.microsoft.com/learn/paths/python-language/?WT.mc_id=academic-77952-leestott)の基本的な理解も推奨されます。 +- **Node.jsとJavaScriptを学ぶ**。このコースでは、Webアプリを作成する際にJavaScriptも数回使用するため、[node](https://nodejs.org)と[npm](https://www.npmjs.com/)をインストールし、[Visual Studio Code](https://code.visualstudio.com/)をPythonとJavaScriptの開発に利用できるようにする必要があります。 +- **GitHubアカウントを作成する**。あなたが[GitHub](https://github.com)で私たちを見つけたのであれば、すでにアカウントを持っているかもしれませんが、そうでない場合はアカウントを作成し、このカリキュラムをフォークして自分で使用してください。（星を付けていただけると嬉しいです😊） +- **Scikit-learnを探索する**。これらのレッスンで参照する一連のMLライブラリである[Scikit-learn](https://scikit-learn.org/stable/user_guide.html)に慣れてください。 + +--- +## 機械学習とは何か？ + +「機械学習」という用語は、今日最も人気があり頻繁に使用される用語の一つです。技術に多少なりとも親しみがあれば、どの分野で働いていても、この用語を少なくとも一度は聞いたことがある可能性があります。しかし、機械学習の仕組みは多くの人にとって謎です。機械学習の初心者にとって、このテーマは時に圧倒的に感じられることがあります。したがって、機械学習が実際に何であるかを理解し、実践的な例を通じて一歩一歩学んでいくことが重要です。 + +--- +## ハイプカーブ + + + +> Google Trendsが示す最近の「機械学習」のハイプカーブ + +--- +## 謎に満ちた宇宙 + +私たちは魅力的な謎に満ちた宇宙に住んでいます。スティーブン・ホーキングやアルバート・アインシュタインなどの偉大な科学者たちは、周囲の世界の謎を解き明かす有意義な情報を探求するために一生を捧げました。これは学習という人間の条件です。人間の子供は、新しいことを学び、成長するにつれて世界の構造を年々明らかにしていきます。 + +--- +## 子供の脳 + +子供の脳と感覚は周囲の事実を知覚し、徐々に生活の隠れたパターンを学び、それによって学んだパターンを識別するための論理的なルールを作成します。人間の脳の学習プロセスは、人間をこの世界で最も高度な生き物にします。隠れたパターンを発見し続け、それに基づいて革新することで、生涯を通じて自分自身をより良くしていくことができます。この学習能力と進化能力は、[脳の可塑性](https://www.simplypsychology.org/brain-plasticity.html)という概念に関連しています。表面的には、人間の脳の学習プロセスと機械学習の概念との間には、いくつかの動機的な類似点を引き出すことができます。 + +--- +## 人間の脳 + +[人間の脳](https://www.livescience.com/29365-human-brain.html)は現実世界から物事を知覚し、知覚した情報を処理し、合理的な決定を下し、状況に応じて特定の行動を取ります。これが知的に振る舞うと呼ばれるものです。知的な行動プロセスの模倣を機械にプログラムすることを人工知能（AI）と呼びます。 + +--- +## 用語の説明 + +用語が混同されることがありますが、機械学習（ML）は人工知能の重要なサブセットです。**MLは、知覚されたデータから有意義な情報を発見し、隠れたパターンを見つけて合理的な意思決定プロセスを裏付けるために特化したアルゴリズムを使用することに関心があります**。 + +--- +## AI、ML、ディープラーニング + + + +> AI、ML、ディープラーニング、データサイエンスの関係を示す図。インフォグラフィックは[Jen Looper](https://twitter.com/jenlooper)によって、この[グラフィック](https://softwareengineering.stackexchange.com/questions/366996/distinction-between-ai-ml-neural-networks-deep-learning-and-data-mining)にインスパイアされて作成されました。 + +--- +## カバーする概念 + +このカリキュラムでは、初心者が知っておくべき機械学習の基本概念のみをカバーします。主にScikit-learnを使用して「古典的な機械学習」をカバーします。これは多くの学生が基本を学ぶために使用する優れたライブラリです。人工知能やディープラーニングの広範な概念を理解するためには、機械学習の強固な基礎知識が不可欠であり、ここでそれを提供したいと考えています。 + +--- +## このコースで学ぶこと + +- 機械学習の基本概念 +- 機械学習の歴史 +- 機械学習と公平性 +- 回帰ML技術 +- 分類ML技術 +- クラスタリングML技術 +- 自然言語処理ML技術 +- 時系列予測ML技術 +- 強化学習 +- 機械学習の実世界での応用 + +--- +## カバーしないこと + +- ディープラーニング +- ニューラルネットワーク +- AI + +より良い学習体験を提供するために、ニューラルネットワークの複雑さ、「ディープラーニング」 - ニューラルネットワークを使用した多層モデル構築 - およびAIを避けます。これらは別のカリキュラムで取り上げます。また、データサイエンスに焦点を当てたカリキュラムも今後提供する予定です。 + +--- +## なぜ機械学習を学ぶのか？ + +システムの観点から見ると、機械学習は、データから隠れたパターンを学習し、知的な意思決定を支援する自動化システムの作成と定義されます。 + +この動機は、人間の脳が外界から知覚したデータに基づいて特定のことを学習する方法に緩やかに触発されています。 + +✅ ビジネスがハードコードされたルールベースのエンジンを作成するのではなく、機械学習戦略を使用しようとする理由について考えてみてください。 + +--- +## 機械学習の応用 + +機械学習の応用は今やほぼどこにでもあり、私たちの社会を流れるデータ、スマートフォン、接続されたデバイス、およびその他のシステムによって生成されるデータと同様に普及しています。最先端の機械学習アルゴリズムの膨大な可能性を考慮して、研究者たちはその能力を多次元および多分野の実生活の問題を解決するために探求し、素晴らしい成果を上げています。 + +--- +## 機械学習の応用例 + +**機械学習をさまざまな方法で使用できます**： + +- 患者の医療履歴やレポートから病気の可能性を予測する。 +- 天気データを利用して天気イベントを予測する。 +- テキストの感情を理解する。 +- 偽ニュースを検出してプロパガンダの拡散を防ぐ。 + +金融、経済学、地球科学、宇宙探査、生物医学工学、認知科学、さらには人文学の分野でも、機械学習を適用して、その領域の厄介でデータ処理の重い問題を解決しています。 + +--- +## 結論 + +機械学習は、現実世界のデータや生成されたデータから有意義な洞察を見つけることでパターン発見のプロセスを自動化します。ビジネス、健康、金融などのアプリケーションにおいて非常に価値があることが証明されています。 + +近い将来、機械学習の基本を理解することは、その広範な採用のため、どの分野の人々にとっても必須になるでしょう。 + +--- +# 🚀 チャレンジ + +紙や[Excalidraw](https://excalidraw.com/)のようなオンラインアプリを使用して、AI、ML、ディープラーニング、データサイエンスの違いについての理解をスケッチしてください。これらの技術が得意とする問題のアイデアも追加してください。 + +# [講義後のクイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/2/) + +--- +# レビューと自主学習 + +クラウドでMLアルゴリズムを使用する方法について詳しく学ぶには、この[学習パス](https://docs.microsoft.com/learn/paths/create-no-code-predictive-models-azure-machine-learning/?WT.mc_id=academic-77952-leestott)を参照してください。 + +MLの基本についての[学習パス](https://docs.microsoft.com/learn/modules/introduction-to-machine-learning/?WT.mc_id=academic-77952-leestott)を受講してください。 + +--- +# 課題 + +[セットアップと実行](assignment.md) + +**免責事項**： +この文書は、機械ベースのAI翻訳サービスを使用して翻訳されています。正確性を期していますが、自動翻訳にはエラーや不正確さが含まれる場合があることにご注意ください。元の言語の文書が権威ある情報源と見なされるべきです。重要な情報については、専門の人間による翻訳を推奨します。この翻訳の使用に起因する誤解や誤訳について、当社は一切の責任を負いません。 \ No newline at end of file diff --git a/translations/ja/1-Introduction/1-intro-to-ML/assignment.md b/translations/ja/1-Introduction/1-intro-to-ML/assignment.md new file mode 100644 index 000000000..8851f4d63 --- /dev/null +++ b/translations/ja/1-Introduction/1-intro-to-ML/assignment.md @@ -0,0 +1,12 @@ +# 起動と実行 + +## 手順 + +この成績に関係しない課題では、Pythonの復習をし、ノートブックを実行できる環境を整える必要があります。 + +この[Python学習パス](https://docs.microsoft.com/learn/paths/python-language/?WT.mc_id=academic-77952-leestott)を取り、その後、以下の入門ビデオを見てシステムを設定してください: + +https://www.youtube.com/playlist?list=PLlrxD0HtieHhS8VzuMCfQD4uJ9yne1mE6 + +**免責事項**: +この文書は、機械ベースのAI翻訳サービスを使用して翻訳されています。正確さを期すために努めておりますが、自動翻訳には誤りや不正確さが含まれる場合があります。原文の言語で記載されたオリジナル文書が権威ある情報源と見なされるべきです。重要な情報については、専門の人間による翻訳を推奨します。この翻訳の使用に起因する誤解や誤訳について、当方は一切の責任を負いません。 \ No newline at end of file diff --git a/translations/ja/1-Introduction/2-history-of-ML/README.md b/translations/ja/1-Introduction/2-history-of-ML/README.md new file mode 100644 index 000000000..80fb2d342 --- /dev/null +++ b/translations/ja/1-Introduction/2-history-of-ML/README.md @@ -0,0 +1,152 @@ +# 機械学習の歴史 + + +> スケッチノート: [Tomomi Imura](https://www.twitter.com/girlie_mac) + +## [講義前のクイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/3/) + +--- + +[](https://youtu.be/N6wxM4wZ7V0 "初心者向け機械学習 - 機械学習の歴史") + +> 🎥 上の画像をクリックすると、このレッスンの短い動画が再生されます。 + +このレッスンでは、機械学習と人工知能の歴史における主要なマイルストーンを見ていきます。 + +人工知能（AI）の歴史は機械学習の歴史と密接に関連しています。なぜなら、MLを支えるアルゴリズムや計算の進歩がAIの発展に寄与しているからです。これらの分野が1950年代に独立した研究領域として結晶化し始めた一方で、重要な[アルゴリズム、統計、数学、計算、および技術的発見](https://wikipedia.org/wiki/Timeline_of_machine_learning)はその前から存在し、重なり合っていました。実際、人々は[何百年も前から](https://wikipedia.org/wiki/History_of_artificial_intelligence)これらの問題について考えてきました。この記事では、「考える機械」のアイデアの歴史的な知的基盤について議論しています。 + +--- +## 重要な発見 + +- 1763年、1812年 [ベイズの定理](https://wikipedia.org/wiki/Bayes%27_theorem) とその前身。この定理とその応用は、事前の知識に基づいてイベントが発生する確率を説明します。 +- 1805年 [最小二乗法](https://wikipedia.org/wiki/Least_squares) フランスの数学者Adrien-Marie Legendreによる。この理論はデータフィッティングに役立ち、回帰ユニットで学びます。 +- 1913年 [マルコフ連鎖](https://wikipedia.org/wiki/Markov_chain)、ロシアの数学者Andrey Markovにちなんで名付けられたもので、前の状態に基づいて一連の可能なイベントを説明します。 +- 1957年 [パーセプトロン](https://wikipedia.org/wiki/Perceptron) アメリカの心理学者Frank Rosenblattによって発明された線形分類器の一種で、深層学習の進歩の基礎となっています。 + +--- + +- 1967年 [最近傍法](https://wikipedia.org/wiki/Nearest_neighbor) 元々はルートをマッピングするために設計されたアルゴリズムで、MLの文脈ではパターンを検出するために使用されます。 +- 1970年 [逆伝播](https://wikipedia.org/wiki/Backpropagation) [フィードフォワードニューラルネットワーク](https://wikipedia.org/wiki/Feedforward_neural_network) を訓練するために使用されます。 +- 1982年 [リカレントニューラルネットワーク](https://wikipedia.org/wiki/Recurrent_neural_network) フィードフォワードニューラルネットワークから派生した人工ニューラルネットワークで、時間的なグラフを作成します。 + +✅ 少し調べてみましょう。MLとAIの歴史において他に重要な日付は何でしょうか？ + +--- +## 1950年: 考える機械 + +2019年に[一般投票で](https://wikipedia.org/wiki/Icons:_The_Greatest_Person_of_the_20th_Century) 20世紀の偉大な科学者に選ばれたAlan Turingは、「考える機械」の概念の基礎を築いたとされています。彼は、この概念に対する反対意見や自身の経験的証拠の必要性に取り組むために[チューリングテスト](https://www.bbc.com/news/technology-18475646) を作成しました。このテストについてはNLPレッスンで探求します。 + +--- +## 1956年: ダートマス夏季研究プロジェクト + +「ダートマス夏季研究プロジェクトは、人工知能という分野にとって画期的なイベントであり、ここで『人工知能』という用語が生まれました」([source](https://250.dartmouth.edu/highlights/artificial-intelligence-ai-coined-dartmouth))。 + +> 学習やその他の知能の特徴のすべては、原則として、機械がそれをシミュレートできるほど正確に記述することができます。 + +--- + +主任研究者である数学教授John McCarthyは、「学習やその他の知能の特徴のすべては、原則として、機械がそれをシミュレートできるほど正確に記述することができる」という仮定に基づいて進めたいと考えていました。参加者には、分野のもう一人の著名人であるMarvin Minskyも含まれていました。 + +このワークショップは、「シンボリックメソッドの台頭、限定されたドメインに焦点を当てたシステム（初期のエキスパートシステム）、および帰納システムと演繹システムの議論」などの議論を始め、奨励したとされています ([source](https://wikipedia.org/wiki/Dartmouth_workshop))。 + +--- +## 1956年 - 1974年: 「黄金時代」 + +1950年代から1970年代半ばにかけて、AIが多くの問題を解決できるという希望に満ちていました。1967年、Marvin Minskyは「一世代のうちに…『人工知能』を作成する問題は実質的に解決されるだろう」と自信を持って述べました (Minsky, Marvin (1967), Computation: Finite and Infinite Machines, Englewood Cliffs, N.J.: Prentice-Hall)。 + +自然言語処理の研究が盛んになり、検索が洗練され強力になり、「マイクロワールド」という概念が生まれ、簡単なタスクが平易な言語指示で完了されました。 + +--- + +政府機関からの研究資金が豊富で、計算とアルゴリズムの進歩があり、インテリジェントな機械のプロトタイプが作られました。これらの機械のいくつかには次のようなものがあります： + +* [Shakey the robot](https://wikipedia.org/wiki/Shakey_the_robot)、タスクを「知的に」実行する方法を決定しながら移動できるロボット。 + +  + > 1972年のShakey + +--- + +* Eliza、初期の「チャターボット」、人々と会話し、原始的な「セラピスト」として機能しました。ElizaについてはNLPレッスンでさらに学びます。 + +  + > チャットボットの一バージョン、Eliza + +--- + +* 「ブロックワールド」は、ブロックを積み重ねたり分類したりするマイクロワールドの例で、機械に意思決定を教える実験が行われました。 [SHRDLU](https://wikipedia.org/wiki/SHRDLU) などのライブラリを使用して構築された進歩が言語処理を推進しました。 + + [](https://www.youtube.com/watch?v=QAJz4YKUwqw "SHRDLUを使ったブロックワールド") + + > 🎥 上の画像をクリックすると、SHRDLUを使ったブロックワールドの動画が再生されます + +--- +## 1974年 - 1980年: 「AIの冬」 + +1970年代半ばまでに、「知的な機械」を作ることの複雑さが過小評価されており、利用可能な計算能力に対するその約束が過大評価されていたことが明らかになりました。資金は枯渇し、分野への信頼は低下しました。信頼を損なった問題には次のようなものがあります： +--- +- **限界**。計算能力が限られていました。 +- **組み合わせ爆発**。コンピュータに求めることが増えるにつれて、トレーニングする必要のあるパラメータの数が指数関数的に増加しましたが、計算能力と能力の進化が並行していませんでした。 +- **データの不足**。アルゴリズムのテスト、開発、改良を妨げるデータの不足がありました。 +- **正しい質問をしているのか？**。研究者が取り組んでいる質問自体が疑問視され始めました。研究者たちはそのアプローチに対して批判を受けるようになりました： + - チューリングテストは、「デジタルコンピュータをプログラムすることで言語を理解しているように見せることはできるが、実際の理解を生み出すことはできない」という『中国語の部屋理論』などのアイデアによって疑問視されました ([source](https://plato.stanford.edu/entries/chinese-room/))。 + - 「セラピスト」ELIZAのような人工知能を社会に導入する倫理が問われました。 + +--- + +同時に、さまざまなAIの学派が形成され始めました。「[スクラフィー]と[ニートAI](https://wikipedia.org/wiki/Neats_and_scruffies)」の実践の間に二分化が確立されました。_スクラフィー_の研究室は、望む結果が得られるまでプログラムを微調整しました。_ニート_の研究室は「論理と形式的な問題解決」に焦点を当てました。ELIZAとSHRDLUはよく知られた_スクラフィー_システムでした。1980年代に入り、MLシステムを再現可能にする需要が高まると、その結果がより説明可能であるため、_ニート_アプローチが徐々に主流になりました。 + +--- +## 1980年代 エキスパートシステム + +分野が成長するにつれて、そのビジネスへの利益が明確になり、1980年代には「エキスパートシステム」の普及が進みました。「エキスパートシステムは、最初に成功した人工知能（AI）ソフトウェアの一つです」([source](https://wikipedia.org/wiki/Expert_system))。 + +このタイプのシステムは実際には_ハイブリッド_であり、ビジネス要件を定義するルールエンジンと、ルールシステムを活用して新しい事実を推論する推論エンジンから部分的に構成されています。 + +この時代はまた、ニューラルネットワークに対する関心が高まった時期でもあります。 + +--- +## 1987年 - 1993年: AIの冷却期 + +専門化されたエキスパートシステムハードウェアの普及は、残念ながらあまりにも専門化されすぎました。パーソナルコンピュータの普及もこれらの大規模で専門化された集中システムと競合しました。コンピューティングの民主化が始まり、最終的にはビッグデータの現代の爆発の道を開きました。 + +--- +## 1993年 - 2011年 + +この時代は、データと計算能力の不足によって引き起こされた問題を解決するための新しい時代を迎えました。データの量は急速に増加し、より広く利用可能になり、特に2007年頃のスマートフォンの登場とともに、良くも悪くも広まりました。計算能力は指数関数的に拡大し、アルゴリズムもそれに伴って進化しました。この分野は、過去の自由奔放な日々から真の学問分野へと結晶化し始めました。 + +--- +## 現在 + +今日、機械学習とAIは私たちの生活のほぼすべての部分に触れています。この時代は、これらのアルゴリズムが人間の生活に与えるリスクと影響を慎重に理解することを求めています。MicrosoftのBrad Smithは、「情報技術はプライバシーや表現の自由などの基本的人権保護の核心に関わる問題を提起します。これらの問題は、これらの製品を作成する技術企業に対する責任を高めます。私たちの見解では、思慮深い政府の規制と許容される使用に関する規範の発展も必要です」([source](https://www.technologyreview.com/2019/12/18/102365/the-future-of-ais-impact-on-society/))と述べています。 + +--- + +将来がどうなるかはまだわかりませんが、これらのコンピュータシステムとそれらが実行するソフトウェアやアルゴリズムを理解することが重要です。このカリキュラムが、あなた自身が判断するためのより良い理解を得るのに役立つことを願っています。 + +[](https://www.youtube.com/watch?v=mTtDfKgLm54 "ディープラーニングの歴史") +> 🎥 上の画像をクリックすると、Yann LeCunがディープラーニングの歴史について講演する動画が再生されます + +--- +## 🚀チャレンジ + +これらの歴史的な瞬間の一つに掘り下げて、その背後にいる人々についてもっと学びましょう。魅力的なキャラクターがいて、どんな科学的発見も文化的な真空の中で生まれたわけではありません。何を発見しますか？ + +## [講義後のクイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/4/) + +--- +## 復習と自己学習 + +以下のアイテムを見たり聞いたりしましょう： + +[Amy BoydがAIの進化について話すこのポッドキャスト](http://runasradio.com/Shows/Show/739) +[](https://www.youtube.com/watch?v=EJt3_bFYKss "The history of AI by Amy Boyd") + +--- + +## 課題 + +[タイムラインを作成する](assignment.md) + +**免責事項**: +この文書は機械翻訳AIサービスを使用して翻訳されています。正確さを期しておりますが、自動翻訳には誤りや不正確さが含まれる場合がありますのでご注意ください。原文がその言語での権威ある情報源と見なされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤った解釈について、当社は一切の責任を負いません。 \ No newline at end of file diff --git a/translations/ja/1-Introduction/2-history-of-ML/assignment.md b/translations/ja/1-Introduction/2-history-of-ML/assignment.md new file mode 100644 index 000000000..636342739 --- /dev/null +++ b/translations/ja/1-Introduction/2-history-of-ML/assignment.md @@ -0,0 +1,14 @@ +# タイムラインを作成する + +## 指示 + +[このリポジトリ](https://github.com/Digital-Humanities-Toolkit/timeline-builder)を使用して、アルゴリズム、数学、統計、AI、またはMLの歴史のある側面、またはこれらの組み合わせのタイムラインを作成します。一人の人物、一つのアイデア、または長い期間の思考に焦点を当てることができます。マルチメディア要素を追加することを忘れないでください。 + +## ルーブリック + +| 基準 | 優秀 | 十分 | 改善が必要 | +| -------- | ------------------------------------------------- | --------------------------------------- | ---------------------------------------------------------------- | +| | GitHubページとして展開されたタイムラインが提示される | コードが不完全で展開されていない | タイムラインが不完全で、十分に調査されておらず、展開されていない | + +**免責事項**: +この文書は機械ベースのAI翻訳サービスを使用して翻訳されています。正確さを期すために努力しておりますが、自動翻訳には誤りや不正確さが含まれる可能性があります。原文の母国語の文書を権威ある情報源と見なすべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤訳について、当方は一切の責任を負いかねます。 \ No newline at end of file diff --git a/translations/ja/1-Introduction/3-fairness/README.md b/translations/ja/1-Introduction/3-fairness/README.md new file mode 100644 index 000000000..f89275236 --- /dev/null +++ b/translations/ja/1-Introduction/3-fairness/README.md @@ -0,0 +1,113 @@ +# 責任あるAIを用いた機械学習ソリューションの構築 + + +> スケッチノート by [Tomomi Imura](https://www.twitter.com/girlie_mac) + +## [事前講義クイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/5/) + +## はじめに + +このカリキュラムでは、機械学習がどのように私たちの日常生活に影響を与えているかを発見し始めます。現在でも、システムやモデルは、医療診断、ローンの承認、詐欺の検出など、日常の意思決定タスクに関与しています。したがって、これらのモデルが信頼できる結果を提供するためにうまく機能することが重要です。あらゆるソフトウェアアプリケーションと同様に、AIシステムも期待を裏切ったり、望ましくない結果をもたらすことがあります。そのため、AIモデルの挙動を理解し、説明することが不可欠です。 + +これらのモデルを構築するために使用するデータに特定の人口統計（人種、性別、政治的見解、宗教など）が欠けている場合、またはこれらの人口統計が不均衡に表現されている場合、何が起こるかを想像してみてください。モデルの出力が特定の人口統計を優遇するように解釈された場合、アプリケーションにとっての結果はどうなるでしょうか。さらに、モデルが望ましくない結果をもたらし、人々に害を及ぼす場合はどうなるでしょうか。AIシステムの挙動に対する責任は誰が負うのでしょうか。これらは、このカリキュラムで探求するいくつかの質問です。 + +このレッスンでは、次のことを学びます: + +- 機械学習における公平性の重要性と関連する害についての認識を高める +- 信頼性と安全性を確保するために異常値や異常なシナリオを探る実践に慣れる +- 包括的なシステムを設計することで全員をエンパワーメントする必要性を理解する +- データと人々のプライバシーとセキュリティを保護することの重要性を探る +- AIモデルの挙動を説明するためのガラスボックスアプローチの重要性を見る +- AIシステムに対する信頼を構築するためにアカウンタビリティが不可欠であることを意識する + +## 前提条件 + +前提条件として、「責任あるAIの原則」学習パスを受講し、以下のビデオを視聴してください: + +この[学習パス](https://docs.microsoft.com/learn/modules/responsible-ai-principles/?WT.mc_id=academic-77952-leestott)を通じて責任あるAIについてさらに学びましょう。 + +[](https://youtu.be/dnC8-uUZXSc "Microsoftの責任あるAIへのアプローチ") + +> 🎥 上の画像をクリックしてビデオを視聴: Microsoftの責任あるAIへのアプローチ + +## 公平性 + +AIシステムはすべての人を公平に扱い、類似のグループに異なる影響を与えないようにする必要があります。例えば、AIシステムが医療処置、ローン申請、または雇用に関するガイダンスを提供する場合、類似の症状、財政状況、または専門資格を持つすべての人に同じ推奨を行うべきです。私たち人間は、意思決定や行動に影響を与える遺伝的なバイアスを持っています。これらのバイアスは、AIシステムをトレーニングするために使用するデータにも現れることがあります。このような操作は時には意図せずに行われることがあります。データにバイアスを導入する際に意識的に気づくことはしばしば困難です。 + +**「不公平」**とは、人種、性別、年齢、障害状態などの観点から定義される人々のグループに対するネガティブな影響、または「害」を指します。主な公平性に関連する害は次のように分類されます: + +- **割り当て**。例えば、性別や民族が他の性別や民族に対して優遇される場合。 +- **サービスの質**。特定のシナリオのためにデータをトレーニングしたが、現実ははるかに複雑である場合、パフォーマンスの低いサービスにつながります。例えば、暗い肌の人々を感知できないハンドソープディスペンサー。[参考](https://gizmodo.com/why-cant-this-soap-dispenser-identify-dark-skin-1797931773) +- **中傷**。何かまたは誰かを不公平に批判し、ラベル付けすること。例えば、画像ラベリング技術が暗い肌の人々の画像をゴリラと誤ってラベリングしたことで有名です。 +- **過剰または過小な表現**。特定の職業に特定のグループが見られないという考えであり、そのサービスや機能がそれを促進し続けることは害をもたらします。 +- **ステレオタイプ**。特定のグループを事前に割り当てられた属性と関連付けること。例えば、英語とトルコ語の間の言語翻訳システムが、性別に関するステレオタイプに関連する単語のために不正確さを持つ可能性があります。 + + +> トルコ語への翻訳 + + +> 英語への翻訳 + +AIシステムの設計とテストを行う際には、AIが公平であり、バイアスや差別的な決定を下すようにプログラムされていないことを確認する必要があります。AIと機械学習における公平性を保証することは、依然として複雑な社会技術的課題です。 + +### 信頼性と安全性 + +信頼を築くためには、AIシステムは通常および予期せぬ条件下でも信頼性が高く、安全で一貫している必要があります。特に外れ値の場合に、AIシステムがどのように挙動するかを知ることが重要です。AIソリューションを構築する際には、AIソリューションが遭遇するさまざまな状況をどのように処理するかに多くの焦点を当てる必要があります。例えば、自動運転車は人々の安全を最優先に考える必要があります。その結果、車を駆動するAIは、夜間、雷雨、吹雪、道路を横切る子供、ペット、道路工事など、車が遭遇する可能性のあるすべてのシナリオを考慮する必要があります。AIシステムが幅広い条件をどれだけ信頼性が高く安全に処理できるかは、データサイエンティストやAI開発者がシステムの設計やテスト中にどれだけの予測を考慮したかを反映しています。 + +> [🎥 こちらをクリックしてビデオを見る: ](https://www.microsoft.com/videoplayer/embed/RE4vvIl) + +### 包括性 + +AIシステムは、すべての人々をエンゲージし、エンパワーメントするように設計されるべきです。AIシステムを設計および実装する際に、データサイエンティストやAI開発者は、システムが意図せずに人々を排除する可能性のある障壁を特定し、対処します。例えば、世界中には10億人の障害者がいます。AIの進歩により、彼らは日常生活で幅広い情報や機会により簡単にアクセスできるようになります。障壁に対処することで、すべての人々に利益をもたらすより良い体験を提供するAI製品を革新し、開発する機会が生まれます。 + +> [🎥 こちらをクリックしてビデオを見る: AIにおける包括性](https://www.microsoft.com/videoplayer/embed/RE4vl9v) + +### セキュリティとプライバシー + +AIシステムは安全であり、人々のプライバシーを尊重するべきです。プライバシー、情報、または生活を危険にさらすシステムには、人々はあまり信頼を寄せません。機械学習モデルをトレーニングする際には、最良の結果を生み出すためにデータに依存します。そのため、データの出所と整合性を考慮する必要があります。例えば、データがユーザーによって提供されたものか、公開されているものかを確認します。次に、データを扱う際には、機密情報を保護し、攻撃に耐えるAIシステムを開発することが重要です。AIが普及するにつれて、プライバシーを保護し、重要な個人情報やビジネス情報を保護することがますます重要かつ複雑になっています。プライバシーとデータセキュリティの問題は、AIにとって特に注意が必要です。なぜなら、データへのアクセスは、AIシステムが人々について正確で情報に基づいた予測と決定を行うために不可欠だからです。 + +> [🎥 こちらをクリックしてビデオを見る: AIにおけるセキュリティ](https://www.microsoft.com/videoplayer/embed/RE4voJF) + +- 業界として、GDPR（一般データ保護規則）などの規制により、プライバシーとセキュリティの分野で大きな進展を遂げました。 +- しかし、AIシステムにおいては、システムをより個人的で効果的にするためにより多くの個人データが必要であるという必要性とプライバシーの間の緊張関係を認識する必要があります。 +- インターネットを介した接続されたコンピュータの誕生と同様に、AIに関連するセキュリティ問題の数が急増しています。 +- 同時に、セキュリティを向上させるためにAIが使用されているのを目にしています。例えば、ほとんどの最新のアンチウイルススキャナーは、今日ではAIヒューリスティックによって駆動されています。 +- データサイエンスのプロセスが最新のプライバシーとセキュリティの実践と調和するようにする必要があります。 + +### 透明性 + +AIシステムは理解可能であるべきです。透明性の重要な部分は、AIシステムとそのコンポーネントの挙動を説明することです。AIシステムの理解を深めるためには、ステークホルダーがそれらがどのように機能し、なぜ機能するのかを理解し、潜在的なパフォーマンスの問題、安全性とプライバシーの懸念、バイアス、排除的な実践、または意図しない結果を特定できるようにする必要があります。また、AIシステムを使用する人々は、いつ、なぜ、どのようにそれらを展開することを選択するのかについて正直で率直であるべきだと考えています。使用するシステムの限界も含めて説明する必要があります。例えば、銀行が消費者向け融資決定を支援するためにAIシステムを使用する場合、その結果を調査し、システムの推奨をどのデータが影響しているのかを理解することが重要です。政府は産業全体でAIを規制し始めているため、データサイエンティストや組織は、AIシステムが規制要件を満たしているかどうかを説明する必要があります。特に望ましくない結果が生じた場合には、特に重要です。 + +> [🎥 こちらをクリックしてビデオを見る: AIにおける透明性](https://www.microsoft.com/videoplayer/embed/RE4voJF) + +- AIシステムは非常に複雑であるため、それらがどのように機能し、結果を解釈するのかを理解するのは難しいです。 +- この理解の欠如は、これらのシステムがどのように管理され、運用され、文書化されるかに影響を与えます。 +- さらに重要なのは、これらのシステムが生成する結果を使用して行われる意思決定に影響を与えます。 + +### アカウンタビリティ + +AIシステムを設計し、展開する人々は、そのシステムの動作に対して責任を負わなければなりません。アカウンタビリティの必要性は、特に顔認識のような敏感な技術において特に重要です。最近、特に失踪した子供を見つけるなどの用途で技術の可能性を見ている法執行機関から、顔認識技術に対する需要が高まっています。しかし、これらの技術は、特定の個人の継続的な監視を可能にすることによって、政府が市民の基本的な自由を危険にさらす可能性があります。したがって、データサイエンティストや組織は、自分たちのAIシステムが個人や社会に与える影響について責任を持つ必要があります。 + +[](https://www.youtube.com/watch?v=Wldt8P5V6D0 "Microsoftの責任あるAIへのアプローチ") + +> 🎥 上の画像をクリックしてビデオを視聴: 顔認識による大規模監視の警告 + +最終的に、AIを社会に導入する最初の世代としての私たちの最大の課題の一つは、コンピュータが人々に対して責任を持ち続けることをどのように確保するか、そしてコンピュータを設計する人々が他のすべての人々に対して責任を持ち続けることをどのように確保するかです。 + +## 影響評価 + +機械学習モデルをトレーニングする前に、AIシステムの目的、意図された使用法、展開場所、およびシステムとやり取りする人々を理解するために影響評価を実施することが重要です。これらは、システムを評価するレビュアーやテスターに、潜在的なリスクや予期される結果を特定する際に考慮すべき要因を知らせるのに役立ちます。 + +影響評価を行う際の重点領域は次のとおりです: + +* **個人への悪影響**。システムのパフォーマンスを妨げる制限や要件、サポートされていない使用法、既知の制限に注意を払うことは、システムが個人に害を与える方法で使用されないようにするために重要です。 +* **データ要件**。システムがデータをどのように使用し、どこで使用するかを理解することで、考慮すべきデータ要件（例：GDPRやHIPPAデータ規制）を探ることができます。さらに、トレーニングに十分なデータの出所や量を確認します。 +* **影響の概要**。システムの使用によって生じる可能性のある害のリストを収集します。MLライフサイクル全体で、特定された問題が軽減または対処されているかどうかを確認します。 +* **6つのコア原則の適用可能な目標**。各原則の目標が達成されているかどうか、およびギャップがあるかどうかを評価します。 + +## 責任あるAIによるデバッグ + +ソフトウェアアプリケーションの + +**免責事項**: +この文書は機械ベースのAI翻訳サービスを使用して翻訳されています。正確さを期していますが、自動翻訳には誤りや不正確さが含まれる可能性があることをご理解ください。元の言語で書かれた原文が信頼できる情報源とみなされるべきです。重要な情報については、専門の人間による翻訳を推奨します。この翻訳の使用に起因する誤解や誤った解釈について、当社は責任を負いません。 \ No newline at end of file diff --git a/translations/ja/1-Introduction/3-fairness/assignment.md b/translations/ja/1-Introduction/3-fairness/assignment.md new file mode 100644 index 000000000..d67d8983c --- /dev/null +++ b/translations/ja/1-Introduction/3-fairness/assignment.md @@ -0,0 +1,14 @@ +# Responsible AI Toolboxを探る + +## 指示 + +このレッスンでは、データサイエンティストがAIシステムを分析・改善するための「オープンソースのコミュニティ主導のプロジェクト」であるResponsible AI Toolboxについて学びました。この課題では、RAI Toolboxの[ノートブック](https://github.com/microsoft/responsible-ai-toolbox/blob/main/notebooks/responsibleaidashboard/getting-started.ipynb)の一つを探り、その結果を論文やプレゼンテーションで報告してください。 + +## 評価基準 + +| 基準 | 優秀 | 適切 | 改善が必要 | +| -------- | --------- | -------- | ----------------- | +| | Fairlearnのシステム、実行したノートブック、およびその結果について論じた論文またはパワーポイントプレゼンテーションが提示されている | 結論のない論文が提示されている | 論文が提示されていない | + +**免責事項**: +この文書は機械翻訳サービスを使用して翻訳されています。正確さを期しておりますが、自動翻訳には誤りや不正確さが含まれる可能性があります。権威ある情報源として、原文の言語の文書を参照してください。重要な情報については、専門の人間による翻訳を推奨します。この翻訳の使用により生じた誤解や誤認に対して、当社は一切の責任を負いません。 \ No newline at end of file diff --git a/translations/ja/1-Introduction/4-techniques-of-ML/README.md b/translations/ja/1-Introduction/4-techniques-of-ML/README.md new file mode 100644 index 000000000..3601eaa94 --- /dev/null +++ b/translations/ja/1-Introduction/4-techniques-of-ML/README.md @@ -0,0 +1,121 @@ +# 機械学習のテクニック + +機械学習モデルを構築、使用、維持するプロセスと、それに使用するデータの管理は、他の多くの開発ワークフローとは大きく異なります。このレッスンでは、そのプロセスを解明し、知っておくべき主要なテクニックを概説します。以下のことを学びます： + +- 機械学習のプロセスを高いレベルで理解する。 +- 「モデル」、「予測」、「トレーニングデータ」といった基本概念を探る。 + +## [講義前のクイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/7/) + +[](https://youtu.be/4NGM0U2ZSHU "初心者向け機械学習 - 機械学習のテクニック") + +> 🎥 上の画像をクリックすると、このレッスンの短いビデオが再生されます。 + +## はじめに + +高いレベルでは、機械学習（ML）プロセスを作成する技術は以下のいくつかのステップから成り立っています： + +1. **質問を決める**。ほとんどのMLプロセスは、単純な条件付きプログラムやルールベースのエンジンでは答えられない質問から始まります。これらの質問は、データのコレクションに基づく予測に関することが多いです。 +2. **データを収集し準備する**。質問に答えるためにはデータが必要です。データの質や量が、最初の質問にどれだけうまく答えられるかを決定します。このフェーズではデータの可視化も重要です。また、データをトレーニング用とテスト用に分割してモデルを構築することも含まれます。 +3. **トレーニング方法を選ぶ**。質問とデータの性質に応じて、モデルをどのようにトレーニングするかを選びます。これはMLプロセスの中で特定の専門知識が必要であり、多くの場合、かなりの実験が必要な部分です。 +4. **モデルをトレーニングする**。トレーニングデータを使用して、データのパターンを認識するモデルをトレーニングします。モデルは内部の重みを調整して、データの特定の部分を他よりも優先することで、より良いモデルを構築することができます。 +5. **モデルを評価する**。収集したデータセットから見たことのないデータ（テストデータ）を使用して、モデルのパフォーマンスを確認します。 +6. **パラメータ調整**。モデルのパフォーマンスに基づいて、異なるパラメータやアルゴリズムを使用してプロセスを再実行することができます。 +7. **予測する**。新しい入力を使用して、モデルの精度をテストします。 + +## どの質問をするか + +コンピュータはデータの中に隠れたパターンを発見するのが得意です。この能力は、条件ベースのルールエンジンを作成するだけでは簡単に答えられない質問を持つ研究者にとって非常に役立ちます。例えば、アクチュアリアルなタスクを考えると、データサイエンティストは喫煙者と非喫煙者の死亡率に関する手作りのルールを構築できるかもしれません。 + +しかし、他の多くの変数が関与すると、過去の健康履歴に基づいて将来の死亡率を予測するためにMLモデルがより効率的である可能性があります。より楽しい例として、緯度、経度、気候変動、海への近さ、ジェット気流のパターンなどのデータに基づいて、特定の場所の4月の天気予測をすることが挙げられます。 + +✅ この[スライドデッキ](https://www2.cisl.ucar.edu/sites/default/files/2021-10/0900%20June%2024%20Haupt_0.pdf)は、天気予報モデルにおけるMLの使用に関する歴史的な視点を提供しています。 + +## モデル構築前のタスク + +モデルを構築する前に、いくつかのタスクを完了する必要があります。質問をテストし、モデルの予測に基づいて仮説を形成するために、いくつかの要素を特定し、設定する必要があります。 + +### データ + +質問に確実に答えるためには、適切な種類のデータが十分に必要です。この時点で行うべきことは2つあります： + +- **データを収集する**。前のレッスンでデータ分析の公平性について学んだことを念頭に置き、データを慎重に収集します。このデータのソース、その中に含まれるバイアス、その出所を文書化します。 +- **データを準備する**。データ準備プロセスにはいくつかのステップがあります。データを収集して正規化する必要があるかもしれません。データの質と量を向上させるために、文字列を数値に変換するなどの方法を使用することができます（[クラスタリング](../../5-Clustering/1-Visualize/README.md)で行うように）。また、元のデータに基づいて新しいデータを生成することもできます（[分類](../../4-Classification/1-Introduction/README.md)で行うように）。データをクリーンアップし、編集することもできます（[Webアプリ](../../3-Web-App/README.md)のレッスンの前に行うように）。最後に、トレーニングテクニックに応じて、データをランダム化し、シャッフルする必要があるかもしれません。 + +✅ データを収集し処理した後、その形状が意図した質問に答えるのに適しているか確認してください。データが与えられたタスクでうまく機能しないことがあるかもしれません（[クラスタリング](../../5-Clustering/1-Visualize/README.md)のレッスンで発見するように）。 + +### 特徴量とターゲット + +[特徴量](https://www.datasciencecentral.com/profiles/blogs/an-introduction-to-variable-and-feature-selection)はデータの測定可能な特性です。多くのデータセットでは、「日付」、「サイズ」、「色」などの列見出しとして表現されます。特徴量変数は通常コードでは`X`として表され、モデルをトレーニングするために使用される入力変数を表します。 + +ターゲットは予測しようとしているものです。ターゲットは通常コードでは`y`として表され、データに対して尋ねようとしている質問の答えを表します：12月にはどの**色**のカボチャが最も安いのか？サンフランシスコではどの地区が最も良い不動産**価格**を持つのか？ターゲットはラベル属性とも呼ばれることがあります。 + +### 特徴量変数の選択 + +🎓 **特徴選択と特徴抽出** モデルを構築する際にどの変数を選択するかどうかをどうやって知るのか？おそらく特徴選択や特徴抽出のプロセスを経て、最もパフォーマンスの良いモデルのための適切な変数を選ぶことになるでしょう。しかし、これらは同じことではありません：「特徴抽出は元の特徴の関数から新しい特徴を作成するのに対し、特徴選択は特徴のサブセットを返します。」（[出典](https://wikipedia.org/wiki/Feature_selection)） + +### データの可視化 + +データサイエンティストのツールキットの重要な側面は、SeabornやMatPlotLibのような優れたライブラリを使用してデータを可視化する力です。データを視覚的に表現することで、活用できる隠れた相関関係を見つけることができます。また、バイアスや不均衡なデータを発見するのにも役立ちます（[分類](../../4-Classification/2-Classifiers-1/README.md)で発見するように）。 + +### データセットの分割 + +トレーニングの前に、データセットを不均等なサイズの2つ以上の部分に分割し、それでもデータをよく表現する必要があります。 + +- **トレーニング**。データセットのこの部分は、モデルにフィットしてトレーニングします。このセットは元のデータセットの大部分を構成します。 +- **テスト**。テストデータセットは、元のデータから収集された独立したデータのグループで、構築されたモデルのパフォーマンスを確認するために使用します。 +- **検証**。検証セットは、モデルのハイパーパラメータやアーキテクチャを調整してモデルを改善するために使用する小さな独立したデータのグループです。データのサイズと質問に応じて、この3つ目のセットを構築する必要がないかもしれません（[時系列予測](../../7-TimeSeries/1-Introduction/README.md)で注目するように）。 + +## モデルの構築 + +トレーニングデータを使用して、さまざまなアルゴリズムを使用してデータの統計的表現であるモデルを構築することが目標です。モデルをトレーニングすることで、データに対する仮定を行い、発見したパターンを検証し、受け入れたり拒否したりします。 + +### トレーニング方法を決定する + +質問とデータの性質に応じて、トレーニング方法を選択します。このコースで使用する[Scikit-learnのドキュメント](https://scikit-learn.org/stable/user_guide.html)をステップバイステップで進めることで、モデルをトレーニングするための多くの方法を探ることができます。経験に応じて、最適なモデルを構築するためにいくつかの異なる方法を試す必要があるかもしれません。データサイエンティストが未見のデータをフィードしてモデルのパフォーマンスを評価し、精度、バイアス、その他の品質低下の問題をチェックし、タスクに最も適したトレーニング方法を選択するプロセスを経ることが多いです。 + +### モデルをトレーニングする + +トレーニングデータを用意したら、モデルを「フィット」させる準備が整います。多くのMLライブラリでは、「model.fit」というコードを見つけることができます。このときに特徴量変数（通常は「X」）とターゲット変数（通常は「y」）を値の配列として送信します。 + +### モデルを評価する + +トレーニングプロセスが完了すると（大規模なモデルをトレーニングするには多くの反復や「エポック」が必要な場合があります）、テストデータを使用してモデルのパフォーマンスを評価することができます。このデータは、モデルが以前に分析していない元のデータのサブセットです。モデルの品質に関するメトリクスのテーブルを印刷することができます。 + +🎓 **モデルのフィッティング** + +機械学習の文脈では、モデルのフィッティングとは、モデルの基礎となる関数が未知のデータを分析しようとする際の精度を指します。 + +🎓 **アンダーフィッティング**と**オーバーフィッティング**は、モデルの品質を低下させる一般的な問題です。モデルがトレーニングデータに対して適合しすぎるか、適合しなさすぎるかのいずれかです。オーバーフィットしたモデルは、データの詳細やノイズを学びすぎるため、トレーニングデータを非常によく予測します。アンダーフィットしたモデルは、トレーニングデータも未知のデータも正確に分析できないため、精度が低いです。 + + +> インフォグラフィック by [Jen Looper](https://twitter.com/jenlooper) + +## パラメータ調整 + +初期トレーニングが完了したら、モデルの品質を観察し、「ハイパーパラメータ」を調整することで改善することを考えます。プロセスの詳細は[ドキュメント](https://docs.microsoft.com/en-us/azure/machine-learning/how-to-tune-hyperparameters?WT.mc_id=academic-77952-leestott)を参照してください。 + +## 予測 + +これは、完全に新しいデータを使用してモデルの精度をテストする瞬間です。「応用」ML設定では、モデルを実際に使用するためのWebアセットを構築する場合、このプロセスはユーザー入力（例えばボタンの押下）を収集し、変数を設定してモデルに推論または評価のために送信することを含むかもしれません。 + +これらのレッスンでは、準備、構築、テスト、評価、予測のステップを使用して、データサイエンティストとしてのジェスチャーを学び、より「フルスタック」なMLエンジニアになるための旅を進めていきます。 + +--- + +## 🚀チャレンジ + +ML実践者のステップを反映したフローチャートを描いてください。現在のプロセスのどこにいると感じますか？どこで困難を感じると予測しますか？何が簡単に感じますか？ + +## [講義後のクイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/8/) + +## 復習と自主学習 + +データサイエンティストが日常の仕事について話しているインタビューをオンラインで検索してください。ここに[一例](https://www.youtube.com/watch?v=Z3IjgbbCEfs)があります。 + +## 課題 + +[データサイエンティストにインタビューする](assignment.md) + +**免責事項**: +この文書は機械ベースのAI翻訳サービスを使用して翻訳されています。正確性を期すため努力しておりますが、自動翻訳には誤りや不正確さが含まれる可能性があることをご理解ください。原文はその言語での正式な文書と見なされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤訳について、当方は一切の責任を負いません。 \ No newline at end of file diff --git a/translations/ja/1-Introduction/4-techniques-of-ML/assignment.md b/translations/ja/1-Introduction/4-techniques-of-ML/assignment.md new file mode 100644 index 000000000..a73026dd4 --- /dev/null +++ b/translations/ja/1-Introduction/4-techniques-of-ML/assignment.md @@ -0,0 +1,14 @@ +# データサイエンティストにインタビューする + +## 指示 + +あなたの会社、ユーザーグループ、友人や同級生の中で、データサイエンティストとして専門的に働いている人に話を聞いてください。彼らの日常業務について500文字の短いレポートを書いてください。彼らはスペシャリストですか、それとも「フルスタック」で働いていますか？ + +## ルーブリック + +| 基準 | 模範的 | 十分 | 改善が必要 | +| -------- | ------------------------------------------------------------------------------------ | ------------------------------------------------------------------ | --------------------- | +| | 正しい長さのエッセイで、出典が明示されており、.docファイルとして提出されている | エッセイの出典が不十分、または必要な長さに満たない | エッセイが提出されていない | + +**免責事項**: +この文書は機械ベースのAI翻訳サービスを使用して翻訳されています。正確さを期しておりますが、自動翻訳には誤りや不正確さが含まれる可能性があることをご了承ください。元の言語での原文が権威ある情報源と見なされるべきです。重要な情報については、専門の人間による翻訳を推奨します。この翻訳の使用に起因する誤解や誤訳について、当社は責任を負いません。 \ No newline at end of file diff --git a/translations/ja/1-Introduction/README.md b/translations/ja/1-Introduction/README.md new file mode 100644 index 000000000..02d7e7f61 --- /dev/null +++ b/translations/ja/1-Introduction/README.md @@ -0,0 +1,25 @@ +# 機械学習の紹介 + +このカリキュラムのセクションでは、機械学習の分野における基本概念、機械学習とは何か、その歴史や研究者が使用する技術について学びます。一緒にこの新しいMLの世界を探求しましょう！ + + +> 写真提供 Bill Oxford on Unsplash + +### レッスン + +1. [機械学習の紹介](1-intro-to-ML/README.md) +1. [機械学習とAIの歴史](2-history-of-ML/README.md) +1. [公平性と機械学習](3-fairness/README.md) +1. [機械学習の技術](4-techniques-of-ML/README.md) +### クレジット + +"Introduction to Machine Learning" は [Muhammad Sakib Khan Inan](https://twitter.com/Sakibinan), [Ornella Altunyan](https://twitter.com/ornelladotcom) および [Jen Looper](https://twitter.com/jenlooper) を含むチームによって♥️を込めて書かれました。 + +"The History of Machine Learning" は [Jen Looper](https://twitter.com/jenlooper) および [Amy Boyd](https://twitter.com/AmyKateNicho) によって♥️を込めて書かれました。 + +"Fairness and Machine Learning" は [Tomomi Imura](https://twitter.com/girliemac) によって♥️を込めて書かれました。 + +"Techniques of Machine Learning" は [Jen Looper](https://twitter.com/jenlooper) および [Chris Noring](https://twitter.com/softchris) によって♥️を込めて書かれました。 + +**免責事項**: +この文書は機械ベースのAI翻訳サービスを使用して翻訳されています。正確さを期していますが、自動翻訳には誤りや不正確さが含まれる場合がありますのでご注意ください。原文がある場合は、その原文を正式な情報源とみなしてください。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤訳については、一切の責任を負いかねます。 \ No newline at end of file diff --git a/translations/ja/2-Regression/1-Tools/README.md b/translations/ja/2-Regression/1-Tools/README.md new file mode 100644 index 000000000..ab0e494e0 --- /dev/null +++ b/translations/ja/2-Regression/1-Tools/README.md @@ -0,0 +1,228 @@ +# PythonとScikit-learnで回帰モデルを始めよう + + + +> スケッチノート by [Tomomi Imura](https://www.twitter.com/girlie_mac) + +## [プレレクチャークイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/9/) + +> ### [このレッスンはRでも利用可能です！](../../../../2-Regression/1-Tools/solution/R/lesson_1.html) + +## はじめに + +これらの4つのレッスンで、回帰モデルの構築方法を学びます。これが何のためにあるのかについては、すぐに説明します。しかし、何かを始める前に、プロセスを開始するための適切なツールが揃っていることを確認してください！ + +このレッスンでは、以下のことを学びます： + +- ローカル機械学習タスクのためにコンピュータを設定する方法 +- Jupyterノートブックの使用方法 +- Scikit-learnのインストールと使用方法 +- ハンズオンエクササイズで線形回帰を探求する方法 + +## インストールと設定 + +[](https://youtu.be/-DfeD2k2Kj0 "ML for beginners -Setup your tools ready to build Machine Learning models") + +> 🎥 上の画像をクリックして、コンピュータをML用に設定する短いビデオをご覧ください。 + +1. **Pythonをインストールする**。コンピュータに[Python](https://www.python.org/downloads/)がインストールされていることを確認してください。Pythonは多くのデータサイエンスや機械学習タスクで使用されます。ほとんどのコンピュータシステムには既にPythonがインストールされています。一部のユーザーにとってセットアップを簡単にするための便利な[Python Coding Packs](https://code.visualstudio.com/learn/educators/installers?WT.mc_id=academic-77952-leestott)もあります。 + + ただし、Pythonの使用法によっては、特定のバージョンが必要な場合があります。そのため、[仮想環境](https://docs.python.org/3/library/venv.html)で作業することが便利です。 + +2. **Visual Studio Codeをインストールする**。コンピュータにVisual Studio Codeがインストールされていることを確認してください。基本的なインストール手順については、[Visual Studio Codeのインストール](https://code.visualstudio.com/)に従ってください。このコースではVisual Studio CodeでPythonを使用するので、[Visual Studio CodeのPython開発用の設定](https://docs.microsoft.com/learn/modules/python-install-vscode?WT.mc_id=academic-77952-leestott)についても確認しておくと良いでしょう。 + + > このコレクションの[Learnモジュール](https://docs.microsoft.com/users/jenlooper-2911/collections/mp1pagggd5qrq7?WT.mc_id=academic-77952-leestott)を通してPythonに慣れてください。 + > + > [](https://youtu.be/yyQM70vi7V8 "Setup Python with Visual Studio Code") + > + > 🎥 上の画像をクリックして、VS Code内でPythonを使用するビデオをご覧ください。 + +3. **Scikit-learnをインストールする**。詳細は[こちらの手順](https://scikit-learn.org/stable/install.html)に従ってください。Python 3を使用する必要があるため、仮想環境を使用することをお勧めします。M1 Macにこのライブラリをインストールする場合は、上記のページに特別な指示があります。 + +4. **Jupyter Notebookをインストールする**。 [Jupyterパッケージ](https://pypi.org/project/jupyter/)をインストールする必要があります。 + +## あなたのML著作環境 + +**ノートブック**を使用してPythonコードを開発し、機械学習モデルを作成します。このタイプのファイルはデータサイエンティストにとって一般的なツールであり、拡張子`.ipynb`で識別できます。 + +ノートブックは、開発者がコードを書くだけでなく、コードに関するメモやドキュメントを追加することができるインタラクティブな環境であり、実験的または研究指向のプロジェクトに非常に役立ちます。 + +[](https://youtu.be/7E-jC8FLA2E "ML for beginners - Set up Jupyter Notebooks to start building regression models") + +> 🎥 上の画像をクリックして、このエクササイズを進める短いビデオをご覧ください。 + +### エクササイズ - ノートブックを使う + +このフォルダには、_notebook.ipynb_というファイルがあります。 + +1. _notebook.ipynb_をVisual Studio Codeで開きます。 + + JupyterサーバーがPython 3+で起動します。ノートブックの中には`run`、コードの部分があります。再生ボタンのようなアイコンを選択してコードブロックを実行できます。 + +1. `md`アイコンを選択し、マークダウンを少し追加し、次のテキストを追加します **# Welcome to your notebook**。 + + 次に、Pythonコードを追加します。 + +1. コードブロックに**print('hello notebook')**と入力します。 +1. 矢印を選択してコードを実行します。 + + 以下の出力が表示されるはずです： + + ```output + hello notebook + ``` + + + +コードとコメントを交互に記述してノートブックを自己文書化できます。 + +✅ ウェブ開発者の作業環境とデータサイエンティストの作業環境の違いについて少し考えてみてください。 + +## Scikit-learnのセットアップ + +Pythonがローカル環境に設定され、Jupyterノートブックに慣れたところで、次はScikit-learnに慣れていきましょう（発音は `sci` as in `science`）。Scikit-learnはMLタスクを実行するための[広範なAPI](https://scikit-learn.org/stable/modules/classes.html#api-ref)を提供しています。 + +彼らの[ウェブサイト](https://scikit-learn.org/stable/getting_started.html)によると、「Scikit-learnは、教師あり学習と教師なし学習をサポートするオープンソースの機械学習ライブラリです。また、モデルフィッティング、データ前処理、モデル選択と評価、その他多くのユーティリティのためのさまざまなツールを提供します。」 + +このコースでは、Scikit-learnやその他のツールを使用して、いわゆる「伝統的な機械学習」タスクを実行するための機械学習モデルを構築します。ニューラルネットワークやディープラーニングは含まれていませんが、それらについては今後の「AI for Beginners」カリキュラムで詳しく取り上げます。 + +Scikit-learnはモデルの構築と評価を簡単に行えるようにします。主に数値データの使用に焦点を当てており、学習ツールとして使用できるいくつかの既成のデータセットも含まれています。また、学生が試すための事前構築されたモデルも含まれています。パッケージ化されたデータを読み込み、基本的なデータを使用してScikit-learnで最初のMLモデルを構築するプロセスを探りましょう。 + +## エクササイズ - 初めてのScikit-learnノートブック + +> このチュートリアルは、Scikit-learnのウェブサイトにある[線形回帰の例](https://scikit-learn.org/stable/auto_examples/linear_model/plot_ols.html#sphx-glr-auto-examples-linear-model-plot-ols-py)に触発されました。 + +[](https://youtu.be/2xkXL5EUpS0 "ML for beginners - Your First Linear Regression Project in Python") + +> 🎥 上の画像をクリックして、このエクササイズを進める短いビデオをご覧ください。 + +このレッスンに関連する_notebook.ipynb_ファイル内のすべてのセルをゴミ箱アイコンを押してクリアします。 + +このセクションでは、学習目的でScikit-learnに組み込まれている糖尿病に関する小さなデータセットを使用します。糖尿病患者の治療をテストしたいと考えているとします。機械学習モデルは、変数の組み合わせに基づいて、どの患者が治療に反応しやすいかを判断するのに役立つかもしれません。非常に基本的な回帰モデルでも、視覚化すると、理論的な臨床試験を整理するのに役立つ変数に関する情報を示すかもしれません。 + +✅ 回帰方法には多くの種類があり、どの方法を選ぶかは求める答えによって異なります。ある年齢の人の予想身長を予測したい場合は、線形回帰を使用します。なぜなら、**数値の値**を求めているからです。ある料理がビーガンかどうかを調べたい場合は、**カテゴリの割り当て**を求めているので、ロジスティック回帰を使用します。ロジスティック回帰については後で詳しく学びます。データに対してどのような質問をすることができるか、そしてどの方法が適切かについて少し考えてみてください。 + +このタスクを始めましょう。 + +### ライブラリをインポートする + +このタスクのためにいくつかのライブラリをインポートします： + +- **matplotlib**。便利な[グラフツール](https://matplotlib.org/)で、ラインプロットを作成するために使用します。 +- **numpy**。 [numpy](https://numpy.org/doc/stable/user/whatisnumpy.html)は、Pythonで数値データを扱うのに便利なライブラリです。 +- **sklearn**。これは[Scikit-learn](https://scikit-learn.org/stable/user_guide.html)ライブラリです。 + +タスクを助けるためにいくつかのライブラリをインポートします。 + +1. 次のコードを入力してインポートを追加します： + + ```python + import matplotlib.pyplot as plt + import numpy as np + from sklearn import datasets, linear_model, model_selection + ``` + + 上記では、`matplotlib`, `numpy` and you are importing `datasets`, `linear_model` and `model_selection` from `sklearn`. `model_selection` is used for splitting data into training and test sets. + +### The diabetes dataset + +The built-in [diabetes dataset](https://scikit-learn.org/stable/datasets/toy_dataset.html#diabetes-dataset) includes 442 samples of data around diabetes, with 10 feature variables, some of which include: + +- age: age in years +- bmi: body mass index +- bp: average blood pressure +- s1 tc: T-Cells (a type of white blood cells) + +✅ This dataset includes the concept of 'sex' as a feature variable important to research around diabetes. Many medical datasets include this type of binary classification. Think a bit about how categorizations such as this might exclude certain parts of a population from treatments. + +Now, load up the X and y data. + +> 🎓 Remember, this is supervised learning, and we need a named 'y' target. + +In a new code cell, load the diabetes dataset by calling `load_diabetes()`. The input `return_X_y=True` signals that `X` will be a data matrix, and `y`は回帰ターゲットになります。 + +1. データマトリックスの形状とその最初の要素を表示するためにいくつかのprintコマンドを追加します： + + ```python + X, y = datasets.load_diabetes(return_X_y=True) + print(X.shape) + print(X[0]) + ``` + + 返される応答はタプルです。タプルの最初の2つの値をそれぞれ`X` and `y`に割り当てています。 [タプルについて](https://wikipedia.org/wiki/Tuple)の詳細を学びましょう。 + + このデータは10個の要素で構成された配列の442アイテムがあることがわかります： + + ```text + (442, 10) + [ 0.03807591 0.05068012 0.06169621 0.02187235 -0.0442235 -0.03482076 + -0.04340085 -0.00259226 0.01990842 -0.01764613] + ``` + + ✅ データと回帰ターゲットの関係について少し考えてみてください。線形回帰は特徴量Xとターゲット変数yの関係を予測します。このドキュメントで糖尿病データセットの[ターゲット](https://scikit-learn.org/stable/datasets/toy_dataset.html#diabetes-dataset)を見つけることができますか？ターゲットを考えると、このデータセットは何を示しているのでしょうか？ + +2. 次に、このデータセットの一部を選択してプロットするために、データセットの3番目の列を選択します。これは`：` operator to select all rows, and then selecting the 3rd column using the index (2). You can also reshape the data to be a 2D array - as required for plotting - by using `reshape(n_rows, n_columns)`を使用して行うことができます。パラメータの1つが-1の場合、対応する次元は自動的に計算されます。 + + ```python + X = X[:, 2] + X = X.reshape((-1,1)) + ``` + + ✅ いつでもデータを印刷してその形状を確認してください。 + +3. データがプロットする準備ができたら、このデータセットの数値間に論理的な分割を見つけるために機械を使用できるかどうかを確認できます。これを行うには、データ（X）とターゲット（y）の両方をテストセットとトレーニングセットに分割する必要があります。Scikit-learnにはこれを簡単に行う方法があります。指定したポイントでテストデータを分割できます。 + + ```python + X_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=0.33) + ``` + +4. モデルをトレーニングする準備ができました！線形回帰モデルをロードし、Xとyのトレーニングセットを使用して`model.fit()`でトレーニングします： + + ```python + model = linear_model.LinearRegression() + model.fit(X_train, y_train) + ``` + + ✅ `model.fit()` is a function you'll see in many ML libraries such as TensorFlow + +5. Then, create a prediction using test data, using the function `predict()`。これはデータグループ間に線を引くために使用されます。 + + ```python + y_pred = model.predict(X_test) + ``` + +6. データをプロットに表示する時が来ました。Matplotlibはこのタスクに非常に便利なツールです。すべてのXとyテストデータの散布図を作成し、モデルのデータグループ間に最も適切な場所に線を引くために予測を使用します。 + + ```python + plt.scatter(X_test, y_test, color='black') + plt.plot(X_test, y_pred, color='blue', linewidth=3) + plt.xlabel('Scaled BMIs') + plt.ylabel('Disease Progression') + plt.title('A Graph Plot Showing Diabetes Progression Against BMI') + plt.show() + ``` + +  + + ✅ ここで何が起こっているのか少し考えてみてください。多くの小さなデータ点の間に一直線が引かれていますが、具体的に何をしているのでしょうか？この線を使用して、新しい見えないデータポイントがプロットのy軸との関係でどこにフィットするべきかを予測できることがわかりますか？このモデルの実際の使用法を言葉で表現してみてください。 + +おめでとうございます、最初の線形回帰モデルを構築し、それを使用して予測を作成し、プロットに表示しました！ + +--- +## 🚀チャレンジ + +このデータセットから別の変数をプロットしてください。ヒント：この行を編集します：`X = X[:,2]`。このデータセットのターゲットを考えると、糖尿病の進行について何を発見できるでしょうか？ +## [ポストレクチャークイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/10/) + +## レビュー＆自己学習 + +このチュートリアルでは、単回帰ではなく、単変量回帰または多重回帰を使用しました。これらの方法の違いについて少し読んでみるか、[このビデオ](https://www.coursera.org/lecture/quantifying-relationships-regression-models/linear-vs-nonlinear-categorical-variables-ai2Ef)を見てみてください。 + +回帰の概念についてさらに読み、どのような質問にこの技術で答えることができるか考えてみてください。この[チュートリアル](https://docs.microsoft.com/learn/modules/train-evaluate-regression-models?WT.mc_id=academic-77952-leestott)を受けて、理解を深めてください。 + +## 課題 + +[別のデータセット](assignment.md) + +**免責事項**: +この文書は機械翻訳AIサービスを使用して翻訳されています。正確さを期すために努力しておりますが、自動翻訳には誤りや不正確さが含まれる場合があります。原文の言語で書かれた文書を権威ある情報源とみなすべきです。重要な情報については、専門の人間による翻訳を推奨します。この翻訳の使用に起因する誤解や誤った解釈について、当社は一切の責任を負いません。 \ No newline at end of file diff --git a/translations/ja/2-Regression/1-Tools/assignment.md b/translations/ja/2-Regression/1-Tools/assignment.md new file mode 100644 index 000000000..b4b0ed8bd --- /dev/null +++ b/translations/ja/2-Regression/1-Tools/assignment.md @@ -0,0 +1,16 @@ +# Scikit-learnを使った回帰 + +## 説明 + +Scikit-learnの[Linnerudデータセット](https://scikit-learn.org/stable/modules/generated/sklearn.datasets.load_linnerud.html#sklearn.datasets.load_linnerud)を見てみましょう。このデータセットには複数の[ターゲット](https://scikit-learn.org/stable/datasets/toy_dataset.html#linnerrud-dataset)があります。'これはフィットネスクラブに通う20人の中年男性から収集された、3つの運動（データ）と3つの生理学的（ターゲット）変数で構成されています。' + +あなた自身の言葉で、ウエストラインと達成された腹筋運動の回数の関係をプロットする回帰モデルの作成方法を説明してください。このデータセットの他のデータポイントについても同様に行ってください。 + +## ルーブリック + +| 基準 | 優秀 | 適切 | 改善の余地あり | +| ------------------------------ | ----------------------------------- | ----------------------------- | -------------------------- | +| 説明文の提出 | よく書かれた説明文が提出されている | 数文の説明文が提出されている | 説明文が提出されていない | + +**免責事項**: +この文書は機械ベースのAI翻訳サービスを使用して翻訳されています。正確性を期していますが、自動翻訳には誤りや不正確さが含まれる可能性があることをご承知おきください。元の言語で書かれた原文が権威ある情報源と見なされるべきです。重要な情報については、専門の人間による翻訳を推奨します。この翻訳の使用に起因する誤解や誤訳について、当社は一切の責任を負いかねます。 \ No newline at end of file diff --git a/translations/ja/2-Regression/1-Tools/solution/Julia/README.md b/translations/ja/2-Regression/1-Tools/solution/Julia/README.md new file mode 100644 index 000000000..44b6c1888 --- /dev/null +++ b/translations/ja/2-Regression/1-Tools/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**免責事項**: +この文書は機械翻訳サービスを使用して翻訳されています。正確さを期すよう努めていますが、自動翻訳には誤りや不正確な点が含まれる場合があります。元の言語で書かれた原文が権威ある情報源とみなされるべきです。重要な情報については、専門の人間による翻訳を推奨します。本翻訳の使用に起因する誤解や誤った解釈について、当社は一切の責任を負いません。 \ No newline at end of file diff --git a/translations/ja/2-Regression/2-Data/README.md b/translations/ja/2-Regression/2-Data/README.md new file mode 100644 index 000000000..4b3123891 --- /dev/null +++ b/translations/ja/2-Regression/2-Data/README.md @@ -0,0 +1,215 @@ +# Scikit-learnで回帰モデルを構築する: データの準備と可視化 + + + +インフォグラフィック作成者: [Dasani Madipalli](https://twitter.com/dasani_decoded) + +## [講義前クイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/11/) + +> ### [このレッスンはRでも利用可能です！](../../../../2-Regression/2-Data/solution/R/lesson_2.html) + +## はじめに + +Scikit-learnを使って機械学習モデルを構築するためのツールをセットアップしたので、データに対して質問を始める準備が整いました。データを扱い、MLソリューションを適用する際には、データセットの可能性を正しく引き出すために適切な質問をすることが非常に重要です。 + +このレッスンでは以下を学びます： + +- モデル構築のためのデータの準備方法 +- Matplotlibを使ったデータの可視化方法 + +## データに対して適切な質問をする + +解決したい質問が、使用するMLアルゴリズムの種類を決定します。そして、得られる回答の質はデータの性質に大きく依存します。 + +このレッスンで提供される[データ](https://github.com/microsoft/ML-For-Beginners/blob/main/2-Regression/data/US-pumpkins.csv)を見てみましょう。この.csvファイルをVS Codeで開くことができます。ざっと見ると、空白や文字列と数値データの混在があることがすぐにわかります。また、「Package」という奇妙な列があり、データは「sacks」、「bins」などの値が混在しています。実際、このデータは少し乱雑です。 + +[](https://youtu.be/5qGjczWTrDQ "初心者向けML - データセットの分析とクリーニング方法") + +> 🎥 上の画像をクリックして、このレッスンのデータ準備を進める短いビデオを視聴してください。 + +実際、完全に使える状態のデータセットをそのまま受け取ることはあまり一般的ではありません。このレッスンでは、標準的なPythonライブラリを使用して生データセットを準備する方法を学びます。また、データを可視化するためのさまざまな手法も学びます。 + +## ケーススタディ: 'かぼちゃ市場' + +このフォルダには、ルート`data`フォルダに[US-pumpkins.csv](https://github.com/microsoft/ML-For-Beginners/blob/main/2-Regression/data/US-pumpkins.csv)という名前の.csvファイルがあります。これは、都市ごとに分類されたかぼちゃ市場に関する1757行のデータを含んでいます。これは、米国農務省が配布している[Specialty Crops Terminal Markets Standard Reports](https://www.marketnews.usda.gov/mnp/fv-report-config-step1?type=termPrice)から抽出された生データです。 + +### データの準備 + +このデータはパブリックドメインにあります。USDAのウェブサイトから都市ごとに多数の別々のファイルとしてダウンロードできます。あまりにも多くの別々のファイルを避けるために、すべての都市データを1つのスプレッドシートに連結しましたので、すでに少しデータを準備しています。次に、データを詳しく見てみましょう。 + +### かぼちゃデータ - 初期の結論 + +このデータについて何に気づきますか？すでに文字列、数値、空白、奇妙な値が混在していることがわかりました。 + +回帰手法を使用してこのデータにどのような質問ができますか？例えば、「特定の月に販売されるかぼちゃの価格を予測する」といった質問はどうでしょうか。データを再度見てみると、このタスクに必要なデータ構造を作成するためにいくつかの変更が必要です。 + +## 演習 - かぼちゃデータの分析 + +[Pandas](https://pandas.pydata.org/)（名前は`Python Data Analysis`の略です）というデータの整形に非常に役立つツールを使用して、このかぼちゃデータを分析・準備しましょう。 + +### まず、欠損している日付を確認する + +まず、欠損している日付を確認するための手順を踏む必要があります： + +1. 日付を月形式に変換します（これらは米国の日付なので、形式は`MM/DD/YYYY`です）。 +2. 新しい列に月を抽出します。 + +Visual Studio Codeで_notebook.ipynb_ファイルを開き、スプレッドシートを新しいPandasデータフレームにインポートします。 + +1. `head()`関数を使用して最初の5行を表示します。 + + ```python + import pandas as pd + pumpkins = pd.read_csv('../data/US-pumpkins.csv') + pumpkins.head() + ``` + + ✅ 最後の5行を表示するにはどの関数を使用しますか？ + +1. 現在のデータフレームに欠損データがあるかどうかを確認します： + + ```python + pumpkins.isnull().sum() + ``` + + 欠損データがありますが、現在のタスクには影響がないかもしれません。 + +1. データフレームを扱いやすくするために、以下の例のように必要な列だけを選択します。`loc` function which extracts from the original dataframe a group of rows (passed as first parameter) and columns (passed as second parameter). The expression `:`は「すべての行」を意味します。 + + ```python + columns_to_select = ['Package', 'Low Price', 'High Price', 'Date'] + pumpkins = pumpkins.loc[:, columns_to_select] + ``` + +### 次に、かぼちゃの平均価格を決定する + +特定の月におけるかぼちゃの平均価格を決定する方法を考えてみましょう。このタスクにはどの列を選びますか？ヒント：3つの列が必要です。 + +解決策：`Low Price` and `High Price`列の平均を取って新しいPrice列を作成し、Date列を月だけ表示するように変換します。幸い、上記のチェックによると、日付や価格に欠損データはありません。 + +1. 平均を計算するために、次のコードを追加します： + + ```python + price = (pumpkins['Low Price'] + pumpkins['High Price']) / 2 + + month = pd.DatetimeIndex(pumpkins['Date']).month + + ``` + + ✅ `print(month)`を使用して、必要なデータをチェックすることができます。 + +2. 変換したデータを新しいPandasデータフレームにコピーします： + + ```python + new_pumpkins = pd.DataFrame({'Month': month, 'Package': pumpkins['Package'], 'Low Price': pumpkins['Low Price'],'High Price': pumpkins['High Price'], 'Price': price}) + ``` + + データフレームを印刷すると、新しい回帰モデルを構築するためのきれいで整理されたデータセットが表示されます。 + +### しかし、まだ奇妙な点があります + +`Package` column, pumpkins are sold in many different configurations. Some are sold in '1 1/9 bushel' measures, and some in '1/2 bushel' measures, some per pumpkin, some per pound, and some in big boxes with varying widths. + +> Pumpkins seem very hard to weigh consistently + +Digging into the original data, it's interesting that anything with `Unit of Sale` equalling 'EACH' or 'PER BIN' also have the `Package` type per inch, per bin, or 'each'. Pumpkins seem to be very hard to weigh consistently, so let's filter them by selecting only pumpkins with the string 'bushel' in their `Package`列を見てください。 + +1. 最初の.csvインポートの下にフィルタを追加します： + + ```python + pumpkins = pumpkins[pumpkins['Package'].str.contains('bushel', case=True, regex=True)] + ``` + + データを印刷すると、バスケット単位でかぼちゃを含む約415行のデータのみが表示されます。 + +### しかし、もう一つやるべきことがあります + +バスケットの量が行ごとに異なることに気づきましたか？価格を標準化するために、バスケットごとの価格を表示するように計算を行います。 + +1. 新しい_pumpkinsデータフレームを作成するブロックの後に、次の行を追加します： + + ```python + new_pumpkins.loc[new_pumpkins['Package'].str.contains('1 1/9'), 'Price'] = price/(1 + 1/9) + + new_pumpkins.loc[new_pumpkins['Package'].str.contains('1/2'), 'Price'] = price/(1/2) + ``` + +✅ [The Spruce Eats](https://www.thespruceeats.com/how-much-is-a-bushel-1389308)によると、バスケットの重量は産物の種類によって異なります。これは体積の測定だからです。「例えば、トマトのバスケットは56ポンドの重量があるとされています... 葉物や野菜は空間を多く取り、重量が少ないため、ほうれん草のバスケットは20ポンドしかありません。」これは非常に複雑です！バスケットからポンドへの変換は行わず、バスケットごとの価格を表示することにしましょう。このかぼちゃのバスケットに関する研究は、データの性質を理解することの重要性を示しています！ + +これで、バスケットの測定に基づいて単位ごとの価格を分析できます。データをもう一度印刷すると、標準化されたことがわかります。 + +✅ 半バスケットで販売されているかぼちゃが非常に高価であることに気づきましたか？なぜかを考えてみましょう。ヒント：小さなかぼちゃは大きなかぼちゃよりもはるかに高価です。なぜなら、大きな中空のパイかぼちゃが占める未使用のスペースが多いからです。 + +## 可視化戦略 + +データサイエンティストの役割の一つは、彼らが扱っているデータの質と性質を示すことです。そのために、しばしば興味深い可視化、プロット、グラフ、チャートを作成し、データのさまざまな側面を示します。このようにして、視覚的に関係やギャップを示すことができ、それを発見するのが難しいことがあります。 + +[](https://youtu.be/SbUkxH6IJo0 "初心者向けML - Matplotlibを使ったデータの可視化方法") + +> 🎥 上の画像をクリックして、このレッスンのデータ可視化を進める短いビデオを視聴してください。 + +可視化は、データに最も適した機械学習手法を決定するのにも役立ちます。例えば、線に沿っているように見える散布図は、データが線形回帰演習に適していることを示します。 + +Jupyterノートブックでよく機能するデータ可視化ライブラリの一つに[Matplotlib](https://matplotlib.org/)があります（前のレッスンでも見ました）。 + +> データ可視化の経験をさらに積むために、[これらのチュートリアル](https://docs.microsoft.com/learn/modules/explore-analyze-data-with-python?WT.mc_id=academic-77952-leestott)を参照してください。 + +## 演習 - Matplotlibを試してみる + +作成した新しいデータフレームを表示するために、いくつかの基本的なプロットを作成してみましょう。基本的な折れ線グラフはどのように見えるでしょうか？ + +1. ファイルの上部に、Pandasのインポートの下にMatplotlibをインポートします： + + ```python + import matplotlib.pyplot as plt + ``` + +1. ノートブック全体を再実行してリフレッシュします。 +1. ノートブックの下部に、データをボックスプロットとしてプロットするセルを追加します： + + ```python + price = new_pumpkins.Price + month = new_pumpkins.Month + plt.scatter(price, month) + plt.show() + ``` + +  + + このプロットは役に立ちますか？何か驚くことがありますか？ + + 特に役に立ちません。データを月ごとの点の広がりとして表示するだけです。 + +### 役に立つものにする + +有用なデータを表示するためには、通常データを何らかの方法でグループ化する必要があります。y軸に月を表示し、データが分布を示すプロットを作成してみましょう。 + +1. グループ化された棒グラフを作成するセルを追加します： + + ```python + new_pumpkins.groupby(['Month'])['Price'].mean().plot(kind='bar') + plt.ylabel("Pumpkin Price") + ``` + +  + + これはより有用なデータ可視化です！9月と10月にかぼちゃの最高価格が発生しているようです。それはあなたの期待に合っていますか？なぜそう思いますか？ + +--- + +## 🚀チャレンジ + +Matplotlibが提供するさまざまな種類の可視化を探ってみましょう。回帰問題に最も適した種類はどれですか？ + +## [講義後クイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/12/) + +## レビューと自己学習 + +データを可視化するさまざまな方法を見てみましょう。利用可能なさまざまなライブラリのリストを作成し、特定のタスクに最適なものをメモしてください。例えば、2D可視化と3D可視化の違いについて調べてみてください。何がわかりましたか？ + +## 課題 + +[可視化の探索](assignment.md) + +**免責事項**: +この文書は機械ベースのAI翻訳サービスを使用して翻訳されています。正確さを期しておりますが、自動翻訳には誤りや不正確さが含まれる場合があります。原文の母国語の文書を権威ある情報源と見なしてください。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤った解釈については、一切の責任を負いかねます。 \ No newline at end of file diff --git a/translations/ja/2-Regression/2-Data/assignment.md b/translations/ja/2-Regression/2-Data/assignment.md new file mode 100644 index 000000000..f16b7e2a1 --- /dev/null +++ b/translations/ja/2-Regression/2-Data/assignment.md @@ -0,0 +1,12 @@ +# ビジュアライゼーションの探求 + +データビジュアライゼーションにはいくつかの異なるライブラリが利用可能です。このレッスンで使用するカボチャのデータを使って、matplotlibとseabornを使用してサンプルノートブックでいくつかのビジュアライゼーションを作成します。どのライブラリが使いやすいですか？ + +## ルーブリック + +| 基準 | 優秀 | 適切 | 改善の余地あり | +| -------- | --------- | -------- | ----------------- | +| | 2つの探求/ビジュアライゼーションを含むノートブックが提出される | 1つの探求/ビジュアライゼーションを含むノートブックが提出される | ノートブックが提出されない | + +**免責事項**： +この文書は機械ベースのAI翻訳サービスを使用して翻訳されています。正確さを期していますが、自動翻訳には誤りや不正確さが含まれる可能性があることをご承知おきください。原文の言語による文書が信頼できる情報源と見なされるべきです。重要な情報については、専門の人間による翻訳を推奨します。この翻訳の使用によって生じる誤解や誤解釈について、当社は一切の責任を負いません。 \ No newline at end of file diff --git a/translations/ja/2-Regression/2-Data/solution/Julia/README.md b/translations/ja/2-Regression/2-Data/solution/Julia/README.md new file mode 100644 index 000000000..88ea5dacf --- /dev/null +++ b/translations/ja/2-Regression/2-Data/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**免責事項**: +この文書は機械ベースのAI翻訳サービスを使用して翻訳されています。正確さを期すために努めていますが、自動翻訳にはエラーや不正確さが含まれる場合があります。元の言語での原文が権威ある情報源と見なされるべきです。重要な情報については、専門の人間による翻訳を推奨します。この翻訳の使用から生じる誤解や誤認については責任を負いかねます。 \ No newline at end of file diff --git a/translations/ja/2-Regression/3-Linear/README.md b/translations/ja/2-Regression/3-Linear/README.md new file mode 100644 index 000000000..4a56fb755 --- /dev/null +++ b/translations/ja/2-Regression/3-Linear/README.md @@ -0,0 +1,355 @@ +# Scikit-learnを使用して回帰モデルを構築する: 回帰の4つの方法 + + +> インフォグラフィック作成者 [Dasani Madipalli](https://twitter.com/dasani_decoded) +## [講義前クイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/13/) + +> ### [このレッスンはRでも利用可能です！](../../../../2-Regression/3-Linear/solution/R/lesson_3.html) +### はじめに + +これまでに、かぼちゃの価格データセットから収集したサンプルデータを使用して、回帰が何であるかを調査しました。また、Matplotlibを使用してそれを視覚化しました。 + +今度は、MLの回帰についてさらに深く掘り下げる準備ができました。視覚化はデータを理解するのに役立ちますが、機械学習の本当の力はモデルのトレーニングにあります。モデルは過去のデータに基づいてデータの依存関係を自動的にキャプチャし、モデルが以前に見たことのない新しいデータの結果を予測できるようにします。 + +このレッスンでは、基本的な線形回帰と多項式回帰の2種類の回帰について学びます。これらのモデルを使用して、異なる入力データに基づいてかぼちゃの価格を予測できるようになります。 + +[](https://youtu.be/CRxFT8oTDMg "初心者向けML - 線形回帰の理解") + +> 🎥 上の画像をクリックすると、線形回帰の概要を短いビデオで確認できます。 + +> このカリキュラム全体を通じて、数学の知識が最小限であることを前提としており、他の分野から来る学生にも理解しやすいように、ノート、🧮 コールアウト、図表、その他の学習ツールを活用しています。 + +### 前提条件 + +これまでに、調査しているかぼちゃデータの構造に慣れているはずです。このレッスンの_notebook.ipynb_ファイルに、あらかじめ読み込まれ、前処理された状態でデータが含まれています。ファイルには、かぼちゃの価格が新しいデータフレームでブッシェルごとに表示されています。これらのノートブックをVisual Studio Codeのカーネルで実行できるようにしてください。 + +### 準備 + +データを読み込む目的を思い出してください。 + +- かぼちゃを買うのに最適な時期はいつですか？ +- ミニチュアかぼちゃ1ケースの価格はどのくらいですか？ +- それらを半ブッシェルバスケットで買うべきですか、それとも1 1/9ブッシェルボックスで買うべきですか？ +このデータをさらに掘り下げてみましょう。 + +前のレッスンでは、Pandasデータフレームを作成し、元のデータセットの一部を取り込み、ブッシェル単位で価格を標準化しました。しかし、その結果、約400のデータポイントしか収集できず、秋の数か月分のデータしかありませんでした。 + +このレッスンのノートブックに事前に読み込まれたデータを見てみましょう。データは事前に読み込まれ、月ごとのデータを示す初期の散布図が描かれています。データをさらにクリーンアップすることで、データの性質についてもう少し詳細を得ることができるかもしれません。 + +## 線形回帰のライン + +レッスン1で学んだように、線形回帰の目的は次のことができるようにラインをプロットすることです： + +- **変数の関係を示す**。変数間の関係を示す +- **予測を行う**。新しいデータポイントがそのラインに対してどこに位置するかを正確に予測する + +このタイプのラインを描くのは、通常、**最小二乗法回帰**です。「最小二乗」とは、回帰線の周りのすべてのデータポイントを二乗してから合計することを意味します。理想的には、その最終的な合計ができるだけ小さいことが望まれます。なぜなら、エラーの数を少なくしたいからです。 + +すべてのデータポイントからの累積距離が最小になるようにラインをモデル化したいからです。また、方向よりも大きさを重視するため、項を加算する前に二乗します。 + +> **🧮 数学を見せて** +> +> このライン、最適フィットラインは[方程式](https://en.wikipedia.org/wiki/Simple_linear_regression)で表すことができます： +> +> ``` +> Y = a + bX +> ``` +> +> `X` is the 'explanatory variable'. `Y` is the 'dependent variable'. The slope of the line is `b` and `a` is the y-intercept, which refers to the value of `Y` when `X = 0`. +> +> +> +> First, calculate the slope `b`. Infographic by [Jen Looper](https://twitter.com/jenlooper) +> +> In other words, and referring to our pumpkin data's original question: "predict the price of a pumpkin per bushel by month", `X` would refer to the price and `Y` would refer to the month of sale. +> +> +> +> Calculate the value of Y. If you're paying around $4, it must be April! Infographic by [Jen Looper](https://twitter.com/jenlooper) +> +> The math that calculates the line must demonstrate the slope of the line, which is also dependent on the intercept, or where `Y` is situated when `X = 0`. +> +> You can observe the method of calculation for these values on the [Math is Fun](https://www.mathsisfun.com/data/least-squares-regression.html) web site. Also visit [this Least-squares calculator](https://www.mathsisfun.com/data/least-squares-calculator.html) to watch how the numbers' values impact the line. + +## Correlation + +One more term to understand is the **Correlation Coefficient** between given X and Y variables. Using a scatterplot, you can quickly visualize this coefficient. A plot with datapoints scattered in a neat line have high correlation, but a plot with datapoints scattered everywhere between X and Y have a low correlation. + +A good linear regression model will be one that has a high (nearer to 1 than 0) Correlation Coefficient using the Least-Squares Regression method with a line of regression. + +✅ Run the notebook accompanying this lesson and look at the Month to Price scatterplot. Does the data associating Month to Price for pumpkin sales seem to have high or low correlation, according to your visual interpretation of the scatterplot? Does that change if you use more fine-grained measure instead of `Month`, eg. *day of the year* (i.e. number of days since the beginning of the year)? + +In the code below, we will assume that we have cleaned up the data, and obtained a data frame called `new_pumpkins`, similar to the following: + +ID | Month | DayOfYear | Variety | City | Package | Low Price | High Price | Price +---|-------|-----------|---------|------|---------|-----------|------------|------- +70 | 9 | 267 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 15.0 | 15.0 | 13.636364 +71 | 9 | 267 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 18.0 | 18.0 | 16.363636 +72 | 10 | 274 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 18.0 | 18.0 | 16.363636 +73 | 10 | 274 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 17.0 | 17.0 | 15.454545 +74 | 10 | 281 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 15.0 | 15.0 | 13.636364 + +> The code to clean the data is available in [`notebook.ipynb`](../../../../2-Regression/3-Linear/notebook.ipynb). We have performed the same cleaning steps as in the previous lesson, and have calculated `DayOfYear` カラムを次の式を使用して計算します： + +```python +day_of_year = pd.to_datetime(pumpkins['Date']).apply(lambda dt: (dt-datetime(dt.year,1,1)).days) +``` + +線形回帰の数学的背景を理解したので、回帰モデルを作成して、どのパッケージのかぼちゃが最も良い価格を持つかを予測してみましょう。ホリデーパンプキンパッチのためにかぼちゃを購入する人は、この情報を利用してかぼちゃパッケージの購入を最適化することができるでしょう。 + +## 相関を探す + +[](https://youtu.be/uoRq-lW2eQo "初心者向けML - 相関を探す: 線形回帰の鍵") + +> 🎥 上の画像をクリックすると、相関の概要を短いビデオで確認できます。 + +前のレッスンで、異なる月の平均価格が次のように見えることに気づいたかもしれません： + +
+
+これは、ある種の相関があることを示唆しており、`Month` and `Price`, or between `DayOfYear` and `Price`. Here is the scatter plot that shows the latter relationship:
+
+
+
+Let's see if there is a correlation using the `corr` 関数を使用して相関を計算してみることができます：
+
+```python
+print(new_pumpkins['Month'].corr(new_pumpkins['Price']))
+print(new_pumpkins['DayOfYear'].corr(new_pumpkins['Price']))
+```
+
+相関はかなり小さいようです、`Month` and -0.17 by the `DayOfMonth`, but there could be another important relationship. It looks like there are different clusters of prices corresponding to different pumpkin varieties. To confirm this hypothesis, let's plot each pumpkin category using a different color. By passing an `ax` parameter to the `scatter` プロット関数を使用してすべてのポイントを同じグラフにプロットできます：
+
+```python
+ax=None
+colors = ['red','blue','green','yellow']
+for i,var in enumerate(new_pumpkins['Variety'].unique()):
+ df = new_pumpkins[new_pumpkins['Variety']==var]
+ ax = df.plot.scatter('DayOfYear','Price',ax=ax,c=colors[i],label=var)
+```
+
+
+
+私たちの調査は、実際の販売日よりも品種が全体の価格に影響を与えることを示唆しています。これを棒グラフで確認できます：
+
+```python
+new_pumpkins.groupby('Variety')['Price'].mean().plot(kind='bar')
+```
+
+
+
+今のところ、'パイタイプ'のかぼちゃ品種にのみ焦点を当て、日付が価格に与える影響を見てみましょう：
+
+```python
+pie_pumpkins = new_pumpkins[new_pumpkins['Variety']=='PIE TYPE']
+pie_pumpkins.plot.scatter('DayOfYear','Price')
+```
+
+
+`Price` and `DayOfYear` using `corr` function, we will get something like `-0.27` の相関を計算すると、予測モデルのトレーニングが意味を持つことがわかります。
+
+> 線形回帰モデルをトレーニングする前に、データがクリーンであることを確認することが重要です。線形回帰は欠損値に対してうまく機能しないため、すべての空のセルを取り除くことが理にかなっています：
+
+```python
+pie_pumpkins.dropna(inplace=True)
+pie_pumpkins.info()
+```
+
+もう一つのアプローチは、それらの空の値を対応する列の平均値で埋めることです。
+
+## 単純な線形回帰
+
+[](https://youtu.be/e4c_UP2fSjg "初心者向けML - Scikit-learnを使用した線形および多項式回帰")
+
+> 🎥 上の画像をクリックすると、線形回帰と多項式回帰の概要を短いビデオで確認できます。
+
+線形回帰モデルをトレーニングするために、**Scikit-learn**ライブラリを使用します。
+
+```python
+from sklearn.linear_model import LinearRegression
+from sklearn.metrics import mean_squared_error
+from sklearn.model_selection import train_test_split
+```
+
+まず、入力値（特徴）と予想出力（ラベル）を別々のnumpy配列に分けます：
+
+```python
+X = pie_pumpkins['DayOfYear'].to_numpy().reshape(-1,1)
+y = pie_pumpkins['Price']
+```
+
+> 入力データに`reshape`を実行する必要があることに注意してください。線形回帰は2D配列を入力として期待し、配列の各行が入力特徴のベクトルに対応します。私たちの場合、入力が1つしかないため、形状がN×1の配列が必要です。Nはデータセットのサイズです。
+
+次に、データをトレーニングデータセットとテストデータセットに分割し、トレーニング後にモデルを検証できるようにします：
+
+```python
+X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+```
+
+最後に、実際の線形回帰モデルのトレーニングは2行のコードで行います。`LinearRegression` object, and fit it to our data using the `fit` メソッドを定義します：
+
+```python
+lin_reg = LinearRegression()
+lin_reg.fit(X_train,y_train)
+```
+
+`LinearRegression` object after `fit`-ting contains all the coefficients of the regression, which can be accessed using `.coef_` property. In our case, there is just one coefficient, which should be around `-0.017`. It means that prices seem to drop a bit with time, but not too much, around 2 cents per day. We can also access the intersection point of the regression with Y-axis using `lin_reg.intercept_` - it will be around `21` が示しているように、年の初めの価格を示しています。
+
+モデルの精度を確認するために、テストデータセットで価格を予測し、予測値と期待値の違いを測定します。これは、期待値と予測値のすべての二乗誤差の平均である平均二乗誤差（MSE）を使用して行うことができます。
+
+```python
+pred = lin_reg.predict(X_test)
+
+mse = np.sqrt(mean_squared_error(y_test,pred))
+print(f'Mean error: {mse:3.3} ({mse/np.mean(pred)*100:3.3}%)')
+```
+
+誤差は約2ポイントで、約17％です。あまり良くありません。モデルの品質のもう一つの指標は**決定係数**であり、次のように取得できます：
+
+```python
+score = lin_reg.score(X_train,y_train)
+print('Model determination: ', score)
+```
+値が0の場合、モデルは入力データを考慮せず、*最悪の線形予測器*として機能し、単に結果の平均値を示します。値が1の場合、すべての期待出力を完全に予測できることを意味します。私たちの場合、決定係数は約0.06で、かなり低いです。
+
+テストデータと回帰ラインを一緒にプロットして、回帰がどのように機能するかをよりよく見ることができます：
+
+```python
+plt.scatter(X_test,y_test)
+plt.plot(X_test,pred)
+```
+
+
+
+## 多項式回帰
+
+もう一つの線形回帰のタイプは多項式回帰です。変数間に線形関係がある場合がありますが、例えば、かぼちゃの体積が大きいほど価格が高くなる場合がありますが、これらの関係は平面や直線としてプロットできないことがあります。
+
+✅ ここに[いくつかの例](https://online.stat.psu.edu/stat501/lesson/9/9.8)があります。多項式回帰を使用できるデータの例です。
+
+日付と価格の関係をもう一度見てみましょう。この散布図は直線で分析すべきだと思いますか？価格は変動する可能性がありますか？この場合、多項式回帰を試すことができます。
+
+✅ 多項式は、1つ以上の変数と係数で構成される数学的表現です。
+
+多項式回帰は、非線形データにより適合する曲線を作成します。私たちの場合、入力データに`DayOfYear`の二乗変数を含めると、年のある時点で最小値を持つ放物線をフィットさせることができます。
+
+Scikit-learnには、データ処理の異なるステップを組み合わせるための便利な[パイプラインAPI](https://scikit-learn.org/stable/modules/generated/sklearn.pipeline.make_pipeline.html?highlight=pipeline#sklearn.pipeline.make_pipeline)が含まれています。**パイプライン**は、**推定器**のチェーンです。私たちの場合、まずモデルに多項式特徴を追加し、その後回帰をトレーニングするパイプラインを作成します：
+
+```python
+from sklearn.preprocessing import PolynomialFeatures
+from sklearn.pipeline import make_pipeline
+
+pipeline = make_pipeline(PolynomialFeatures(2), LinearRegression())
+
+pipeline.fit(X_train,y_train)
+```
+
+`PolynomialFeatures(2)` means that we will include all second-degree polynomials from the input data. In our case it will just mean `DayOfYear`2, but given two input variables X and Y, this will add X2, XY and Y2. We may also use higher degree polynomials if we want.
+
+Pipelines can be used in the same manner as the original `LinearRegression` object, i.e. we can `fit` the pipeline, and then use `predict` to get the prediction results. Here is the graph showing test data, and the approximation curve:
+
+
+
+Using Polynomial Regression, we can get slightly lower MSE and higher determination, but not significantly. We need to take into account other features!
+
+> You can see that the minimal pumpkin prices are observed somewhere around Halloween. How can you explain this?
+
+🎃 Congratulations, you just created a model that can help predict the price of pie pumpkins. You can probably repeat the same procedure for all pumpkin types, but that would be tedious. Let's learn now how to take pumpkin variety into account in our model!
+
+## Categorical Features
+
+In the ideal world, we want to be able to predict prices for different pumpkin varieties using the same model. However, the `Variety` column is somewhat different from columns like `Month`, because it contains non-numeric values. Such columns are called **categorical**.
+
+[](https://youtu.be/DYGliioIAE0 "ML for beginners - Categorical Feature Predictions with Linear Regression")
+
+> 🎥 Click the image above for a short video overview of using categorical features.
+
+Here you can see how average price depends on variety:
+
+
+
+To take variety into account, we first need to convert it to numeric form, or **encode** it. There are several way we can do it:
+
+* Simple **numeric encoding** will build a table of different varieties, and then replace the variety name by an index in that table. This is not the best idea for linear regression, because linear regression takes the actual numeric value of the index, and adds it to the result, multiplying by some coefficient. In our case, the relationship between the index number and the price is clearly non-linear, even if we make sure that indices are ordered in some specific way.
+* **One-hot encoding** will replace the `Variety` column by 4 different columns, one for each variety. Each column will contain `1` if the corresponding row is of a given variety, and `0` ということになります。つまり、線形回帰には4つの係数があり、各かぼちゃ品種ごとに1つの係数があり、その品種の「開始価格」（または「追加価格」）を表します。
+
+以下のコードは、品種をワンホットエンコードする方法を示しています：
+
+```python
+pd.get_dummies(new_pumpkins['Variety'])
+```
+
+ ID | FAIRYTALE | MINIATURE | MIXED HEIRLOOM VARIETIES | PIE TYPE
+----|-----------|-----------|--------------------------|----------
+70 | 0 | 0 | 0 | 1
+71 | 0 | 0 | 0 | 1
+... | ... | ... | ... | ...
+1738 | 0 | 1 | 0 | 0
+1739 | 0 | 1 | 0 | 0
+1740 | 0 | 1 | 0 | 0
+1741 | 0 | 1 | 0 | 0
+1742 | 0 | 1 | 0 | 0
+
+ワンホットエンコードされた品種を使用して線形回帰をトレーニングするには、`X` and `y`データを正しく初期化するだけです：
+
+```python
+X = pd.get_dummies(new_pumpkins['Variety'])
+y = new_pumpkins['Price']
+```
+
+他のコードは、上記で使用した線形回帰をトレーニングするためのコードと同じです。試してみると、平均二乗誤差はほぼ同じですが、決定係数が大幅に高くなります（約77％）。さらに正確な予測を行うために、より多くのカテゴリカル特徴や数値的特徴（例えば`Month` or `DayOfYear`. To get one large array of features, we can use `join`）を考慮することができます：
+
+```python
+X = pd.get_dummies(new_pumpkins['Variety']) \
+ .join(new_pumpkins['Month']) \
+ .join(pd.get_dummies(new_pumpkins['City'])) \
+ .join(pd.get_dummies(new_pumpkins['Package']))
+y = new_pumpkins['Price']
+```
+
+ここでは、`City` and `Package`タイプも考慮しており、MSEは2.84（10％）、決定係数は0.94です！
+
+## すべてをまとめる
+
+最良のモデルを作成するために、上記の例からの結合データ（ワンホットエンコードされたカテゴリカルデータ＋数値データ）と多項式回帰を使用します。ここに完全なコードがあります：
+
+```python
+# set up training data
+X = pd.get_dummies(new_pumpkins['Variety']) \
+ .join(new_pumpkins['Month']) \
+ .join(pd.get_dummies(new_pumpkins['City'])) \
+ .join(pd.get_dummies(new_pumpkins['Package']))
+y = new_pumpkins['Price']
+
+# make train-test split
+X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+
+# setup and train the pipeline
+pipeline = make_pipeline(PolynomialFeatures(2), LinearRegression())
+pipeline.fit(X_train,y_train)
+
+# predict results for test data
+pred = pipeline.predict(X_test)
+
+# calculate MSE and determination
+mse = np.sqrt(mean_squared_error(y_test,pred))
+print(f'Mean error: {mse:3.3} ({mse/np.mean(pred)*100:3.3}%)')
+
+score = pipeline.score(X_train,y_train)
+print('Model determination: ', score)
+```
+
+これにより、決定係数がほぼ97％、MSE=2.23（約8％の予測誤差）となります。
+
+| モデル | MSE | 決定係数 |
+|-------|-----|---------------|
+| `DayOfYear` Linear | 2.77 (17.2%) | 0.07 |
+| `DayOfYear` Polynomial | 2.73 (17.0%) | 0.08 |
+| `Variety` 線形 | 5.24 (19.7%) | 0.77 |
+| すべての特徴 線形 | 2.84 (10.5%) | 0.94 |
+| すべての特徴 多項式 | 2.23 (8.25%) | 0.97 |
+
+🏆 よくできました！1つのレッスンで4つの回帰モデルを作成し、モデルの品質を97％に向上させました。回帰の最終セクションでは、ロジスティック回帰について学び、カテゴリを
+
+**免責事項**:
+この文書は機械翻訳サービスを使用して翻訳されています。正確さを期すよう努めていますが、自動翻訳には誤りや不正確さが含まれる場合があります。原文の言語による文書が権威ある情報源と見なされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤認について、当社は一切の責任を負いません。
\ No newline at end of file
diff --git a/translations/ja/2-Regression/3-Linear/assignment.md b/translations/ja/2-Regression/3-Linear/assignment.md
new file mode 100644
index 000000000..fff2e1173
--- /dev/null
+++ b/translations/ja/2-Regression/3-Linear/assignment.md
@@ -0,0 +1,14 @@
+# 回帰モデルの作成
+
+## 手順
+
+このレッスンでは、線形回帰と多項式回帰の両方を使用してモデルを構築する方法が示されました。この知識を活用して、データセットを見つけるか、Scikit-learn の組み込みセットのいずれかを使用して新しいモデルを構築してください。ノートブックで、なぜその手法を選んだのかを説明し、モデルの精度を実証してください。もし精度が低い場合は、その理由を説明してください。
+
+## ルーブリック
+
+| 基準 | 模範的な | 適切な | 改善が必要な |
+| --------- | ------------------------------------------------------------ | -------------------------- | ------------------------------ |
+| | 完全にドキュメント化された解決策を含む完全なノートブックを提示する | 解決策が不完全である | 解決策に欠陥やバグがある |
+
+**免責事項**:
+この文書は、機械翻訳サービスを使用して翻訳されています。正確さを期していますが、自動翻訳には誤りや不正確さが含まれる可能性があります。元の言語で書かれた原文を公式な情報源と見なしてください。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤解については、一切の責任を負いかねます。
\ No newline at end of file
diff --git a/translations/ja/2-Regression/3-Linear/solution/Julia/README.md b/translations/ja/2-Regression/3-Linear/solution/Julia/README.md
new file mode 100644
index 000000000..08c7f1db5
--- /dev/null
+++ b/translations/ja/2-Regression/3-Linear/solution/Julia/README.md
@@ -0,0 +1,4 @@
+
+
+**免責事項**:
+この文書は機械翻訳サービスを使用して翻訳されています。正確さを期していますが、自動翻訳には誤りや不正確さが含まれる可能性があることをご了承ください。原文が権威ある情報源と見なされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用により生じた誤解や誤った解釈について、当方は責任を負いません。
\ No newline at end of file
diff --git a/translations/ja/2-Regression/4-Logistic/README.md b/translations/ja/2-Regression/4-Logistic/README.md
new file mode 100644
index 000000000..eeebca6ea
--- /dev/null
+++ b/translations/ja/2-Regression/4-Logistic/README.md
@@ -0,0 +1,328 @@
+# カテゴリー予測のためのロジスティック回帰
+
+
+
+## [講義前クイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/15/)
+
+> ### [このレッスンはRでも利用可能です！](../../../../2-Regression/4-Logistic/solution/R/lesson_4.html)
+
+## はじめに
+
+この回帰に関する最終レッスンでは、基本的な _クラシック_ な機械学習技術の一つであるロジスティック回帰について見ていきます。この技術を使用して、二値のカテゴリーを予測するパターンを発見することができます。このキャンディーはチョコレートかどうか？この病気は伝染するかどうか？この顧客はこの製品を選ぶかどうか？
+
+このレッスンで学ぶこと：
+
+- データビジュアライゼーションのための新しいライブラリ
+- ロジスティック回帰の技術
+
+✅ このタイプの回帰を扱う理解を深めるために、この [Learnモジュール](https://docs.microsoft.com/learn/modules/train-evaluate-classification-models?WT.mc_id=academic-77952-leestott) を参照してください。
+
+## 前提条件
+
+パンプキンデータを扱ってきたので、二値のカテゴリーが一つあることに気づくことができました：`Color`。
+
+いくつかの変数を与えられた場合に、_特定のカボチャの色がオレンジ 🎃 か白 👻 かを予測する_ ロジスティック回帰モデルを構築しましょう。
+
+> なぜ回帰に関するレッスンで二値分類について話しているのか？それは言語的な便宜のためであり、ロジスティック回帰は [実際には分類方法](https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression) ですが、線形に基づいているためです。次のレッスングループでは、データを分類する他の方法について学びます。
+
+## 質問を定義する
+
+私たちの目的のために、これを「白」または「白ではない」として表現します。データセットには「ストライプ」カテゴリもありますが、インスタンスが少ないため使用しません。データセットからnull値を削除すると、いずれにせよ消えます。
+
+> 🎃 面白い事実：白いカボチャを「ゴーストカボチャ」と呼ぶことがあります。彫るのが難しいので、オレンジのカボチャほど人気はありませんが、見た目はクールです！したがって、質問を「ゴースト」または「ゴーストではない」と再定義することもできます。👻
+
+## ロジスティック回帰について
+
+ロジスティック回帰は、以前に学んだ線形回帰とはいくつかの重要な点で異なります。
+
+[](https://youtu.be/KpeCT6nEpBY "ML初心者向け - 機械学習分類のためのロジスティック回帰の理解")
+
+> 🎥 上の画像をクリックして、ロジスティック回帰の概要を短いビデオで確認してください。
+
+### 二値分類
+
+ロジスティック回帰は、線形回帰と同じ機能を提供しません。前者は二値のカテゴリー（「白か白ではない」）についての予測を提供しますが、後者は連続的な値を予測することができます。たとえば、カボチャの産地と収穫時期を考慮して、_その価格がどの程度上昇するか_ を予測できます。
+
+
+> インフォグラフィック by [Dasani Madipalli](https://twitter.com/dasani_decoded)
+
+### 他の分類
+
+ロジスティック回帰には、他にも多項式や順序などの種類があります：
+
+- **多項式**：複数のカテゴリを持つもの - 「オレンジ、白、ストライプ」。
+- **順序**：順序付けられたカテゴリを持つもの。たとえば、カボチャのサイズ（ミニ、小、中、大、XL、XXL）で順序付ける場合など。
+
+
+
+### 変数が相関している必要はない
+
+線形回帰がより相関のある変数でうまく機能することを覚えていますか？ロジスティック回帰はその逆で、変数が一致する必要はありません。このデータには、やや弱い相関がありますが、それでも機能します。
+
+### たくさんのクリーンなデータが必要
+
+ロジスティック回帰は、データが多いほど正確な結果をもたらします。私たちの小さなデータセットはこのタスクには最適ではないので、それを念頭に置いてください。
+
+[](https://youtu.be/B2X4H9vcXTs "ML初心者向け - ロジスティック回帰のためのデータ分析と準備")
+
+> 🎥 上の画像をクリックして、線形回帰のためのデータ準備の概要を短いビデオで確認してください。
+
+✅ ロジスティック回帰に適したデータの種類について考えてみてください。
+
+## 演習 - データの整頓
+
+まず、データを少しクリーンにし、null値を削除し、いくつかの列のみを選択します：
+
+1. 以下のコードを追加します：
+
+ ```python
+
+ columns_to_select = ['City Name','Package','Variety', 'Origin','Item Size', 'Color']
+ pumpkins = full_pumpkins.loc[:, columns_to_select]
+
+ pumpkins.dropna(inplace=True)
+ ```
+
+ 新しいデータフレームを覗いてみることもできます：
+
+ ```python
+ pumpkins.info
+ ```
+
+### ビジュアライゼーション - カテゴリカルプロット
+
+これまでに、パンプキンデータを再度読み込み、いくつかの変数を含むデータセットを保持するようにクリーニングした [スターターノートブック](../../../../2-Regression/4-Logistic/notebook.ipynb) をロードしました。ノートブックでデータフレームを新しいライブラリを使ってビジュアライズしましょう：[Seaborn](https://seaborn.pydata.org/index.html) は、以前使用したMatplotlibの上に構築されています。
+
+Seabornはデータをビジュアライズするための便利な方法を提供します。たとえば、`Variety`と`Color`のデータの分布をカテゴリカルプロットで比較することができます。
+
+1. `catplot` function, using our pumpkin data `pumpkins` を使用して、各カボチャカテゴリ（オレンジまたは白）の色マッピングを指定して、プロットを作成します：
+
+ ```python
+ import seaborn as sns
+
+ palette = {
+ 'ORANGE': 'orange',
+ 'WHITE': 'wheat',
+ }
+
+ sns.catplot(
+ data=pumpkins, y="Variety", hue="Color", kind="count",
+ palette=palette,
+ )
+ ```
+
+ 
+
+ データを観察することで、色データがVarietyにどのように関連しているかがわかります。
+
+ ✅ このカテゴリカルプロットを見て、どのような興味深い探索ができるか考えてみてください。
+
+### データ前処理：特徴とラベルのエンコーディング
+私たちのカボチャデータセットには、すべての列に文字列値が含まれています。カテゴリカルデータを扱うことは人間にとっては直感的ですが、機械にはそうではありません。機械学習アルゴリズムは数値でうまく機能します。そのため、エンコーディングはデータ前処理フェーズで非常に重要なステップです。これにより、カテゴリカルデータを数値データに変換することができ、情報を失うことなく行えます。良いエンコーディングは良いモデルの構築につながります。
+
+特徴エンコーディングには2つの主要なエンコーダーがあります：
+
+1. 順序エンコーダー：これは順序変数に適しています。順序変数は、データが論理的な順序に従うカテゴリカル変数です。私たちのデータセットの`Item Size`列のようなものです。各カテゴリを数値で表し、その列の順序に従ってマッピングを作成します。
+
+ ```python
+ from sklearn.preprocessing import OrdinalEncoder
+
+ item_size_categories = [['sml', 'med', 'med-lge', 'lge', 'xlge', 'jbo', 'exjbo']]
+ ordinal_features = ['Item Size']
+ ordinal_encoder = OrdinalEncoder(categories=item_size_categories)
+ ```
+
+2. カテゴリカルエンコーダー：これは名義変数に適しています。名義変数は、データが論理的な順序に従わないカテゴリカル変数です。データセットの`Item Size`以外のすべての特徴がこれに該当します。これはワンホットエンコーディングであり、各カテゴリをバイナリ列で表します。エンコードされた変数が1の場合、そのカボチャがそのVarietyに属し、0の場合はそうではありません。
+
+ ```python
+ from sklearn.preprocessing import OneHotEncoder
+
+ categorical_features = ['City Name', 'Package', 'Variety', 'Origin']
+ categorical_encoder = OneHotEncoder(sparse_output=False)
+ ```
+その後、`ColumnTransformer`を使用して、複数のエンコーダーを1つのステップに組み合わせて適切な列に適用します。
+
+```python
+ from sklearn.compose import ColumnTransformer
+
+ ct = ColumnTransformer(transformers=[
+ ('ord', ordinal_encoder, ordinal_features),
+ ('cat', categorical_encoder, categorical_features)
+ ])
+
+ ct.set_output(transform='pandas')
+ encoded_features = ct.fit_transform(pumpkins)
+```
+一方、ラベルをエンコードするために、scikit-learnの`LabelEncoder`クラスを使用します。これは、ラベルを0からn_classes-1（ここでは0と1）の間の値のみを含むように正規化するユーティリティクラスです。
+
+```python
+ from sklearn.preprocessing import LabelEncoder
+
+ label_encoder = LabelEncoder()
+ encoded_label = label_encoder.fit_transform(pumpkins['Color'])
+```
+特徴とラベルをエンコードしたら、新しいデータフレーム`encoded_pumpkins`にマージできます。
+
+```python
+ encoded_pumpkins = encoded_features.assign(Color=encoded_label)
+```
+✅ 順序エンコーダーを`Item Size` column?
+
+### Analyse relationships between variables
+
+Now that we have pre-processed our data, we can analyse the relationships between the features and the label to grasp an idea of how well the model will be able to predict the label given the features.
+The best way to perform this kind of analysis is plotting the data. We'll be using again the Seaborn `catplot` function, to visualize the relationships between `Item Size`, `Variety`および`Color`にカテゴリカルプロットで使用する利点は何ですか？データをよりよくプロットするために、エンコードされた`Item Size` column and the unencoded `Variety`列を使用します。
+
+```python
+ palette = {
+ 'ORANGE': 'orange',
+ 'WHITE': 'wheat',
+ }
+ pumpkins['Item Size'] = encoded_pumpkins['ord__Item Size']
+
+ g = sns.catplot(
+ data=pumpkins,
+ x="Item Size", y="Color", row='Variety',
+ kind="box", orient="h",
+ sharex=False, margin_titles=True,
+ height=1.8, aspect=4, palette=palette,
+ )
+ g.set(xlabel="Item Size", ylabel="").set(xlim=(0,6))
+ g.set_titles(row_template="{row_name}")
+```
+
+
+### スウォームプロットを使用する
+
+色は二値のカテゴリ（白か白ではない）であるため、ビジュアライゼーションには「[特化したアプローチ](https://seaborn.pydata.org/tutorial/categorical.html?highlight=bar)」が必要です。このカテゴリと他の変数の関係をビジュアライズする他の方法もあります。
+
+Seabornプロットを使用して変数を並べて視覚化することができます。
+
+1. 値の分布を示すために「スウォーム」プロットを試してみてください：
+
+ ```python
+ palette = {
+ 0: 'orange',
+ 1: 'wheat'
+ }
+ sns.swarmplot(x="Color", y="ord__Item Size", data=encoded_pumpkins, palette=palette)
+ ```
+
+ 
+
+**注意**：上記のコードは警告を生成する可能性があります。これはSeabornがスウォームプロットに多くのデータポイントを表示するのに失敗するためです。解決策として、マーカーのサイズを「size」パラメーターを使用して小さくすることが考えられます。ただし、これによりプロットの可読性が影響を受ける可能性があることに注意してください。
+
+> **🧮 数学を見せて**
+>
+> ロジスティック回帰は「最大尤度」の概念に依存しており、[シグモイド関数](https://wikipedia.org/wiki/Sigmoid_function)を使用します。プロット上の「シグモイド関数」は「S」字型に見えます。これは値を取り、それを0から1の間のどこかにマッピングします。この曲線は「ロジスティック曲線」とも呼ばれます。その公式は次のようになります：
+>
+> 
+>
+> ここで、シグモイドの中点はxの0点にあり、Lは曲線の最大値、kは曲線の急峻さです。関数の結果が0.5を超える場合、そのラベルは二値選択の「1」として分類されます。それ以外の場合は「0」として分類されます。
+
+## モデルを構築する
+
+Scikit-learnでこの二値分類を見つけるモデルを構築するのは驚くほど簡単です。
+
+[](https://youtu.be/MmZS2otPrQ8 "ML初心者向け - データの分類のためのロジスティック回帰")
+
+> 🎥 上の画像をクリックして、線形回帰モデルの構築についての短いビデオを確認してください。
+
+1. 分類モデルで使用する変数を選択し、`train_test_split()`を呼び出してトレーニングセットとテストセットに分割します：
+
+ ```python
+ from sklearn.model_selection import train_test_split
+
+ X = encoded_pumpkins[encoded_pumpkins.columns.difference(['Color'])]
+ y = encoded_pumpkins['Color']
+
+ X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+
+ ```
+
+2. 次に、トレーニングデータを使用してモデルをトレーニングし、結果を出力します：
+
+ ```python
+ from sklearn.metrics import f1_score, classification_report
+ from sklearn.linear_model import LogisticRegression
+
+ model = LogisticRegression()
+ model.fit(X_train, y_train)
+ predictions = model.predict(X_test)
+
+ print(classification_report(y_test, predictions))
+ print('Predicted labels: ', predictions)
+ print('F1-score: ', f1_score(y_test, predictions))
+ ```
+
+ モデルのスコアボードを見てみましょう。約1000行のデータしかないことを考えると、悪くないです：
+
+ ```output
+ precision recall f1-score support
+
+ 0 0.94 0.98 0.96 166
+ 1 0.85 0.67 0.75 33
+
+ accuracy 0.92 199
+ macro avg 0.89 0.82 0.85 199
+ weighted avg 0.92 0.92 0.92 199
+
+ Predicted labels: [0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 0
+ 0 0 0 0 0 1 0 1 0 0 1 0 0 0 0 0 1 0 1 0 1 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0
+ 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 1 0 0 0 0 0 0 0 1 0
+ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 1 1 0
+ 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1
+ 0 0 0 1 0 0 0 0 0 0 0 0 1 1]
+ F1-score: 0.7457627118644068
+ ```
+
+## 混同行列による理解の向上
+
+上記の項目を印刷してスコアボードレポートを取得することもできますが、[混同行列](https://scikit-learn.org/stable/modules/model_evaluation.html#confusion-matrix)を使用してモデルのパフォーマンスを理解する方が簡単かもしれません。
+
+> 🎓 「[混同行列](https://wikipedia.org/wiki/Confusion_matrix)」または「エラーマトリックス」は、モデルの真陽性と偽陽性、および真陰性と偽陰性を表現する表であり、予測の正確性を測定します。
+
+1. 混同行列を使用するには、`confusion_matrix()`を呼び出します：
+
+ ```python
+ from sklearn.metrics import confusion_matrix
+ confusion_matrix(y_test, predictions)
+ ```
+
+ モデルの混同行列を見てみましょう：
+
+ ```output
+ array([[162, 4],
+ [ 11, 22]])
+ ```
+
+Scikit-learnの混同行列では、行（軸0）は実際のラベルであり、列（軸1）は予測されたラベルです。
+
+| | 0 | 1 |
+| :---: | :---: | :---: |
+| 0 | TN | FP |
+| 1 | FN | TP |
+
+ここで何が起こっているのでしょうか？たとえば、モデルがカボチャを「白」と「白ではない」という二値カテゴリに分類するとしましょう。
+
+- モデルがカボチャを「白ではない」と予測し、実際に「白ではない」カテゴリに属する場合、これを真陰性（TN）と呼びます。これは左上の数字で示されます。
+- モデルがカボチャを「白」と予測し、実際に「白ではない」カテゴリに属する場合、これを偽陰性（FN）と呼びます。これは左下の数字で示されます。
+- モデルがカボチャを「白ではない」と予測し、実際に「白」カテゴリに属する場合、これを偽陽性（FP）と呼びます。これは右上の数字で示されます。
+- モデルがカボチャを「白」と予測し、実際に「白」カテゴリに属する場合、これを真陽性（TP）と呼びます。これは右下の数字で示されます。
+
+予想通り、真陽性と真陰性の数が多く、偽陽性と偽陰性の数が少ない方が、モデルのパフォーマンスが優れていることを示します。
+
+混同行列が精度と再現率にどのように関連しているかを見てみましょう。前述の分類レポートには精度（0.85）と再現率（0.67）が表示されました。
+
+精度 = tp / (tp + fp) = 22 / (22 + 4) = 0.8461538461538461
+
+再現率 = tp / (tp + fn) = 22 / (22 + 11) = 0.6666666666666666
+
+✅ Q: 混同行列によると、モデルはどうでしたか？ A: 悪くないです。真陰性の数が多いですが、偽陰性もいくつかあります。
+
+混同行列のTP/TNとFP/FNのマッピングを使用して、先ほど見た用語を再確認しましょう：
+
+🎓 精度：TP/(TP + FP)
+
+**免責事項**:
+この文書は機械ベースのAI翻訳サービスを使用して翻訳されています。正確さを期しておりますが、自動翻訳には誤りや不正確さが含まれる場合がありますのでご注意ください。原文の言語による元の文書を信頼できる情報源とみなすべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤訳について、当社は一切の責任を負いません。
\ No newline at end of file
diff --git a/translations/ja/2-Regression/4-Logistic/assignment.md b/translations/ja/2-Regression/4-Logistic/assignment.md
new file mode 100644
index 000000000..13ed9aa89
--- /dev/null
+++ b/translations/ja/2-Regression/4-Logistic/assignment.md
@@ -0,0 +1,14 @@
+# 回帰の再試行
+
+## 手順
+
+このレッスンでは、かぼちゃデータの一部を使用しました。今度は、元のデータに戻り、すべてのデータをクリーンアップして標準化し、ロジスティック回帰モデルを構築してみましょう。
+
+## 評価基準
+
+| 基準 | 優秀 | 適切 | 改善の余地あり |
+| -------- | -------------------------------------------------------------------- | ------------------------------------------------------- | -------------------------------------------------------- |
+| | よく説明され、パフォーマンスの良いモデルを持つノートブックが提出される | 最低限のパフォーマンスを持つモデルを持つノートブックが提出される | パフォーマンスの低いモデル、またはモデルがないノートブックが提出される |
+
+**免責事項**:
+この文書は機械翻訳AIサービスを使用して翻訳されています。正確さを期していますが、自動翻訳には誤りや不正確さが含まれる場合があります。元の言語で記載された原文を信頼できる情報源と見なしてください。重要な情報については、専門の人間による翻訳を推奨します。この翻訳の使用に起因する誤解や誤った解釈については責任を負いかねます。
\ No newline at end of file
diff --git a/translations/ja/2-Regression/4-Logistic/solution/Julia/README.md b/translations/ja/2-Regression/4-Logistic/solution/Julia/README.md
new file mode 100644
index 000000000..8ce1ec93f
--- /dev/null
+++ b/translations/ja/2-Regression/4-Logistic/solution/Julia/README.md
@@ -0,0 +1,4 @@
+
+
+**免責事項**：
+この文書は機械ベースのAI翻訳サービスを使用して翻訳されています。正確さを期していますが、自動翻訳にはエラーや不正確さが含まれる場合があります。元の言語で記載された原文を信頼できる情報源と見なしてください。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用によって生じたいかなる誤解や誤訳についても、当社は責任を負いません。
\ No newline at end of file
diff --git a/translations/ja/2-Regression/README.md b/translations/ja/2-Regression/README.md
new file mode 100644
index 000000000..e1a749bf3
--- /dev/null
+++ b/translations/ja/2-Regression/README.md
@@ -0,0 +1,43 @@
+# 機械学習のための回帰モデル
+## 地域トピック: 北米のカボチャ価格に対する回帰モデル 🎃
+
+北米では、ハロウィンのためにカボチャがよく怖い顔に彫られます。この魅力的な野菜についてもっと発見してみましょう！
+
+
+> 写真提供: Beth Teutschmann on Unsplash
+
+## 学ぶこと
+
+[](https://youtu.be/5QnJtDad4iQ "回帰紹介ビデオ - クリックして視聴！")
+> 🎥 上の画像をクリックして、このレッスンの簡単な紹介ビデオを視聴してください
+
+このセクションのレッスンでは、機械学習の文脈での回帰の種類について説明します。回帰モデルは、変数間の_関係_を決定するのに役立ちます。このタイプのモデルは、長さ、温度、年齢などの値を予測することができ、データポイントを分析することで変数間の関係を明らかにします。
+
+この一連のレッスンでは、線形回帰とロジスティック回帰の違いを発見し、どちらを選ぶべきかを学びます。
+
+[](https://youtu.be/XA3OaoW86R8 "初心者向け機械学習 - 回帰モデルの紹介")
+
+> 🎥 上の画像をクリックして、回帰モデルの紹介ビデオを視聴してください
+
+この一連のレッスンでは、機械学習のタスクを開始するための準備を行います。これには、データサイエンティストの共通の環境であるノートブックを管理するためのVisual Studio Codeの設定が含まれます。Scikit-learnという機械学習のライブラリを発見し、この章では回帰モデルに焦点を当てて最初のモデルを構築します。
+
+> 回帰モデルの操作について学ぶのに役立つローコードツールがあります。このタスクには [Azure ML](https://docs.microsoft.com/learn/modules/create-regression-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott) を試してみてください。
+
+### レッスン
+
+1. [ツールの紹介](1-Tools/README.md)
+2. [データの管理](2-Data/README.md)
+3. [線形および多項式回帰](3-Linear/README.md)
+4. [ロジスティック回帰](4-Logistic/README.md)
+
+---
+### クレジット
+
+「回帰を用いた機械学習」は [Jen Looper](https://twitter.com/jenlooper) によって♥️を込めて書かれました。
+
+♥️ クイズの貢献者には [Muhammad Sakib Khan Inan](https://twitter.com/Sakibinan) と [Ornella Altunyan](https://twitter.com/ornelladotcom) が含まれます。
+
+カボチャのデータセットは [このKaggleプロジェクト](https://www.kaggle.com/usda/a-year-of-pumpkin-prices) によって提案され、そのデータはアメリカ合衆国農務省が配布する [Specialty Crops Terminal Markets Standard Reports](https://www.marketnews.usda.gov/mnp/fv-report-config-step1?type=termPrice) に由来しています。品種に基づく色に関するポイントを追加して分布を正規化しました。このデータはパブリックドメインです。
+
+**免責事項**：
+この文書は機械ベースのAI翻訳サービスを使用して翻訳されています。正確さを期すよう努めていますが、自動翻訳には誤りや不正確さが含まれる場合がありますのでご注意ください。原文の言語によるオリジナル文書が権威ある情報源と見なされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤訳について、当社は一切の責任を負いません。
\ No newline at end of file
diff --git a/translations/ja/3-Web-App/1-Web-App/assignment.md b/translations/ja/3-Web-App/1-Web-App/assignment.md
new file mode 100644
index 000000000..a2355ad6f
--- /dev/null
+++ b/translations/ja/3-Web-App/1-Web-App/assignment.md
@@ -0,0 +1,14 @@
+# 別のモデルを試す
+
+## 手順
+
+既に訓練された回帰モデルを使用して1つのウェブアプリを構築したので、以前の回帰レッスンで使用したモデルの1つを使用して、このウェブアプリを再作成してください。スタイルを維持するか、かぼちゃデータを反映するように異なるデザインにすることができます。モデルの訓練方法を反映するように入力を変更することに注意してください。
+
+## ルーブリック
+
+| 基準 | 優秀 | 十分 | 改善が必要 |
+| -------------------------- | --------------------------------------------------------- | --------------------------------------------------------- | -------------------------------------- |
+| ウェブアプリの動作 | ウェブアプリが期待通りに動作し、クラウドにデプロイされている | ウェブアプリに欠陥があるか、予期しない結果を示す | ウェブアプリが正しく機能しない |
+
+**免責事項**:
+この文書は機械翻訳サービスを使用して翻訳されています。正確性を期していますが、自動翻訳には誤りや不正確さが含まれる可能性があることをご承知おきください。原文は権威ある情報源と見なされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤認について、当社は責任を負いません。
\ No newline at end of file
diff --git a/translations/ja/3-Web-App/README.md b/translations/ja/3-Web-App/README.md
new file mode 100644
index 000000000..179fcde7e
--- /dev/null
+++ b/translations/ja/3-Web-App/README.md
@@ -0,0 +1,24 @@
+# あなたのMLモデルを使用するためのWebアプリを構築する
+
+このカリキュラムのセクションでは、応用されたMLのトピックに触れます。具体的には、Scikit-learnモデルをファイルとして保存し、それをWebアプリケーション内で予測に使用する方法について学びます。モデルを保存した後、そのモデルをFlaskで構築されたWebアプリで使用する方法を学びます。まず、UFO目撃情報に関するデータを使用してモデルを作成します。そして、緯度と経度の値を入力して、UFOを目撃した国を予測するWebアプリを構築します。
+
+
+
+Photo by Michael Herren on Unsplash
+
+## レッスン
+
+1. [Webアプリを構築する](1-Web-App/README.md)
+
+## クレジット
+
+"Build a Web App" は [Jen Looper](https://twitter.com/jenlooper) によって書かれました。
+
+クイズはRohan Rajによって書かれました。
+
+データセットは[Kaggle](https://www.kaggle.com/NUFORC/ufo-sightings)から提供されています。
+
+Webアプリのアーキテクチャは、部分的に[この記事](https://towardsdatascience.com/how-to-easily-deploy-machine-learning-models-using-flask-b95af8fe34d4)および[このリポジトリ](https://github.com/abhinavsagar/machine-learning-deployment)（Abhinav Sagarによる）を参考にしています。
+
+**免責事項**:
+この文書は機械翻訳AIサービスを使用して翻訳されています。正確性を期しておりますが、自動翻訳には誤りや不正確さが含まれる可能性があります。元の言語での原文を権威ある情報源と見なすべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤解釈について、当社は責任を負いかねます。
\ No newline at end of file
diff --git a/translations/ja/4-Classification/1-Introduction/README.md b/translations/ja/4-Classification/1-Introduction/README.md
new file mode 100644
index 000000000..341f7123d
--- /dev/null
+++ b/translations/ja/4-Classification/1-Introduction/README.md
@@ -0,0 +1,302 @@
+# 分類の紹介
+
+この4つのレッスンでは、クラシックな機械学習の基本的な焦点である_分類_について探ります。アジアとインドの素晴らしい料理に関するデータセットを使用して、さまざまな分類アルゴリズムを使用する方法を説明します。お腹が空いてきましたか？
+
+
+
+> これらのレッスンでパンアジア料理を祝おう！画像提供：[Jen Looper](https://twitter.com/jenlooper)
+
+分類は、回帰技術と多くの共通点を持つ[教師あり学習](https://wikipedia.org/wiki/Supervised_learning)の一形態です。機械学習がデータセットを使用して値や名前を予測することに関するものであるならば、分類は一般的に2つのグループに分かれます：_二値分類_と_多クラス分類_です。
+
+[](https://youtu.be/eg8DJYwdMyg "Introduction to classification")
+
+> 🎥 上の画像をクリックしてビデオを視聴：MITのJohn Guttagが分類を紹介
+
+覚えておいてください：
+
+- **線形回帰**は、変数間の関係を予測し、新しいデータポイントがその線とどのように関係するかを正確に予測するのに役立ちました。例えば、_9月と12月のカボチャの価格_を予測することができました。
+- **ロジスティック回帰**は、「二値カテゴリ」を発見するのに役立ちました：この価格帯では、_このカボチャはオレンジ色か、オレンジ色でないか_？
+
+分類は、データポイントのラベルやクラスを決定するためにさまざまなアルゴリズムを使用します。この料理データを使用して、材料のグループを観察することで、その料理の起源を特定できるかどうかを見てみましょう。
+
+## [事前クイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/19/)
+
+> ### [このレッスンはRでも利用可能です！](../../../../4-Classification/1-Introduction/solution/R/lesson_10.html)
+
+### はじめに
+
+分類は、機械学習研究者やデータサイエンティストの基本的な活動の1つです。二値値の基本的な分類（「このメールはスパムかどうか」）から、コンピュータビジョンを使用した複雑な画像分類やセグメンテーションまで、データをクラスに分類し、それに質問する能力は常に役立ちます。
+
+プロセスをより科学的に述べると、分類法は入力変数と出力変数の関係をマッピングする予測モデルを作成します。
+
+
+
+> 分類アルゴリズムが処理する二値問題と多クラス問題。インフォグラフィック提供：[Jen Looper](https://twitter.com/jenlooper)
+
+データのクリーニング、視覚化、およびMLタスクの準備を開始する前に、データを分類するために機械学習を使用するさまざまな方法について学びましょう。
+
+[統計学](https://wikipedia.org/wiki/Statistical_classification)に由来する、クラシックな機械学習を使用した分類は、`smoker`、`weight`、および`age`などの特徴を使用して、_X病を発症する可能性_を決定します。以前に行った回帰演習と同様の教師あり学習技術として、データはラベル付けされ、MLアルゴリズムはこれらのラベルを使用してデータセットのクラス（または「特徴」）を分類および予測し、それらをグループまたは結果に割り当てます。
+
+✅ 料理に関するデータセットを想像してみてください。多クラスモデルでは何が答えられるでしょうか？二値モデルでは何が答えられるでしょうか？ある料理がフェヌグリークを使用する可能性があるかどうかを判断したい場合はどうでしょうか？星アニス、アーティチョーク、カリフラワー、ホースラディッシュが入った食料袋をプレゼントされた場合、典型的なインド料理を作れるかどうかを確認したい場合はどうでしょうか？
+
+[](https://youtu.be/GuTeDbaNoEU "Crazy mystery baskets")
+
+> 🎥 上の画像をクリックしてビデオを視聴。ショー「Chopped」の全体の前提は、「ミステリーバスケット」で、シェフがランダムな材料の選択から料理を作らなければならないというものです。確かにMLモデルが役立ったでしょう！
+
+## こんにちは「分類器」
+
+この料理データセットに関して私たちが尋ねたい質問は、実際には**多クラスの質問**です。私たちにはいくつかの潜在的な国の料理があるためです。一連の材料が与えられた場合、そのデータはこれらの多くのクラスのどれに適合するでしょうか？
+
+Scikit-learnは、解決したい問題の種類に応じて、データを分類するために使用できるさまざまなアルゴリズムを提供しています。次の2つのレッスンでは、これらのアルゴリズムのいくつかについて学びます。
+
+## 演習 - データをクリーンアップしてバランスを取る
+
+このプロジェクトを開始する前の最初のタスクは、データをクリーンアップして**バランスを取る**ことです。これにより、より良い結果が得られます。このフォルダーのルートにある空の_notebook.ipynb_ファイルから始めます。
+
+最初にインストールするものは[imblearn](https://imbalanced-learn.org/stable/)です。これはScikit-learnパッケージで、データのバランスをより良く取ることができます（このタスクについては後で詳しく学びます）。
+
+1. `imblearn`をインストールするには、次のように`pip install`を実行します：
+
+ ```python
+ pip install imblearn
+ ```
+
+1. データをインポートして視覚化するために必要なパッケージをインポートし、`imblearn`から`SMOTE`もインポートします。
+
+ ```python
+ import pandas as pd
+ import matplotlib.pyplot as plt
+ import matplotlib as mpl
+ import numpy as np
+ from imblearn.over_sampling import SMOTE
+ ```
+
+ これで、次にデータをインポートする準備が整いました。
+
+1. 次のタスクはデータのインポートです：
+
+ ```python
+ df = pd.read_csv('../data/cuisines.csv')
+ ```
+
+ `read_csv()` will read the content of the csv file _cusines.csv_ and place it in the variable `df`を使用します。
+
+1. データの形状を確認します：
+
+ ```python
+ df.head()
+ ```
+
+ 最初の5行は次のようになります：
+
+ ```output
+ | | Unnamed: 0 | cuisine | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini |
+ | --- | ---------- | ------- | ------ | -------- | ----- | ---------- | ----- | ------------ | ------- | -------- | --- | ------- | ----------- | ---------- | ----------------------- | ---- | ---- | --- | ----- | ------ | -------- |
+ | 0 | 65 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
+ | 1 | 66 | indian | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
+ | 2 | 67 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
+ | 3 | 68 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
+ | 4 | 69 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 |
+ ```
+
+1. `info()`を呼び出してこのデータに関する情報を取得します：
+
+ ```python
+ df.info()
+ ```
+
+ 出力は次のようになります：
+
+ ```output
+ + RangeIndex: 2448 entries, 0 to 2447 + Columns: 385 entries, Unnamed: 0 to zucchini + dtypes: int64(384), object(1) + memory usage: 7.2+ MB + ``` + +## 演習 - 料理について学ぶ + +ここからが面白くなります。料理ごとのデータの分布を見てみましょう。 + +1. `barh()`を呼び出してデータをバーとしてプロットします： + + ```python + df.cuisine.value_counts().plot.barh() + ``` + +  + + 料理の数は限られていますが、データの分布は不均一です。これを修正できます！その前に、もう少し探ってみましょう。 + +1. 料理ごとに利用可能なデータの量を調べて印刷します： + + ```python + thai_df = df[(df.cuisine == "thai")] + japanese_df = df[(df.cuisine == "japanese")] + chinese_df = df[(df.cuisine == "chinese")] + indian_df = df[(df.cuisine == "indian")] + korean_df = df[(df.cuisine == "korean")] + + print(f'thai df: {thai_df.shape}') + print(f'japanese df: {japanese_df.shape}') + print(f'chinese df: {chinese_df.shape}') + print(f'indian df: {indian_df.shape}') + print(f'korean df: {korean_df.shape}') + ``` + + 出力は次のようになります： + + ```output + thai df: (289, 385) + japanese df: (320, 385) + chinese df: (442, 385) + indian df: (598, 385) + korean df: (799, 385) + ``` + +## 材料の発見 + +次に、データをさらに深く掘り下げて、各料理の典型的な材料を学びます。料理間の混乱を引き起こす再発データをクリーニングする必要があるので、この問題について学びましょう。 + +1. Pythonで`create_ingredient()`関数を作成して材料データフレームを作成します。この関数は、役に立たない列を削除し、カウントによって材料をソートすることから始めます： + + ```python + def create_ingredient_df(df): + ingredient_df = df.T.drop(['cuisine','Unnamed: 0']).sum(axis=1).to_frame('value') + ingredient_df = ingredient_df[(ingredient_df.T != 0).any()] + ingredient_df = ingredient_df.sort_values(by='value', ascending=False, + inplace=False) + return ingredient_df + ``` + + これで、この関数を使用して、料理ごとのトップ10の人気材料のアイデアを得ることができます。 + +1. `create_ingredient()` and plot it calling `barh()`を呼び出します： + + ```python + thai_ingredient_df = create_ingredient_df(thai_df) + thai_ingredient_df.head(10).plot.barh() + ``` + +  + +1. 日本のデータについても同じことを行います： + + ```python + japanese_ingredient_df = create_ingredient_df(japanese_df) + japanese_ingredient_df.head(10).plot.barh() + ``` + +  + +1. 次に、中国の材料についても同じことを行います： + + ```python + chinese_ingredient_df = create_ingredient_df(chinese_df) + chinese_ingredient_df.head(10).plot.barh() + ``` + +  + +1. インドの材料をプロットします： + + ```python + indian_ingredient_df = create_ingredient_df(indian_df) + indian_ingredient_df.head(10).plot.barh() + ``` + +  + +1. 最後に、韓国の材料をプロットします： + + ```python + korean_ingredient_df = create_ingredient_df(korean_df) + korean_ingredient_df.head(10).plot.barh() + ``` + +  + +1. `drop()`を呼び出して、異なる料理間で混乱を引き起こす最も一般的な材料を削除します： + + みんなお米、にんにく、しょうがが大好きです！ + + ```python + feature_df= df.drop(['cuisine','Unnamed: 0','rice','garlic','ginger'], axis=1) + labels_df = df.cuisine #.unique() + feature_df.head() + ``` + +## データセットのバランスを取る + +データをクリーンアップしたので、[SMOTE](https://imbalanced-learn.org/dev/references/generated/imblearn.over_sampling.SMOTE.html) - 「合成少数オーバーサンプリング技術」 - を使用してバランスを取ります。 + +1. `fit_resample()`を呼び出します。この戦略は、補間によって新しいサンプルを生成します。 + + ```python + oversample = SMOTE() + transformed_feature_df, transformed_label_df = oversample.fit_resample(feature_df, labels_df) + ``` + + データのバランスを取ることで、分類時により良い結果が得られます。二値分類を考えてみてください。データのほとんどが1つのクラスである場合、MLモデルはそのクラスをより頻繁に予測します。なぜなら、そのクラスのデータが多いためです。データのバランスを取ることで、偏ったデータを取り除き、この不均衡を解消するのに役立ちます。 + +1. 次に、材料ごとのラベルの数を確認します： + + ```python + print(f'new label count: {transformed_label_df.value_counts()}') + print(f'old label count: {df.cuisine.value_counts()}') + ``` + + 出力は次のようになります： + + ```output + new label count: korean 799 + chinese 799 + indian 799 + japanese 799 + thai 799 + Name: cuisine, dtype: int64 + old label count: korean 799 + indian 598 + chinese 442 + japanese 320 + thai 289 + Name: cuisine, dtype: int64 + ``` + + データはきれいでバランスが取れており、とてもおいしそうです！ + +1. 最後のステップは、ラベルと特徴を含むバランスの取れたデータを新しいデータフレームに保存し、ファイルにエクスポートできるようにすることです： + + ```python + transformed_df = pd.concat([transformed_label_df,transformed_feature_df],axis=1, join='outer') + ``` + +1. `transformed_df.head()` and `transformed_df.info()`を使用してデータをもう一度確認できます。今後のレッスンで使用するためにこのデータのコピーを保存します： + + ```python + transformed_df.head() + transformed_df.info() + transformed_df.to_csv("../data/cleaned_cuisines.csv") + ``` + + この新しいCSVはルートデータフォルダーにあります。 + +--- + +## 🚀チャレンジ + +このカリキュラムにはいくつかの興味深いデータセットが含まれています。`data`フォルダーを掘り下げて、二値または多クラス分類に適したデータセットが含まれているかどうかを確認してください。このデータセットにどのような質問をしますか？ + +## [事後クイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/20/) + +## レビューと自己学習 + +SMOTEのAPIを探ってみてください。どのようなユースケースに最適ですか？どのような問題を解決しますか？ + +## 課題 + +[分類方法を探る](assignment.md) + +**免責事項**: +この文書は、機械ベースのAI翻訳サービスを使用して翻訳されています。正確さを期していますが、自動翻訳にはエラーや不正確さが含まれる可能性があることをご了承ください。原文の言語で書かれたオリジナル文書を権威ある情報源とみなしてください。重要な情報については、専門の人間による翻訳を推奨します。この翻訳の使用に起因する誤解や誤訳については、一切の責任を負いかねます。 \ No newline at end of file diff --git a/translations/ja/4-Classification/1-Introduction/assignment.md b/translations/ja/4-Classification/1-Introduction/assignment.md new file mode 100644 index 000000000..a625920d9 --- /dev/null +++ b/translations/ja/4-Classification/1-Introduction/assignment.md @@ -0,0 +1,14 @@ +# 分類方法を探る + +## 指示 + +[Scikit-learn ドキュメント](https://scikit-learn.org/stable/supervised_learning.html)には、データを分類するための多くの方法が記載されています。これらのドキュメントで少し宝探しをしてみてください。あなたの目標は、分類方法を探し、このカリキュラムのデータセット、質問、分類技術をマッチさせることです。スプレッドシートまたは.docファイルで表を作成し、データセットが分類アルゴリズムとどのように連携するかを説明してください。 + +## 評価基準 + +| 基準 | 優秀 | 適切 | 改善の余地あり | +| -------- | -------------------------------------------------------------------------------------------------------------------------------- | -------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------- | +| | 5つのアルゴリズムと分類技術の概要を示す文書が提示されており、その概要はよく説明され詳細です。 | 3つのアルゴリズムと分類技術の概要を示す文書が提示されており、その概要はよく説明され詳細です。 | 3つ未満のアルゴリズムと分類技術の概要を示す文書が提示されており、その概要は十分に説明されておらず詳細でもありません。 | + +**免責事項**: +この文書は機械ベースのAI翻訳サービスを使用して翻訳されています。正確さを期すために努力しておりますが、自動翻訳にはエラーや不正確さが含まれる可能性があります。元の言語での原文を権威ある情報源とみなすべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤った解釈について、当社は一切の責任を負いません。 \ No newline at end of file diff --git a/translations/ja/4-Classification/1-Introduction/solution/Julia/README.md b/translations/ja/4-Classification/1-Introduction/solution/Julia/README.md new file mode 100644 index 000000000..7312036c1 --- /dev/null +++ b/translations/ja/4-Classification/1-Introduction/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**免責事項**: +この文書は機械ベースのAI翻訳サービスを使用して翻訳されています。正確さを期していますが、自動翻訳には誤りや不正確さが含まれる可能性があります。元の言語での原文が権威ある情報源と見なされるべきです。重要な情報については、専門の人間による翻訳を推奨します。この翻訳の使用に起因する誤解や誤訳については、一切の責任を負いかねます。 \ No newline at end of file diff --git a/translations/ja/4-Classification/2-Classifiers-1/README.md b/translations/ja/4-Classification/2-Classifiers-1/README.md new file mode 100644 index 000000000..386ea4583 --- /dev/null +++ b/translations/ja/4-Classification/2-Classifiers-1/README.md @@ -0,0 +1,244 @@ +# Cuisine classifiers 1 + +このレッスンでは、前回のレッスンで保存した、バランスの取れたきれいなデータセットを使って、料理に関する予測を行います。 + +このデータセットを使って、さまざまな分類器を使用し、_材料のグループに基づいて特定の国の料理を予測_します。その過程で、アルゴリズムを分類タスクに利用する方法についてさらに学びます。 + +## [事前クイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/21/) +# 準備 + +[Lesson 1](../1-Introduction/README.md)を完了したと仮定して、_cleaned_cuisines.csv_ ファイルがルート `/data` フォルダーに存在することを確認してください。このファイルは4つのレッスンで使用されます。 + +## 演習 - 国の料理を予測する + +1. このレッスンの _notebook.ipynb_ フォルダーで、そのファイルとPandasライブラリをインポートします: + + ```python + import pandas as pd + cuisines_df = pd.read_csv("../data/cleaned_cuisines.csv") + cuisines_df.head() + ``` + + データは次のように見えます: + +| | Unnamed: 0 | cuisine | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | +| --- | ---------- | ------- | ------ | -------- | ----- | ---------- | ----- | ------------ | ------- | -------- | --- | ------- | ----------- | ---------- | ----------------------- | ---- | ---- | --- | ----- | ------ | -------- | +| 0 | 0 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 1 | 1 | indian | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 2 | 2 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 3 | 3 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 4 | 4 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | + + +1. 次に、いくつかのライブラリをインポートします: + + ```python + from sklearn.linear_model import LogisticRegression + from sklearn.model_selection import train_test_split, cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report, precision_recall_curve + from sklearn.svm import SVC + import numpy as np + ``` + +1. Xとyの座標を2つのデータフレームに分けてトレーニングします。`cuisine`をラベルデータフレームにします: + + ```python + cuisines_label_df = cuisines_df['cuisine'] + cuisines_label_df.head() + ``` + + 次のように見えます: + + ```output + 0 indian + 1 indian + 2 indian + 3 indian + 4 indian + Name: cuisine, dtype: object + ``` + +1. `Unnamed: 0` column and the `cuisine` column, calling `drop()`をドロップします。残りのデータをトレーニング可能な特徴として保存します: + + ```python + cuisines_feature_df = cuisines_df.drop(['Unnamed: 0', 'cuisine'], axis=1) + cuisines_feature_df.head() + ``` + + あなたの特徴は次のように見えます: + +| | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | artemisia | artichoke | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | +| ---: | -----: | -------: | ----: | ---------: | ----: | -----------: | ------: | -------: | --------: | --------: | ---: | ------: | ----------: | ---------: | ----------------------: | ---: | ---: | ---: | ----: | -----: | -------: | +| 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 1 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 2 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 3 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 4 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | + +これでモデルのトレーニングの準備が整いました！ + +## 分類器の選択 + +データがきれいになり、トレーニングの準備が整ったので、どのアルゴリズムを使用するかを決定する必要があります。 + +Scikit-learnは分類を教師あり学習の下にグループ化しており、そのカテゴリーでは多くの分類方法があります。[この多様性](https://scikit-learn.org/stable/supervised_learning.html)は最初は非常に圧倒されるかもしれません。以下の方法にはすべて分類技術が含まれます: + +- 線形モデル +- サポートベクターマシン +- 確率的勾配降下法 +- 最近傍法 +- ガウス過程 +- 決定木 +- アンサンブル法（投票分類器） +- マルチクラスおよびマルチアウトプットアルゴリズム（マルチクラスおよびマルチラベル分類、マルチクラス-マルチアウトプット分類） + +> データを分類するために[ニューラルネットワークを使用する](https://scikit-learn.org/stable/modules/neural_networks_supervised.html#classification)こともできますが、これはこのレッスンの範囲外です。 + +### どの分類器を選ぶべきか？ + +では、どの分類器を選ぶべきでしょうか？多くの場合、いくつかの分類器を試して良い結果を探すのが一つの方法です。Scikit-learnは[KNeighbors、SVCの2つの方法、GaussianProcessClassifier、DecisionTreeClassifier、RandomForestClassifier、MLPClassifier、AdaBoostClassifier、GaussianNB、QuadraticDiscrinationAnalysis](https://scikit-learn.org/stable/auto_examples/classification/plot_classifier_comparison.html)の比較を行い、結果を視覚化して表示します: + + +> Scikit-learnのドキュメントで生成されたプロット + +> AutoMLはこれらの比較をクラウドで実行し、データに最適なアルゴリズムを選択できるようにすることで、この問題をうまく解決します。試してみてください [こちら](https://docs.microsoft.com/learn/modules/automate-model-selection-with-azure-automl/?WT.mc_id=academic-77952-leestott) + +### より良いアプローチ + +しかし、無作為に推測するよりも、ダウンロード可能な[ML Cheat Sheet](https://docs.microsoft.com/azure/machine-learning/algorithm-cheat-sheet?WT.mc_id=academic-77952-leestott)のアイデアに従う方が良いです。ここでは、マルチクラスの問題に対していくつかの選択肢があることがわかります: + + +> マイクロソフトのアルゴリズムチートシートの一部、マルチクラス分類オプションの詳細 + +✅ このチートシートをダウンロードし、印刷して壁に貼りましょう！ + +### 理由付け + +制約を考慮して、異なるアプローチを検討してみましょう: + +- **ニューラルネットワークは重すぎる**。きれいだが最小限のデータセットと、ノートブックを使ってローカルでトレーニングを実行するという事実を考えると、ニューラルネットワークはこのタスクには重すぎます。 +- **2クラス分類器は使用しない**。2クラス分類器は使用しないため、one-vs-allは除外されます。 +- **決定木やロジスティック回帰が使える**。決定木やマルチクラスデータのロジスティック回帰が使えるかもしれません。 +- **マルチクラスブーステッド決定木は異なる問題を解決する**。マルチクラスブーステッド決定木は非パラメトリックなタスク、例えばランキングを作成するタスクに最も適しているため、私たちには役立ちません。 + +### Scikit-learnの使用 + +データを分析するためにScikit-learnを使用します。しかし、Scikit-learnでロジスティック回帰を使用する方法はたくさんあります。[渡すパラメータ](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html?highlight=logistic%20regressio#sklearn.linear_model.LogisticRegression)を確認してください。 + +本質的に、重要なパラメータは2つあります - `multi_class` and `solver` - that we need to specify, when we ask Scikit-learn to perform a logistic regression. The `multi_class` value applies a certain behavior. The value of the solver is what algorithm to use. Not all solvers can be paired with all `multi_class` values. + +According to the docs, in the multiclass case, the training algorithm: + +- **Uses the one-vs-rest (OvR) scheme**, if the `multi_class` option is set to `ovr` +- **Uses the cross-entropy loss**, if the `multi_class` option is set to `multinomial`. (Currently the `multinomial` option is supported only by the ‘lbfgs’, ‘sag’, ‘saga’ and ‘newton-cg’ solvers.)" + +> 🎓 The 'scheme' here can either be 'ovr' (one-vs-rest) or 'multinomial'. Since logistic regression is really designed to support binary classification, these schemes allow it to better handle multiclass classification tasks. [source](https://machinelearningmastery.com/one-vs-rest-and-one-vs-one-for-multi-class-classification/) + +> 🎓 The 'solver' is defined as "the algorithm to use in the optimization problem". [source](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html?highlight=logistic%20regressio#sklearn.linear_model.LogisticRegression). + +Scikit-learn offers this table to explain how solvers handle different challenges presented by different kinds of data structures: + + + +## Exercise - split the data + +We can focus on logistic regression for our first training trial since you recently learned about the latter in a previous lesson. +Split your data into training and testing groups by calling `train_test_split()`です: + +```python +X_train, X_test, y_train, y_test = train_test_split(cuisines_feature_df, cuisines_label_df, test_size=0.3) +``` + +## 演習 - ロジスティック回帰を適用する + +マルチクラスの場合、どのスキームを使用するか、どのソルバーを設定するかを選択する必要があります。マルチクラス設定と**liblinear**ソルバーを使用してロジスティック回帰をトレーニングします。 + +1. multi_classを`ovr` and the solver set to `liblinear`に設定してロジスティック回帰を作成します: + + ```python + lr = LogisticRegression(multi_class='ovr',solver='liblinear') + model = lr.fit(X_train, np.ravel(y_train)) + + accuracy = model.score(X_test, y_test) + print ("Accuracy is {}".format(accuracy)) + ``` + + ✅ `lbfgs`, which is often set as default + + > Note, use Pandas [`ravel`](https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.Series.ravel.html)関数を試して、必要に応じてデータをフラットにします。 + + 正確度は**80%**を超えています！ + +1. データの1行（#50）をテストすることで、このモデルを実際に見ることができます: + + ```python + print(f'ingredients: {X_test.iloc[50][X_test.iloc[50]!=0].keys()}') + print(f'cuisine: {y_test.iloc[50]}') + ``` + + 結果が表示されます: + + ```output + ingredients: Index(['cilantro', 'onion', 'pea', 'potato', 'tomato', 'vegetable_oil'], dtype='object') + cuisine: indian + ``` + + ✅ 別の行番号を試して結果を確認してみてください + +1. この予測の正確性を確認するために、さらに掘り下げてみましょう: + + ```python + test= X_test.iloc[50].values.reshape(-1, 1).T + proba = model.predict_proba(test) + classes = model.classes_ + resultdf = pd.DataFrame(data=proba, columns=classes) + + topPrediction = resultdf.T.sort_values(by=[0], ascending = [False]) + topPrediction.head() + ``` + + 結果が表示されます - インド料理が最も高い確率で予測されています: + + | | 0 | + | -------: | -------: | + | indian | 0.715851 | + | chinese | 0.229475 | + | japanese | 0.029763 | + | korean | 0.017277 | + | thai | 0.007634 | + + ✅ なぜこのモデルがインド料理だと確信しているのか説明できますか？ + +1. 回帰レッスンで行ったように、分類レポートを印刷して詳細を確認します: + + ```python + y_pred = model.predict(X_test) + print(classification_report(y_test,y_pred)) + ``` + + | | precision | recall | f1-score | support | + | ------------ | --------- | ------ | -------- | ------- | + | chinese | 0.73 | 0.71 | 0.72 | 229 | + | indian | 0.91 | 0.93 | 0.92 | 254 | + | japanese | 0.70 | 0.75 | 0.72 | 220 | + | korean | 0.86 | 0.76 | 0.81 | 242 | + | thai | 0.79 | 0.85 | 0.82 | 254 | + | accuracy | 0.80 | 1199 | | | + | macro avg | 0.80 | 0.80 | 0.80 | 1199 | + | weighted avg | 0.80 | 0.80 | 0.80 | 1199 | + +## 🚀チャレンジ + +このレッスンでは、クリーンなデータを使用して、材料の一連のリストに基づいて国の料理を予測する機械学習モデルを構築しました。Scikit-learnがデータを分類するために提供する多くのオプションを読み、さらに掘り下げてみてください。ソルバーの概念を深く理解し、背後で何が起こっているのかを理解してください。 + +## [事後クイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/22/) + +## レビュー & 自己学習 + +[このレッスン](https://people.eecs.berkeley.edu/~russell/classes/cs194/f11/lectures/CS194%20Fall%202011%20Lecture%2006.pdf)でロジスティック回帰の数学についてさらに掘り下げてみてください。 +## 課題 + +[ソルバーを研究する](assignment.md) + +**免責事項**: +この文書は、機械ベースのAI翻訳サービスを使用して翻訳されています。正確さを期しておりますが、自動翻訳には誤りや不正確さが含まれる可能性があることにご注意ください。元の言語での原文を権威ある情報源と見なすべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤訳について、当社は一切の責任を負いません。 \ No newline at end of file diff --git a/translations/ja/4-Classification/2-Classifiers-1/assignment.md b/translations/ja/4-Classification/2-Classifiers-1/assignment.md new file mode 100644 index 000000000..b07ee2ea4 --- /dev/null +++ b/translations/ja/4-Classification/2-Classifiers-1/assignment.md @@ -0,0 +1,13 @@ +# ソルバーの研究 +## 手順 + +このレッスンでは、アルゴリズムと機械学習プロセスを組み合わせて正確なモデルを作成するさまざまなソルバーについて学びました。レッスンで紹介されたソルバーを見直し、その中から2つを選んでください。自分の言葉でこれら2つのソルバーを比較・対照してください。彼らはどのような問題に対処しますか？さまざまなデータ構造とどのように連携しますか？なぜ一方を選ぶ理由があるのかを説明してください。 + +## 評価基準 + +| 基準 | 模範的 | 適切 | 改善が必要 | +| -------- | ---------------------------------------------------------------------------------------------- | ------------------------------------------------ | ---------------------------- | +| | 各ソルバーについて比較を考慮した2つの段落がある.docファイルが提出されている。 | 1つの段落のみがある.docファイルが提出されている | 課題が未完成 | + +**免責事項**: +この文書は、機械翻訳サービスを使用して翻訳されています。正確さを期していますが、自動翻訳には誤りや不正確さが含まれる可能性があることにご注意ください。元の言語での文書が権威ある情報源とみなされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤認については、当社は一切の責任を負いません。 \ No newline at end of file diff --git a/translations/ja/4-Classification/2-Classifiers-1/solution/Julia/README.md b/translations/ja/4-Classification/2-Classifiers-1/solution/Julia/README.md new file mode 100644 index 000000000..a6ae1f617 --- /dev/null +++ b/translations/ja/4-Classification/2-Classifiers-1/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**免責事項**: +この文書は機械ベースのAI翻訳サービスを使用して翻訳されています。正確さを期していますが、自動翻訳には誤りや不正確さが含まれる可能性があることにご留意ください。原文の言語によるオリジナル文書が権威ある情報源と見なされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤訳について、当社は一切の責任を負いかねます。 \ No newline at end of file diff --git a/translations/ja/4-Classification/3-Classifiers-2/README.md b/translations/ja/4-Classification/3-Classifiers-2/README.md new file mode 100644 index 000000000..86b3378c6 --- /dev/null +++ b/translations/ja/4-Classification/3-Classifiers-2/README.md @@ -0,0 +1,238 @@ +# 料理の分類器 2 + +この第2の分類レッスンでは、数値データを分類するためのさまざまな方法を探求します。また、異なる分類器を選択することの影響についても学びます。 + +## [講義前のクイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/23/) + +### 前提条件 + +前のレッスンを完了し、この4つのレッスンフォルダーのルートにある `data` フォルダーに _cleaned_cuisines.csv_ という名前のクリーンなデータセットがあることを前提としています。 + +### 準備 + +クリーンなデータセットを使用して _notebook.ipynb_ ファイルを読み込み、モデル構築プロセスに向けて X と y のデータフレームに分割しました。 + +## 分類マップ + +以前、Microsoftのチートシートを使用してデータを分類する際のさまざまなオプションについて学びました。Scikit-learnも同様の、しかしより詳細なチートシートを提供しており、推定器（分類器の別名）をさらに絞り込むのに役立ちます： + + +> Tip: [このマップをオンラインで見る](https://scikit-learn.org/stable/tutorial/machine_learning_map/)と、パスに沿ってクリックしてドキュメントを読むことができます。 + +### 計画 + +このマップはデータの理解が深まると非常に役立ちます。パスに沿って歩きながら決定を下すことができます： + +- 50以上のサンプルがあります +- カテゴリを予測したい +- ラベル付きデータがあります +- 100K未満のサンプルがあります +- ✨ Linear SVCを選択できます +- それがうまくいかない場合、数値データがあるので + - ✨ KNeighbors Classifierを試すことができます + - それもうまくいかない場合、✨ SVCや✨ Ensemble Classifiersを試してみることができます + +これは非常に役立つルートです。 + +## 演習 - データを分割する + +このパスに従って、使用するライブラリをインポートすることから始めましょう。 + +1. 必要なライブラリをインポートします： + + ```python + from sklearn.neighbors import KNeighborsClassifier + from sklearn.linear_model import LogisticRegression + from sklearn.svm import SVC + from sklearn.ensemble import RandomForestClassifier, AdaBoostClassifier + from sklearn.model_selection import train_test_split, cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report, precision_recall_curve + import numpy as np + ``` + +1. トレーニングデータとテストデータを分割します： + + ```python + X_train, X_test, y_train, y_test = train_test_split(cuisines_feature_df, cuisines_label_df, test_size=0.3) + ``` + +## Linear SVC分類器 + +サポートベクタークラスタリング（SVC）は、サポートベクターマシンのML技術ファミリーの一部です（詳細は以下を参照）。この方法では、ラベルをクラスタリングする方法を決定するための「カーネル」を選択できます。「C」パラメータは「正則化」を指し、パラメータの影響を調整します。カーネルは[いくつかの](https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html#sklearn.svm.SVC) から選択でき、ここでは線形SVCを利用するために「linear」に設定します。確率はデフォルトで「false」ですが、ここでは確率推定を収集するために「true」に設定します。ランダム状態を「0」に設定してデータをシャッフルし、確率を取得します。 + +### 演習 - 線形SVCを適用する + +分類器の配列を作成することから始めます。テストを進めるにつれてこの配列に追加していきます。 + +1. Linear SVCから始めます： + + ```python + C = 10 + # Create different classifiers. + classifiers = { + 'Linear SVC': SVC(kernel='linear', C=C, probability=True,random_state=0) + } + ``` + +2. Linear SVCを使用してモデルをトレーニングし、レポートを出力します： + + ```python + n_classifiers = len(classifiers) + + for index, (name, classifier) in enumerate(classifiers.items()): + classifier.fit(X_train, np.ravel(y_train)) + + y_pred = classifier.predict(X_test) + accuracy = accuracy_score(y_test, y_pred) + print("Accuracy (train) for %s: %0.1f%% " % (name, accuracy * 100)) + print(classification_report(y_test,y_pred)) + ``` + + 結果はかなり良好です： + + ```output + Accuracy (train) for Linear SVC: 78.6% + precision recall f1-score support + + chinese 0.71 0.67 0.69 242 + indian 0.88 0.86 0.87 234 + japanese 0.79 0.74 0.76 254 + korean 0.85 0.81 0.83 242 + thai 0.71 0.86 0.78 227 + + accuracy 0.79 1199 + macro avg 0.79 0.79 0.79 1199 + weighted avg 0.79 0.79 0.79 1199 + ``` + +## K-Neighbors分類器 + +K-Neighborsは「neighbors」ファミリーのMLメソッドの一部で、これは教師あり学習と教師なし学習の両方に使用できます。この方法では、事前に定義されたポイントの周りにデータを集め、一般化されたラベルをデータに対して予測できるようにします。 + +### 演習 - K-Neighbors分類器を適用する + +前の分類器は良好で、データにうまく適合しましたが、さらに精度を向上させることができるかもしれません。K-Neighbors分類器を試してみましょう。 + +1. 分類器の配列に行を追加します（Linear SVC項目の後にカンマを追加）： + + ```python + 'KNN classifier': KNeighborsClassifier(C), + ``` + + 結果は少し悪くなります： + + ```output + Accuracy (train) for KNN classifier: 73.8% + precision recall f1-score support + + chinese 0.64 0.67 0.66 242 + indian 0.86 0.78 0.82 234 + japanese 0.66 0.83 0.74 254 + korean 0.94 0.58 0.72 242 + thai 0.71 0.82 0.76 227 + + accuracy 0.74 1199 + macro avg 0.76 0.74 0.74 1199 + weighted avg 0.76 0.74 0.74 1199 + ``` + + ✅ [K-Neighbors](https://scikit-learn.org/stable/modules/neighbors.html#neighbors) について学びましょう + +## サポートベクター分類器 + +サポートベクター分類器は、分類と回帰タスクに使用される[サポートベクターマシン](https://wikipedia.org/wiki/Support-vector_machine)ファミリーの一部です。SVMは「トレーニング例を空間のポイントにマップ」して、2つのカテゴリ間の距離を最大化します。その後のデータはこの空間にマップされ、カテゴリを予測できます。 + +### 演習 - サポートベクター分類器を適用する + +サポートベクター分類器を使用して、さらに精度を向上させましょう。 + +1. K-Neighbors項目の後にカンマを追加し、この行を追加します： + + ```python + 'SVC': SVC(), + ``` + + 結果は非常に良好です！ + + ```output + Accuracy (train) for SVC: 83.2% + precision recall f1-score support + + chinese 0.79 0.74 0.76 242 + indian 0.88 0.90 0.89 234 + japanese 0.87 0.81 0.84 254 + korean 0.91 0.82 0.86 242 + thai 0.74 0.90 0.81 227 + + accuracy 0.83 1199 + macro avg 0.84 0.83 0.83 1199 + weighted avg 0.84 0.83 0.83 1199 + ``` + + ✅ [サポートベクター](https://scikit-learn.org/stable/modules/svm.html#svm) について学びましょう + +## アンサンブル分類器 + +前のテストは非常に良好でしたが、最後までパスをたどってみましょう。ランダムフォレストとAdaBoostのようなアンサンブル分類器を試してみましょう： + +```python + 'RFST': RandomForestClassifier(n_estimators=100), + 'ADA': AdaBoostClassifier(n_estimators=100) +``` + +結果は非常に良好で、特にランダムフォレストは優れています： + +```output +Accuracy (train) for RFST: 84.5% + precision recall f1-score support + + chinese 0.80 0.77 0.78 242 + indian 0.89 0.92 0.90 234 + japanese 0.86 0.84 0.85 254 + korean 0.88 0.83 0.85 242 + thai 0.80 0.87 0.83 227 + + accuracy 0.84 1199 + macro avg 0.85 0.85 0.84 1199 +weighted avg 0.85 0.84 0.84 1199 + +Accuracy (train) for ADA: 72.4% + precision recall f1-score support + + chinese 0.64 0.49 0.56 242 + indian 0.91 0.83 0.87 234 + japanese 0.68 0.69 0.69 254 + korean 0.73 0.79 0.76 242 + thai 0.67 0.83 0.74 227 + + accuracy 0.72 1199 + macro avg 0.73 0.73 0.72 1199 +weighted avg 0.73 0.72 0.72 1199 +``` + +✅ [アンサンブル分類器](https://scikit-learn.org/stable/modules/ensemble.html) について学びましょう + +この機械学習の方法は、「いくつかの基本推定器の予測を組み合わせる」ことでモデルの質を向上させます。私たちの例では、ランダムツリーとAdaBoostを使用しました。 + +- [ランダムフォレスト](https://scikit-learn.org/stable/modules/ensemble.html#forest) は、平均化法であり、ランダム性を取り入れた「決定木」の「森」を構築して過学習を回避します。n_estimatorsパラメータは木の数を設定します。 + +- [AdaBoost](https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.AdaBoostClassifier.html) は、データセットに分類器を適合させ、その分類器のコピーを同じデータセットに適合させます。誤分類されたアイテムの重みを重視し、次の分類器の適合を調整して修正します。 + +--- + +## 🚀チャレンジ + +これらの技術のそれぞれには、多くの調整可能なパラメータがあります。それぞれのデフォルトパラメータを調査し、これらのパラメータを調整することがモデルの質にどのような影響を与えるかを考えてみてください。 + +## [講義後のクイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/24/) + +## 復習と自己学習 + +これらのレッスンには多くの専門用語が含まれているため、[この用語集](https://docs.microsoft.com/dotnet/machine-learning/resources/glossary?WT.mc_id=academic-77952-leestott) を見直してみましょう！ + +## 課題 + +[パラメータの調整](assignment.md) + +**免責事項**: +この文書は、機械ベースのAI翻訳サービスを使用して翻訳されています。正確性を期すために努めていますが、自動翻訳には誤りや不正確さが含まれる場合があります。元の言語での文書を権威ある情報源と見なすべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤訳について、当社は一切の責任を負いません。 \ No newline at end of file diff --git a/translations/ja/4-Classification/3-Classifiers-2/assignment.md b/translations/ja/4-Classification/3-Classifiers-2/assignment.md new file mode 100644 index 000000000..2ba3f6212 --- /dev/null +++ b/translations/ja/4-Classification/3-Classifiers-2/assignment.md @@ -0,0 +1,14 @@ +# パラメータ プレイ + +## 指示 + +これらの分類器を使用する際には、多くのパラメータがデフォルトで設定されています。VS Code の Intellisense を使ってそれらを掘り下げてみましょう。このレッスンで紹介された ML 分類技術の一つを採用し、さまざまなパラメータ値を調整してモデルを再訓練してください。なぜいくつかの変更がモデルの品質を向上させ、他の変更がそれを悪化させるのかを説明するノートブックを作成してください。回答には詳細を記載してください。 + +## ルーブリック + +| 基準 | 模範的 | 適切 | 改善が必要 | +| -------- | ---------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------- | ----------------------------- | +| | 分類器が完全に構築され、そのパラメータが調整され、変更点がテキストボックスで説明されたノートブックが提示されている | ノートブックが部分的に提示されているか、説明が不十分 | ノートブックにバグや欠陥がある | + +**免責事項**: +この文書は、機械ベースのAI翻訳サービスを使用して翻訳されています。正確性を期していますが、自動翻訳には誤りや不正確さが含まれる場合があります。元の言語の文書が信頼できる情報源と見なされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤訳について、当社は一切の責任を負いません。 \ No newline at end of file diff --git a/translations/ja/4-Classification/3-Classifiers-2/solution/Julia/README.md b/translations/ja/4-Classification/3-Classifiers-2/solution/Julia/README.md new file mode 100644 index 000000000..ac3249102 --- /dev/null +++ b/translations/ja/4-Classification/3-Classifiers-2/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**免責事項**: +この文書は機械ベースのAI翻訳サービスを使用して翻訳されています。正確さを期しておりますが、自動翻訳には誤りや不正確さが含まれる可能性があることをご承知おきください。権威ある情報源としては、原文の母国語の文書を考慮してください。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤解釈について、当社は一切の責任を負いません。 \ No newline at end of file diff --git a/translations/ja/4-Classification/4-Applied/README.md b/translations/ja/4-Classification/4-Applied/README.md new file mode 100644 index 000000000..49ea4b8f0 --- /dev/null +++ b/translations/ja/4-Classification/4-Applied/README.md @@ -0,0 +1,317 @@ +# 料理推薦Webアプリを作成しよう + +このレッスンでは、以前のレッスンで学んだ技術と、このシリーズ全体で使用されているおいしい料理データセットを使用して、分類モデルを構築します。さらに、保存したモデルを使用する小さなWebアプリを構築し、OnnxのWebランタイムを活用します。 + +機械学習の最も実用的な用途の一つは推薦システムの構築であり、今日からその方向に一歩を踏み出すことができます！ + +[](https://youtu.be/17wdM9AHMfg "Applied ML") + +> 🎥 上の画像をクリックしてビデオを見る: Jen Looperが分類された料理データを使用してWebアプリを構築します + +## [レッスン前クイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/25/) + +このレッスンで学ぶこと: + +- モデルを構築してOnnxモデルとして保存する方法 +- Netronを使用してモデルを検査する方法 +- 推論のためにWebアプリでモデルを使用する方法 + +## モデルを構築しよう + +ビジネスシステムにこれらの技術を活用するためには、応用機械学習システムを構築することが重要です。Onnxを使用することで、Webアプリケーション内でモデルを使用し（必要に応じてオフラインコンテキストでも使用可能）、JavaScriptアプリケーションで使用することができます。 + +[前のレッスン](../../3-Web-App/1-Web-App/README.md)では、UFO目撃情報についての回帰モデルを構築し、それをFlaskアプリで使用しました。このアーキテクチャは非常に有用ですが、フルスタックのPythonアプリであり、JavaScriptアプリケーションを使用する要件があるかもしれません。 + +このレッスンでは、推論のための基本的なJavaScriptベースのシステムを構築できます。しかし、まずモデルを訓練し、Onnxで使用するために変換する必要があります。 + +## 演習 - 分類モデルを訓練しよう + +まず、使用したクリーンな料理データセットを使用して分類モデルを訓練します。 + +1. 有用なライブラリをインポートすることから始めます： + + ```python + !pip install skl2onnx + import pandas as pd + ``` + + Scikit-learnモデルをOnnx形式に変換するために '[skl2onnx](https://onnx.ai/sklearn-onnx/)' が必要です。 + +1. 次に、前のレッスンと同じ方法でデータを処理し、`read_csv()`を使用してCSVファイルを読み込みます： + + ```python + data = pd.read_csv('../data/cleaned_cuisines.csv') + data.head() + ``` + +1. 不要な最初の2列を削除し、残りのデータを 'X' として保存します： + + ```python + X = data.iloc[:,2:] + X.head() + ``` + +1. ラベルを 'y' として保存します： + + ```python + y = data[['cuisine']] + y.head() + + ``` + +### 訓練ルーチンを開始しよう + +'SVC' ライブラリを使用します。これは高い精度を持っています。 + +1. Scikit-learnから適切なライブラリをインポートします： + + ```python + from sklearn.model_selection import train_test_split + from sklearn.svm import SVC + from sklearn.model_selection import cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report + ``` + +1. 訓練セットとテストセットを分けます： + + ```python + X_train, X_test, y_train, y_test = train_test_split(X,y,test_size=0.3) + ``` + +1. 前のレッスンで行ったように、SVC分類モデルを構築します： + + ```python + model = SVC(kernel='linear', C=10, probability=True,random_state=0) + model.fit(X_train,y_train.values.ravel()) + ``` + +1. 次に、`predict()`を呼び出してモデルをテストします： + + ```python + y_pred = model.predict(X_test) + ``` + +1. モデルの品質を確認するために分類レポートを出力します： + + ```python + print(classification_report(y_test,y_pred)) + ``` + + 以前見たように、精度は良好です： + + ```output + precision recall f1-score support + + chinese 0.72 0.69 0.70 257 + indian 0.91 0.87 0.89 243 + japanese 0.79 0.77 0.78 239 + korean 0.83 0.79 0.81 236 + thai 0.72 0.84 0.78 224 + + accuracy 0.79 1199 + macro avg 0.79 0.79 0.79 1199 + weighted avg 0.79 0.79 0.79 1199 + ``` + +### モデルをOnnxに変換しよう + +適切なテンソル数で変換を行うことを確認してください。このデータセットには380の成分が記載されているため、`FloatTensorType`にその数を記載する必要があります： + +1. 380のテンソル数を使用して変換します。 + + ```python + from skl2onnx import convert_sklearn + from skl2onnx.common.data_types import FloatTensorType + + initial_type = [('float_input', FloatTensorType([None, 380]))] + options = {id(model): {'nocl': True, 'zipmap': False}} + ``` + +1. onxを作成し、ファイル **model.onnx** として保存します： + + ```python + onx = convert_sklearn(model, initial_types=initial_type, options=options) + with open("./model.onnx", "wb") as f: + f.write(onx.SerializeToString()) + ``` + + > Note、変換スクリプトに[オプション](https://onnx.ai/sklearn-onnx/parameterized.html)を渡すことができます。この場合、'nocl'をTrue、'zipmap'をFalseに設定しました。これは分類モデルなので、辞書のリストを生成するZipMapを削除するオプションがあります（必要ありません）。`nocl` refers to class information being included in the model. Reduce your model's size by setting `nocl` to 'True'. + +Running the entire notebook will now build an Onnx model and save it to this folder. + +## View your model + +Onnx models are not very visible in Visual Studio code, but there's a very good free software that many researchers use to visualize the model to ensure that it is properly built. Download [Netron](https://github.com/lutzroeder/Netron) and open your model.onnx file. You can see your simple model visualized, with its 380 inputs and classifier listed: + + + +Netron is a helpful tool to view your models. + +Now you are ready to use this neat model in a web app. Let's build an app that will come in handy when you look in your refrigerator and try to figure out which combination of your leftover ingredients you can use to cook a given cuisine, as determined by your model. + +## Build a recommender web application + +You can use your model directly in a web app. This architecture also allows you to run it locally and even offline if needed. Start by creating an `index.html` file in the same folder where you stored your `model.onnx`ファイル。 + +1. このファイル _index.html_ に次のマークアップを追加します： + + ```html + + + + + + ... + + + ``` + +1. 次に、`body`タグ内で、いくつかの成分を反映するチェックボックスのリストを表示するための少しのマークアップを追加します： + + ```html +Cuisine Matcher +Check your refrigerator. What can you create?
++++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + +++ ++ ``` + + 各チェックボックスには値が与えられています。これは、データセットに従って成分が見つかるインデックスを反映しています。例えば、リンゴはこのアルファベット順のリストの5番目の列を占めるため、その値は'4'です（0から数え始めます）。[成分スプレッドシート](../../../../4-Classification/data/ingredient_indexes.csv)を参照して、特定の成分のインデックスを確認できます。 + + index.htmlファイルでの作業を続け、最終的な閉じタグ``の後にモデルを呼び出すスクリプトブロックを追加します。 + +1. まず、[Onnxランタイム](https://www.onnxruntime.ai/)をインポートします： + + ```html + + ``` + + > Onnxランタイムは、幅広いハードウェアプラットフォームでOnnxモデルを実行できるようにするために使用され、最適化と使用するためのAPIを提供します。 + +1. ランタイムが設定されたら、それを呼び出します： + + ```html + + ``` + +このコードでは、いくつかのことが行われています： + +1. モデルに送信するために、成分チェックボックスがチェックされているかどうかに応じて設定される380の可能な値（1または0）の配列を作成しました。 +2. チェックボックスの配列を作成し、それらがチェックされているかどうかを決定する方法を`init` function that is called when the application starts. When a checkbox is checked, the `ingredients` array is altered to reflect the chosen ingredient. +3. You created a `testCheckboxes` function that checks whether any checkbox was checked. +4. You use `startInference` function when the button is pressed and, if any checkbox is checked, you start inference. +5. The inference routine includes: + 1. Setting up an asynchronous load of the model + 2. Creating a Tensor structure to send to the model + 3. Creating 'feeds' that reflects the `float_input` input that you created when training your model (you can use Netron to verify that name) + 4. Sending these 'feeds' to the model and waiting for a response + +## Test your application + +Open a terminal session in Visual Studio Code in the folder where your index.html file resides. Ensure that you have [http-server](https://www.npmjs.com/package/http-server) installed globally, and type `http-server`プロンプトで。ローカルホストが開き、Webアプリを見ることができます。さまざまな成分に基づいてどの料理が推奨されるかを確認してください： + + + +おめでとうございます、いくつかのフィールドを持つ「推薦」Webアプリを作成しました。このシステムを構築するために時間をかけてください！ +## 🚀チャレンジ + +Webアプリは非常にミニマルなので、[ingredient_indexes](../../../../4-Classification/data/ingredient_indexes.csv)データの成分とそのインデックスを使用して引き続き構築してください。どのような風味の組み合わせが特定の国の料理を作るのに役立ちますか？ + +## [レッスン後クイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/26/) + +## レビューと自己学習 + +このレッスンでは、食材の推薦システムの作成の有用性について簡単に触れましたが、この分野のMLアプリケーションには多くの例があります。これらのシステムがどのように構築されているかについてもっと読んでください： + +- https://www.sciencedirect.com/topics/computer-science/recommendation-engine +- https://www.technologyreview.com/2014/08/25/171547/the-ultimate-challenge-for-recommendation-engines/ +- https://www.technologyreview.com/2015/03/23/168831/everything-is-a-recommendation/ + +## 課題 + +[新しい推薦システムを構築する](assignment.md) + +**免責事項**: +この文書は、機械ベースのAI翻訳サービスを使用して翻訳されています。正確性を期すために努力していますが、自動翻訳には誤りや不正確さが含まれる場合があります。元の言語での原文を権威ある情報源と見なすべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤解について、当社は責任を負いません。 \ No newline at end of file diff --git a/translations/ja/4-Classification/4-Applied/assignment.md b/translations/ja/4-Classification/4-Applied/assignment.md new file mode 100644 index 000000000..d337288de --- /dev/null +++ b/translations/ja/4-Classification/4-Applied/assignment.md @@ -0,0 +1,14 @@ +# レコメンダーの構築 + +## 指示 + +このレッスンの演習を通じて、Onnx Runtimeと変換されたOnnxモデルを使用してJavaScriptベースのウェブアプリを構築する方法を学びました。これらのレッスンのデータや他のソースからのデータを使用して、新しいレコメンダーを構築する実験をしてみてください（クレジットを忘れずに）。例えば、さまざまな性格属性に基づいたペットレコメンダーや、人の気分に基づいた音楽ジャンルのレコメンダーを作成することができます。創造力を発揮してください！ + +## ルブリック + +| 基準 | 模範的 | 適切 | 改善が必要 | +| -------- | ---------------------------------------------------------------------- | ------------------------------------- | --------------------------------- | +| | ウェブアプリとノートブックが提示されており、どちらもよく文書化されて動作している | そのうちの一つが欠けているか、または欠陥がある | 両方が欠けているか、または欠陥がある | + +**免責事項**: +この文書は機械翻訳AIサービスを使用して翻訳されています。正確さを期すよう努めていますが、自動翻訳には誤りや不正確さが含まれる場合があります。原文の母国語で書かれた文書が権威ある情報源とみなされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤認について、当社は一切の責任を負いません。 \ No newline at end of file diff --git a/translations/ja/4-Classification/README.md b/translations/ja/4-Classification/README.md new file mode 100644 index 000000000..6c6f277a1 --- /dev/null +++ b/translations/ja/4-Classification/README.md @@ -0,0 +1,30 @@ +# 分類の始め方 + +## 地域のトピック: 美味しいアジアとインドの料理 🍜 + +アジアとインドでは、食文化が非常に多様であり、非常に美味しいです！地域の料理に関するデータを見て、その材料を理解してみましょう。 + + +> Lisheng Changによる写真 Unsplash + +## 学べること + +このセクションでは、回帰に関する以前の学習を基にして、データをよりよく理解するために使用できる他の分類器について学びます。 + +> 分類モデルを扱うことを学ぶのに役立つ低コードツールがあります。このタスクには [Azure ML](https://docs.microsoft.com/learn/modules/create-classification-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott) を試してみてください。 + +## レッスン + +1. [分類の紹介](1-Introduction/README.md) +2. [その他の分類器](2-Classifiers-1/README.md) +3. [さらに別の分類器](3-Classifiers-2/README.md) +4. [応用機械学習: ウェブアプリを作成する](4-Applied/README.md) + +## クレジット + +「分類の始め方」は [Cassie Breviu](https://www.twitter.com/cassiebreviu) と [Jen Looper](https://www.twitter.com/jenlooper) によって♥️で書かれました。 + +美味しい料理のデータセットは [Kaggle](https://www.kaggle.com/hoandan/asian-and-indian-cuisines) から提供されました。 + +**免責事項**: +この文書は機械ベースのAI翻訳サービスを使用して翻訳されています。正確さを期すために努力しておりますが、自動翻訳には誤りや不正確さが含まれる可能性があります。原文の言語で書かれた元の文書が権威ある情報源と見なされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤解については責任を負いかねます。 \ No newline at end of file diff --git a/translations/ja/5-Clustering/1-Visualize/README.md b/translations/ja/5-Clustering/1-Visualize/README.md new file mode 100644 index 000000000..c902881a9 --- /dev/null +++ b/translations/ja/5-Clustering/1-Visualize/README.md @@ -0,0 +1,144 @@ +# クラスタリング入門 + +クラスタリングは、データセットがラベル付けされていない、またはその入力が事前定義された出力と一致していないことを前提とする[教師なし学習](https://wikipedia.org/wiki/Unsupervised_learning)の一種です。さまざまなアルゴリズムを使用してラベルのないデータを整理し、データ内のパターンに従ってグループ化を提供します。 + +[](https://youtu.be/ty2advRiWJM "No One Like You by PSquare") + +> 🎥 上の画像をクリックするとビデオが再生されます。クラスタリングを使った機械学習を勉強しながら、ナイジェリアのダンスホールトラックを楽しんでください。これはPSquareの2014年の高評価の曲です。 + +## [プレ講義クイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/27/) +### イントロダクション + +[クラスタリング](https://link.springer.com/referenceworkentry/10.1007%2F978-0-387-30164-8_124)はデータ探索に非常に役立ちます。ナイジェリアの聴衆が音楽を消費する方法に関するトレンドやパターンを発見できるかどうか見てみましょう。 + +✅ クラスタリングの利用方法について少し考えてみてください。現実世界では、洗濯物を家族ごとに仕分けるときにクラスタリングが行われます🧦👕👖🩲。データサイエンスでは、ユーザーの好みを分析したり、ラベルのないデータセットの特性を決定したりする際にクラスタリングが行われます。クラスタリングは、混沌とした状況を整理するのに役立ちます。例えば、靴下の引き出しのように。 + +[](https://youtu.be/esmzYhuFnds "Introduction to Clustering") + +> 🎥 上の画像をクリックするとビデオが再生されます。MITのジョン・グットタグがクラスタリングを紹介します。 + +プロフェッショナルな設定では、クラスタリングは市場セグメンテーションや、どの年齢層がどの商品を購入するかの決定などに使用されます。別の使用例としては、クレジットカード取引のデータセットから詐欺を検出するための異常検出があります。また、医療スキャンのバッチから腫瘍を特定するためにクラスタリングを使用することもできます。 + +✅ 銀行、eコマース、ビジネスの設定で「野生の中で」クラスタリングに遭遇した方法について考えてみてください。 + +> 🎓 興味深いことに、クラスタ分析は1930年代に人類学と心理学の分野で始まりました。どのように使用されたか想像できますか？ + +また、検索結果をグループ化するために使用することもできます。例えば、ショッピングリンク、画像、レビューなど。クラスタリングは、大規模なデータセットを減らし、より詳細な分析を行いたいときに役立ちます。この技術は、他のモデルを構築する前にデータを理解するために使用されます。 + +✅ データがクラスタに整理されると、クラスタIDを割り当てます。この技術はデータセットのプライバシーを保護する際に役立ちます。クラスタIDでデータポイントを参照することで、より具体的な識別可能なデータを使用せずに済みます。他の要素ではなくクラスタIDを使用して識別する理由を考えてみてください。 + +クラスタリング技術の理解を深めるために、この[Learnモジュール](https://docs.microsoft.com/learn/modules/train-evaluate-cluster-models?WT.mc_id=academic-77952-leestott)を参照してください。 + +## クラスタリングの始め方 + +[Scikit-learnは](https://scikit-learn.org/stable/modules/clustering.html)クラスタリングを実行するための多くの方法を提供しています。選択するタイプは使用ケースに依存します。ドキュメントによると、各方法にはさまざまな利点があります。以下は、Scikit-learnでサポートされている方法とその適切な使用ケースの簡略化された表です： + +| メソッド名 | 使用ケース | +| :--------------------------- | :--------------------------------------------------------------------- | +| K-Means | 一般的な目的、帰納的 | +| Affinity propagation | 多くの、不均一なクラスタ、帰納的 | +| Mean-shift | 多くの、不均一なクラスタ、帰納的 | +| Spectral clustering | 少数の、均一なクラスタ、推論的 | +| Ward hierarchical clustering | 多くの、制約されたクラスタ、推論的 | +| Agglomerative clustering | 多くの、制約された、非ユークリッド距離、推論的 | +| DBSCAN | 非平坦な幾何学、不均一なクラスタ、推論的 | +| OPTICS | 非平坦な幾何学、変動密度の不均一なクラスタ、推論的 | +| Gaussian mixtures | 平坦な幾何学、帰納的 | +| BIRCH | 外れ値のある大規模なデータセット、帰納的 | + +> 🎓 クラスタを作成する方法は、データポイントをグループにまとめる方法に大きく関係しています。いくつかの用語を解説しましょう： +> +> 🎓 ['推論的' vs. '帰納的'](https://wikipedia.org/wiki/Transduction_(machine_learning)) +> +> 推論的推論は、特定のテストケースにマッピングされる観察されたトレーニングケースから導かれます。帰納的推論は、一般的なルールにマッピングされるトレーニングケースから導かれ、それがテストケースに適用されます。 +> +> 例：部分的にラベル付けされたデータセットがあると想像してください。いくつかは「レコード」、いくつかは「CD」、いくつかは空白です。あなたの仕事は空白にラベルを付けることです。帰納的アプローチを選択すると、「レコード」と「CD」を探すモデルをトレーニングし、そのラベルをラベルのないデータに適用します。このアプローチは、実際には「カセット」であるものを分類するのに苦労します。一方、推論的アプローチは、似たアイテムをグループ化し、そのグループにラベルを適用することで、この未知のデータをより効果的に処理します。この場合、クラスタは「丸い音楽のもの」や「四角い音楽のもの」を反映するかもしれません。 +> +> 🎓 ['非平坦' vs. '平坦'な幾何学](https://datascience.stackexchange.com/questions/52260/terminology-flat-geometry-in-the-context-of-clustering) +> +> 数学的用語から派生した非平坦 vs. 平坦な幾何学は、ポイント間の距離を「平坦」（[ユークリッド](https://wikipedia.org/wiki/Euclidean_geometry)）または「非平坦」（非ユークリッド）な幾何学的方法で測定することを指します。 +> +>'平坦'はユークリッド幾何学（部分的には「平面」幾何学として教えられる）を指し、非平坦は非ユークリッド幾何学を指します。幾何学が機械学習と何の関係があるのでしょうか？数学に根ざした2つの分野として、クラスタ内のポイント間の距離を測定する共通の方法が必要であり、それはデータの性質に応じて「平坦」または「非平坦」な方法で行うことができます。[ユークリッド距離](https://wikipedia.org/wiki/Euclidean_distance)は、2つのポイント間の線分の長さとして測定されます。[非ユークリッド距離](https://wikipedia.org/wiki/Non-Euclidean_geometry)は曲線に沿って測定されます。データが平面上に存在しないように見える場合、特殊なアルゴリズムを使用する必要があるかもしれません。 +> + +> インフォグラフィック: [Dasani Madipalli](https://twitter.com/dasani_decoded) +> +> 🎓 ['距離'](https://web.stanford.edu/class/cs345a/slides/12-clustering.pdf) +> +> クラスタは、その距離行列、つまりポイント間の距離によって定義されます。この距離は、いくつかの方法で測定できます。ユークリッドクラスタはポイント値の平均によって定義され、「重心」または中心点を含みます。距離はその重心までの距離によって測定されます。非ユークリッド距離は「クラストロイド」と呼ばれる最も近いポイントによって測定されます。クラストロイドはさまざまな方法で定義できます。 +> +> 🎓 ['制約された'](https://wikipedia.org/wiki/Constrained_clustering) +> +> [制約付きクラスタリング](https://web.cs.ucdavis.edu/~davidson/Publications/ICDMTutorial.pdf)は、この教師なし方法に「半教師あり」学習を導入します。ポイント間の関係は「リンクできない」または「リンクしなければならない」としてフラグが立てられ、データセットにいくつかのルールが適用されます。 +> +>例：アルゴリズムがラベルのないまたは半ラベルのデータのバッチに自由に設定されると、生成されるクラスタは質が低い可能性があります。上記の例では、クラスタは「丸い音楽のもの」、「四角い音楽のもの」、「三角形のもの」、「クッキー」をグループ化するかもしれません。いくつかの制約、つまりフォローするルール（「アイテムはプラスチックでなければならない」、「アイテムは音楽を生成できる必要がある」）を与えると、アルゴリズムがより良い選択をするのに役立ちます。 +> +> 🎓 '密度' +> +> 'ノイズ'の多いデータは「密度が高い」と見なされます。そのクラスタ内のポイント間の距離は、調査の結果、より密度が高い、または低い、つまり「混雑している」ことがわかるかもしれません。このデータは適切なクラスタリング方法で分析する必要があります。[この記事](https://www.kdnuggets.com/2020/02/understanding-density-based-clustering.html)は、不均一なクラスタ密度を持つノイズの多いデータセットを探索するためにK-MeansクラスタリングとHDBSCANアルゴリズムを使用する違いを示しています。 + +## クラスタリングアルゴリズム + +クラスタリングアルゴリズムは100以上あり、その使用は手元のデータの性質に依存します。主要なものをいくつか紹介しましょう： + +- **階層的クラスタリング**。オブジェクトが遠くのオブジェクトよりも近くのオブジェクトに基づいて分類される場合、クラスタはメンバーの他のオブジェクトとの距離に基づいて形成されます。Scikit-learnの凝集クラスタリングは階層的です。 + +  + > インフォグラフィック: [Dasani Madipalli](https://twitter.com/dasani_decoded) + +- **重心クラスタリング**。この人気のあるアルゴリズムは、'k'、つまり形成するクラスタの数を選択する必要があります。その後、アルゴリズムはクラスタの中心点を決定し、その点の周りにデータを収集します。[K-meansクラスタリング](https://wikipedia.org/wiki/K-means_clustering)は重心クラスタリングの人気バージョンです。中心は最も近い平均によって決定されるため、この名前が付いています。クラスタからの二乗距離が最小化されます。 + +  + > インフォグラフィック: [Dasani Madipalli](https://twitter.com/dasani_decoded) + +- **分布ベースのクラスタリング**。統計モデリングに基づいており、分布ベースのクラスタリングはデータポイントがクラスタに属する確率を決定し、それに応じて割り当てます。ガウス混合法はこのタイプに属します。 + +- **密度ベースのクラスタリング**。データポイントはその密度、つまり互いの周りにグループ化されることに基づいてクラスタに割り当てられます。グループから遠く離れたデータポイントは外れ値またはノイズと見なされます。DBSCAN、Mean-shift、およびOPTICSはこのタイプのクラスタリングに属します。 + +- **グリッドベースのクラスタリング**。多次元データセットの場合、グリッドが作成され、データはグリッドのセルに分割され、それによってクラスタが作成されます。 + +## 演習 - データをクラスタリングする + +クラスタリング技術は適切な視覚化によって大いに助けられるので、音楽データを視覚化することから始めましょう。この演習は、このデータの性質に最も効果的なクラスタリング方法を決定するのに役立ちます。 + +1. このフォルダ内の[_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/1-Visualize/notebook.ipynb)ファイルを開きます。 + +1. 良いデータ視覚化のために`Seaborn`パッケージをインポートします。 + + ```python + !pip install seaborn + ``` + +1. [_nigerian-songs.csv_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/data/nigerian-songs.csv)から曲データを追加します。曲に関するデータでデータフレームを読み込みます。ライブラリをインポートし、データをダンプしてこのデータを探索する準備をします： + + ```python + import matplotlib.pyplot as plt + import pandas as pd + + df = pd.read_csv("../data/nigerian-songs.csv") + df.head() + ``` + + 最初の数行のデータを確認します： + + | | name | album | artist | artist_top_genre | release_date | length | popularity | danceability | acousticness | energy | instrumentalness | liveness | loudness | speechiness | tempo | time_signature | + | --- | ------------------------ | ---------------------------- | ------------------- | ---------------- | ------------ | ------ | ---------- | ------------ | ------------ | ------ | ---------------- | -------- | -------- | ----------- | ------- | -------------- | + | 0 | Sparky | Mandy & The Jungle | Cruel Santino | alternative r&b | 2019 | 144000 | 48 | 0.666 | 0.851 | 0.42 | 0.534 | 0.11 | -6.699 | 0.0829 | 133.015 | 5 | + | 1 | shuga rush | EVERYTHING YOU HEARD IS TRUE | Odunsi (The Engine) | afropop | 2020 | 89488 | 30 | 0.71 | 0.0822 | 0.683 | 0.000169 | 0.101 | -5.64 | 0.36 | 129.993 | 3 | + | 2 | LITT! | LITT! | AYLØ | indie r&b | 2018 | 207758 | 40 | 0.836 | 0.272 | 0.564 | 0.000537 | 0.11 | -7.127 | 0.0424 | 130.005 | 4 | + | 3 | Confident / Feeling Cool | Enjoy Your Life | Lady Donli | nigerian pop | 2019 | 175135 | 14 | 0.894 | 0.798 | 0.611 | 0.000187 | 0.0964 | -4.961 | 0.113 | 111.087 | 4 | + | 4 | wanted you | rare. | Odunsi (The Engine) | afropop | 2018 | 152049 | 25 +## [講義後のクイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/28/) + +## 復習と自主学習 + +クラスタリングアルゴリズムを適用する前に、データセットの性質を理解することが重要です。このトピックについてもっと知りたい方は[こちら](https://www.kdnuggets.com/2019/10/right-clustering-algorithm.html)をご覧ください。 + +[この役立つ記事](https://www.freecodecamp.org/news/8-clustering-algorithms-in-machine-learning-that-all-data-scientists-should-know/)では、さまざまなデータ形状に応じた異なるクラスタリングアルゴリズムの挙動について説明しています。 + +## 課題 + +[クラスタリングの他の可視化方法を調査する](assignment.md) + +**免責事項**: +この文書は、機械ベースのAI翻訳サービスを使用して翻訳されています。正確さを期していますが、自動翻訳にはエラーや不正確さが含まれる場合がありますのでご注意ください。元の言語での原文が権威ある情報源と見なされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤解について、当社は責任を負いません。 \ No newline at end of file diff --git a/translations/ja/5-Clustering/1-Visualize/assignment.md b/translations/ja/5-Clustering/1-Visualize/assignment.md new file mode 100644 index 000000000..0bdc36b12 --- /dev/null +++ b/translations/ja/5-Clustering/1-Visualize/assignment.md @@ -0,0 +1,14 @@ +# クラスタリングのための他の視覚化手法の調査 + +## 指示 + +このレッスンでは、データをプロットしてクラスタリングの準備をするためのいくつかの視覚化手法について学びました。特に散布図は、オブジェクトのグループを見つけるのに役立ちます。散布図を作成するための異なる方法や異なるライブラリを調査し、その作業をノートブックに記録してください。このレッスンのデータ、他のレッスンのデータ、または自分で調達したデータを使用できます（ただし、ノートブックにはその出典を明記してください）。散布図を使用してデータをプロットし、発見したことを説明してください。 + +## ルーブリック + +| 基準 | 模範的なもの | 適切なもの | 改善が必要なもの | +| -------- | ---------------------------------------------------------- | -------------------------------------------------------------------------- | ----------------------------------- | +| | 五つの十分に文書化された散布図を含むノートブックが提示される | 五つ未満の散布図を含むノートブックが提示され、文書化が不十分である | 不完全なノートブックが提示される | + +**免責事項**: +この文書は、機械ベースのAI翻訳サービスを使用して翻訳されています。正確性を期しておりますが、自動翻訳には誤りや不正確さが含まれる可能性があることをご承知おきください。権威ある情報源としては、原文の母国語の文書を考慮すべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤解について、当社は一切の責任を負いません。 \ No newline at end of file diff --git a/translations/ja/5-Clustering/1-Visualize/solution/Julia/README.md b/translations/ja/5-Clustering/1-Visualize/solution/Julia/README.md new file mode 100644 index 000000000..92ef81a0b --- /dev/null +++ b/translations/ja/5-Clustering/1-Visualize/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**免責事項**: +この文書は機械ベースのAI翻訳サービスを使用して翻訳されています。正確性を期しておりますが、自動翻訳には誤りや不正確な点が含まれる場合があります。元の言語の文書を権威ある情報源と見なすべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤訳について、当社は一切の責任を負いかねます。 \ No newline at end of file diff --git a/translations/ja/5-Clustering/2-K-Means/README.md b/translations/ja/5-Clustering/2-K-Means/README.md new file mode 100644 index 000000000..70347e105 --- /dev/null +++ b/translations/ja/5-Clustering/2-K-Means/README.md @@ -0,0 +1,250 @@ +# K-Means クラスタリング + +## [事前講義クイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/29/) + +このレッスンでは、以前にインポートしたナイジェリア音楽データセットを使用して、Scikit-learnを使ったクラスタリングの作成方法を学びます。K-Meansクラスタリングの基本について説明します。前のレッスンで学んだように、クラスタリングには多くの方法があり、使用する方法はデータに依存します。K-Meansは最も一般的なクラスタリング技術なので、これを試してみましょう！ + +学ぶ用語: + +- シルエットスコア +- エルボー法 +- 慣性 +- 分散 + +## 導入 + +[K-Meansクラスタリング](https://wikipedia.org/wiki/K-means_clustering)は、信号処理の分野から派生した手法です。データのグループを 'k' クラスターに分割し、観察を通じてクラスタリングを行います。各観察は、与えられたデータポイントを最も近い '平均'、つまりクラスターの中心点にグループ化するために機能します。 + +クラスタは、点（または '種子'）とその対応する領域を含む[ボロノイ図](https://wikipedia.org/wiki/Voronoi_diagram)として視覚化できます。 + + + +> インフォグラフィック by [Jen Looper](https://twitter.com/jenlooper) + +K-Meansクラスタリングのプロセスは[3ステップで実行されます](https://scikit-learn.org/stable/modules/clustering.html#k-means): + +1. アルゴリズムはデータセットからサンプリングしてk個の中心点を選択します。その後、以下をループします: + 1. 各サンプルを最も近いセントロイドに割り当てます。 + 2. 前のセントロイドに割り当てられたすべてのサンプルの平均値を取って新しいセントロイドを作成します。 + 3. その後、新旧のセントロイドの差を計算し、セントロイドが安定するまで繰り返します。 + +K-Meansの使用には、 'k' 、つまりセントロイドの数を設定する必要があるという欠点があります。幸いにも、 'エルボー法' は 'k' の適切な開始値を推定するのに役立ちます。すぐに試してみましょう。 + +## 前提条件 + +このレッスンの[_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/2-K-Means/notebook.ipynb)ファイルで作業します。このファイルには、前のレッスンで行ったデータのインポートと事前クリーニングが含まれています。 + +## 演習 - 準備 + +もう一度、曲のデータを見てみましょう。 + +1. 各列に対して `boxplot()` を呼び出してボックスプロットを作成します: + + ```python + plt.figure(figsize=(20,20), dpi=200) + + plt.subplot(4,3,1) + sns.boxplot(x = 'popularity', data = df) + + plt.subplot(4,3,2) + sns.boxplot(x = 'acousticness', data = df) + + plt.subplot(4,3,3) + sns.boxplot(x = 'energy', data = df) + + plt.subplot(4,3,4) + sns.boxplot(x = 'instrumentalness', data = df) + + plt.subplot(4,3,5) + sns.boxplot(x = 'liveness', data = df) + + plt.subplot(4,3,6) + sns.boxplot(x = 'loudness', data = df) + + plt.subplot(4,3,7) + sns.boxplot(x = 'speechiness', data = df) + + plt.subplot(4,3,8) + sns.boxplot(x = 'tempo', data = df) + + plt.subplot(4,3,9) + sns.boxplot(x = 'time_signature', data = df) + + plt.subplot(4,3,10) + sns.boxplot(x = 'danceability', data = df) + + plt.subplot(4,3,11) + sns.boxplot(x = 'length', data = df) + + plt.subplot(4,3,12) + sns.boxplot(x = 'release_date', data = df) + ``` + + このデータは少しノイズが多いです: 各列をボックスプロットとして観察すると、外れ値が見えます。 + +  + +データセットを通じてこれらの外れ値を削除することもできますが、それではデータが非常に少なくなります。 + +1. クラスタリング演習に使用する列を選択します。範囲が似ているものを選び、 `artist_top_genre` 列を数値データとしてエンコードします: + + ```python + from sklearn.preprocessing import LabelEncoder + le = LabelEncoder() + + X = df.loc[:, ('artist_top_genre','popularity','danceability','acousticness','loudness','energy')] + + y = df['artist_top_genre'] + + X['artist_top_genre'] = le.fit_transform(X['artist_top_genre']) + + y = le.transform(y) + ``` + +1. 次に、ターゲットとするクラスタ数を選択する必要があります。データセットから3つの曲のジャンルがあることがわかっているので、3つを試してみましょう: + + ```python + from sklearn.cluster import KMeans + + nclusters = 3 + seed = 0 + + km = KMeans(n_clusters=nclusters, random_state=seed) + km.fit(X) + + # Predict the cluster for each data point + + y_cluster_kmeans = km.predict(X) + y_cluster_kmeans + ``` + +データフレームの各行に対して予測されたクラスタ（0, 1, 2）が含まれた配列が表示されます。 + +1. この配列を使用して 'シルエットスコア' を計算します: + + ```python + from sklearn import metrics + score = metrics.silhouette_score(X, y_cluster_kmeans) + score + ``` + +## シルエットスコア + +シルエットスコアは1に近いほど良いです。このスコアは-1から1まで変動し、スコアが1の場合、クラスターは密集しており他のクラスターとよく分離されています。0に近い値は、隣接するクラスターの決定境界に非常に近いサンプルを持つオーバーラップするクラスターを表します。 [(ソース)](https://dzone.com/articles/kmeans-silhouette-score-explained-with-python-exam) + +私たちのスコアは**.53**ですので、中間です。これは、このタイプのクラスタリングにデータが特に適していないことを示していますが、続けてみましょう。 + +### 演習 - モデルの構築 + +1. `KMeans` をインポートし、クラスタリングプロセスを開始します。 + + ```python + from sklearn.cluster import KMeans + wcss = [] + + for i in range(1, 11): + kmeans = KMeans(n_clusters = i, init = 'k-means++', random_state = 42) + kmeans.fit(X) + wcss.append(kmeans.inertia_) + + ``` + + ここには説明する価値のあるいくつかの部分があります。 + + > 🎓 range: クラスタリングプロセスの反復回数です + + > 🎓 random_state: "セントロイドの初期化のための乱数生成を決定します。" [ソース](https://scikit-learn.org/stable/modules/generated/sklearn.cluster.KMeans.html#sklearn.cluster.KMeans) + + > 🎓 WCSS: "within-cluster sums of squares" は、クラスター内のすべてのポイントのクラスターセントロイドへの平均距離の平方を測定します。 [ソース](https://medium.com/@ODSC/unsupervised-learning-evaluating-clusters-bd47eed175ce). + + > 🎓 Inertia: K-Meansアルゴリズムは 'inertia' を最小化するセントロイドを選択しようとします。これは、"クラスターが内部的にどれだけ一貫しているかを測定するものです。" [ソース](https://scikit-learn.org/stable/modules/clustering.html). この値は各反復でwcss変数に追加されます。 + + > 🎓 k-means++: [Scikit-learn](https://scikit-learn.org/stable/modules/clustering.html#k-means) では、'k-means++' 最適化を使用できます。これは、"セントロイドをお互いに（一般的に）遠くに初期化し、ランダムな初期化よりもおそらく良い結果をもたらします。 + +### エルボー法 + +以前、3つの曲のジャンルをターゲットにしているため、3つのクラスターを選択するべきだと推測しました。しかし、それは本当でしょうか？ + +1. 'エルボー法' を使用して確認します。 + + ```python + plt.figure(figsize=(10,5)) + sns.lineplot(x=range(1, 11), y=wcss, marker='o', color='red') + plt.title('Elbow') + plt.xlabel('Number of clusters') + plt.ylabel('WCSS') + plt.show() + ``` + + 前のステップで構築した `wcss` 変数を使用して、クラスターの最適な数を示す 'エルボー' の曲がりを示すチャートを作成します。おそらくそれは **3** です！ + +  + +## 演習 - クラスタを表示する + +1. 今度は3つのクラスターを設定してプロセスを再試行し、クラスタを散布図として表示します: + + ```python + from sklearn.cluster import KMeans + kmeans = KMeans(n_clusters = 3) + kmeans.fit(X) + labels = kmeans.predict(X) + plt.scatter(df['popularity'],df['danceability'],c = labels) + plt.xlabel('popularity') + plt.ylabel('danceability') + plt.show() + ``` + +1. モデルの精度を確認します: + + ```python + labels = kmeans.labels_ + + correct_labels = sum(y == labels) + + print("Result: %d out of %d samples were correctly labeled." % (correct_labels, y.size)) + + print('Accuracy score: {0:0.2f}'. format(correct_labels/float(y.size))) + ``` + + このモデルの精度はあまり良くなく、クラスタの形状がその理由を示しています。 + +  + + このデータは不均衡で、相関が少なく、列の値の間に大きなばらつきがあり、うまくクラスタリングできません。実際、形成されるクラスタは、上で定義した3つのジャンルカテゴリに大きく影響されているか、偏っている可能性があります。これは学習プロセスでした！ + + Scikit-learnのドキュメントでは、このようにクラスタがあまりよく区別されていないモデルは '分散' の問題があるとされています: + +  + > Infographic from Scikit-learn + +## 分散 + +分散は "平均からの平方の差の平均" と定義されます [(ソース)](https://www.mathsisfun.com/data/standard-deviation.html). このクラスタリング問題の文脈では、データセットの数値が平均から少し離れすぎることを指します。 + +✅ これは、この問題を解決するためのすべての方法を考える良い機会です。データをもう少し調整しますか？他の列を使用しますか？別のアルゴリズムを使用しますか？ヒント: [データをスケーリング](https://www.mygreatlearning.com/blog/learning-data-science-with-k-means-clustering/) して正規化し、他の列をテストしてみてください。 + +> この '[分散計算機](https://www.calculatorsoup.com/calculators/statistics/variance-calculator.php)' を試して、概念をもう少し理解してください。 + +--- + +## 🚀チャレンジ + +このノートブックでパラメータを調整してみてください。データをさらにクリーニングすることでモデルの精度を向上させることができますか（たとえば、外れ値を削除するなど）？特定のデータサンプルに重みをつけることもできます。他にどのようにしてより良いクラスタを作成できますか？ + +ヒント: データをスケーリングしてみてください。ノートブックには、データ列が範囲の点で互いにより似るように標準スケーリングを追加するコメント付きのコードがあります。シルエットスコアは下がりますが、エルボーグラフの '曲がり' が滑らかになります。これは、データをスケーリングせずに放置すると、分散が少ないデータがより多くの重みを持つことになるためです。この問題についてさらに読みたい場合は、[こちら](https://stats.stackexchange.com/questions/21222/are-mean-normalization-and-feature-scaling-needed-for-k-means-clustering/21226#21226)を参照してください。 + +## [事後講義クイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/30/) + +## レビューと自主学習 + +このK-Meansシミュレーター[こちら](https://user.ceng.metu.edu.tr/~akifakkus/courses/ceng574/k-means/)を見てみてください。このツールを使用して、サンプルデータポイントを視覚化し、そのセントロイドを決定できます。データのランダム性、クラスタの数、セントロイドの数を編集できます。これにより、データがどのようにグループ化されるかのアイデアが得られますか？ + +また、スタンフォードの[K-Meansに関するハンドアウト](https://stanford.edu/~cpiech/cs221/handouts/kmeans.html)も見てみてください。 + +## 課題 + +[さまざまなクラスタリング手法を試してみてください](assignment.md) + +**免責事項**: +この文書は機械ベースのAI翻訳サービスを使用して翻訳されています。正確さを期すよう努めておりますが、自動翻訳には誤りや不正確さが含まれる可能性があります。原文が記載された母国語の文書が信頼できる情報源と見なされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用により生じる誤解や誤認について、当社は一切の責任を負いません。 \ No newline at end of file diff --git a/translations/ja/5-Clustering/2-K-Means/assignment.md b/translations/ja/5-Clustering/2-K-Means/assignment.md new file mode 100644 index 000000000..22351e672 --- /dev/null +++ b/translations/ja/5-Clustering/2-K-Means/assignment.md @@ -0,0 +1,13 @@ +# 異なるクラスタリング手法を試す + +## 指示 + +このレッスンでは、K-Meansクラスタリングについて学びました。時には、K-Meansがあなたのデータに適していない場合もあります。これらのレッスンや他の場所からデータを使用して（ソースを明記してください）、K-Meansを使用しない別のクラスタリング手法を示すノートブックを作成してください。何を学びましたか？ +## 評価基準 + +| 基準 | 優秀 | 適切 | 改善の余地あり | +| -------- | ------------------------------------------------------------- | -------------------------------------------------------------------- | ---------------------------- | +| | よく文書化されたクラスタリングモデルが提示されている | 十分な文書化がない、または不完全なノートブックが提示されている | 不完全な作業が提出されている | + +**免責事項**: +この文書は、機械ベースのAI翻訳サービスを使用して翻訳されています。正確性を期すために努力していますが、自動翻訳には誤りや不正確さが含まれる場合があります。権威ある情報源として、元の言語で書かれた原文を参照してください。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤訳について、当社は一切責任を負いません。 \ No newline at end of file diff --git a/translations/ja/5-Clustering/2-K-Means/solution/Julia/README.md b/translations/ja/5-Clustering/2-K-Means/solution/Julia/README.md new file mode 100644 index 000000000..8ff8ff839 --- /dev/null +++ b/translations/ja/5-Clustering/2-K-Means/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**免責事項**: +この文書は機械ベースのAI翻訳サービスを使用して翻訳されています。正確さを期しておりますが、自動翻訳には誤りや不正確さが含まれる場合があります。元の言語での文書が信頼できる情報源と見なされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤訳について、当社は一切の責任を負いません。 \ No newline at end of file diff --git a/translations/ja/5-Clustering/README.md b/translations/ja/5-Clustering/README.md new file mode 100644 index 000000000..63c955d8b --- /dev/null +++ b/translations/ja/5-Clustering/README.md @@ -0,0 +1,31 @@ +# 機械学習のためのクラスタリングモデル + +クラスタリングは、互いに似たオブジェクトを見つけ、それらをクラスタと呼ばれるグループにまとめる機械学習のタスクです。クラスタリングが他の機械学習のアプローチと異なるのは、すべてが自動的に行われる点です。実際、これは教師あり学習とは対極にあると言えます。 + +## 地域トピック: ナイジェリアの聴衆の音楽の好みに基づくクラスタリングモデル 🎧 + +ナイジェリアの多様な聴衆には、多様な音楽の好みがあります。Spotifyからスクレイピングされたデータを使用して（[この記事](https://towardsdatascience.com/country-wise-visual-analysis-of-music-taste-using-spotify-api-seaborn-in-python-77f5b749b421)に触発されて）、ナイジェリアで人気のある音楽を見てみましょう。このデータセットには、さまざまな曲の「ダンスしやすさ」スコア、「アコースティック性」、音量、「スピーチ性」、人気度、エネルギーに関するデータが含まれています。このデータの中にどのようなパターンが見つかるか、興味深いところです！ + + + +> 写真提供：Marcela Laskoski on Unsplash + +この一連のレッスンでは、クラスタリング技術を使用してデータを分析する新しい方法を発見します。クラスタリングは、データセットにラベルがない場合に特に有用です。ラベルがある場合は、前のレッスンで学んだような分類技術の方が役立つかもしれません。しかし、ラベルのないデータをグループ化しようとしている場合、クラスタリングはパターンを発見するための優れた方法です。 + +> クラスタリングモデルを扱うための学習に役立つローコードツールがあります。試してみてください [Azure ML for this task](https://docs.microsoft.com/learn/modules/create-clustering-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott) + +## レッスン + +1. [クラスタリングの紹介](1-Visualize/README.md) +2. [K-Meansクラスタリング](2-K-Means/README.md) + +## クレジット + +これらのレッスンは🎶を持つ[Jen Looper](https://www.twitter.com/jenlooper)によって書かれ、[Rishit Dagli](https://rishit_dagli)と[Muhammad Sakib Khan Inan](https://twitter.com/Sakibinan)の役立つレビューがありました。 + +[Nigerian Songs](https://www.kaggle.com/sootersaalu/nigerian-songs-spotify)データセットは、SpotifyからスクレイピングされたものとしてKaggleから入手しました。 + +このレッスンの作成に役立った有用なK-Meansの例には、この[iris exploration](https://www.kaggle.com/bburns/iris-exploration-pca-k-means-and-gmm-clustering)、この[introductory notebook](https://www.kaggle.com/prashant111/k-means-clustering-with-python)、およびこの[hypothetical NGO example](https://www.kaggle.com/ankandash/pca-k-means-clustering-hierarchical-clustering)が含まれています。 + +**免責事項**： +この文書は、機械翻訳AIサービスを使用して翻訳されています。正確性を期しておりますが、自動翻訳には誤りや不正確さが含まれる場合がありますのでご注意ください。元の言語の文書が権威ある情報源とみなされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤認について、当社は一切の責任を負いません。 \ No newline at end of file diff --git a/translations/ja/6-NLP/1-Introduction-to-NLP/README.md b/translations/ja/6-NLP/1-Introduction-to-NLP/README.md new file mode 100644 index 000000000..522e1ae1f --- /dev/null +++ b/translations/ja/6-NLP/1-Introduction-to-NLP/README.md @@ -0,0 +1,168 @@ +# 自然言語処理の入門 + +このレッスンでは、*計算言語学*の一分野である*自然言語処理*の簡単な歴史と重要な概念を紹介します。 + +## [講義前のクイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/31/) + +## はじめに + +NLP（自然言語処理）は、機械学習が適用され、実際のソフトウェアで使用されている最もよく知られた分野の一つです。 + +✅ 日常的に使用しているソフトウェアの中で、NLPが組み込まれているものを考えてみてください。例えば、ワードプロセッサやモバイルアプリなど。 + +このレッスンで学ぶこと： + +- **言語の概念**。言語がどのように発展し、主要な研究分野が何であったか。 +- **定義と概念**。コンピュータがテキストを処理する方法に関する定義と概念、例えばパーシング、文法、名詞と動詞の識別などを学びます。このレッスンにはいくつかのコーディングタスクが含まれており、次のレッスンでコーディングを学ぶための重要な概念がいくつか紹介されます。 + +## 計算言語学 + +計算言語学は、何十年にもわたる研究と開発の分野で、コンピュータが言語をどのように扱い、さらには理解し、翻訳し、コミュニケーションできるかを研究します。自然言語処理（NLP）は、コンピュータが「自然」な、つまり人間の言語をどのように処理できるかに焦点を当てた関連分野です。 + +### 例 - 音声入力 + +もし、タイピングの代わりに電話に向かって話したり、仮想アシスタントに質問をしたことがあるなら、その音声はテキスト形式に変換され、話した言語から処理または*パース*されました。検出されたキーワードは、その後、電話やアシスタントが理解し、実行できる形式に処理されました。 + + +> 本当の言語理解は難しい！画像提供：[Jen Looper](https://twitter.com/jenlooper) + +### この技術はどのように実現されているのか？ + +これは、誰かがこのためのコンピュータプログラムを書いたからです。数十年前、一部のSF作家は、人々が主にコンピュータに話しかけ、コンピュータが常に彼らの意味を正確に理解するだろうと予測しました。残念ながら、これは多くの人が想像したよりも難しい問題であることが判明しました。今日では、問題ははるかに理解されていますが、文の意味を理解する際に「完璧な」自然言語処理を達成するには重大な課題があります。特に、ユーモアや皮肉などの感情を理解することは非常に難しい問題です。 + +この時点で、学校の授業で先生が文の文法の部分を教えたことを思い出すかもしれません。いくつかの国では、学生は文法や言語学を専用の科目として教えられますが、多くの国では、これらのトピックは言語を学ぶ一環として含まれています：小学校での最初の言語（読み書きを学ぶ）や、中学校や高校での第二言語などです。名詞と動詞や副詞と形容詞を区別するのが苦手でも心配しないでください！ + +*現在形*と*現在進行形*の違いに苦労している場合、それはあなた一人ではありません。これは多くの人、特にその言語のネイティブスピーカーにとっても難しいことです。良いニュースは、コンピュータは形式的なルールを適用するのが非常に得意であり、人間と同じように文を*パース*するコードを書くことを学ぶことができるということです。後で検討する大きな課題は、文の*意味*や*感情*を理解することです。 + +## 前提条件 + +このレッスンの主な前提条件は、このレッスンの言語を読んで理解できることです。数学の問題や方程式を解く必要はありません。元の著者はこのレッスンを英語で書きましたが、他の言語にも翻訳されているため、翻訳を読んでいる可能性もあります。異なる言語の文法ルールを比較するために、いくつかの異なる言語が使用される例があります。これらは翻訳されていませんが、説明文は翻訳されているため、意味は明確です。 + +コーディングタスクでは、Pythonを使用し、例はPython 3.8を使用しています。 + +このセクションで必要なのは： + +- **Python 3の理解**。Python 3でのプログラミング言語の理解。このレッスンでは、入力、ループ、ファイルの読み取り、配列を使用します。 +- **Visual Studio Code + 拡張機能**。Visual Studio CodeとそのPython拡張機能を使用します。または、お好みのPython IDEを使用することもできます。 +- **TextBlob**。 [TextBlob](https://github.com/sloria/TextBlob) はPythonの簡易テキスト処理ライブラリです。TextBlobのサイトの指示に従ってシステムにインストールしてください（以下のようにコーパスもインストールします）： + + ```bash + pip install -U textblob + python -m textblob.download_corpora + ``` + +> 💡 Tip: VS Code環境でPythonを直接実行できます。詳細は[docs](https://code.visualstudio.com/docs/languages/python?WT.mc_id=academic-77952-leestott)を参照してください。 + +## 機械との対話 + +コンピュータが人間の言語を理解しようとする歴史は数十年にわたり、自然言語処理を考えた最初の科学者の一人は*アラン・チューリング*です。 + +### 'チューリングテスト' + +チューリングが1950年代に*人工知能*を研究していたとき、人間とコンピュータ（タイプされた通信を介して）に会話テストを行い、人間が他の人間と会話しているのかコンピュータと会話しているのかを確信できない場合を考えました。 + +一定の会話時間の後、人間が回答がコンピュータからのものであるかどうかを判断できなかった場合、そのコンピュータは*考えている*と言えるのでしょうか？ + +### インスピレーション - '模倣ゲーム' + +このアイデアは、*模倣ゲーム*と呼ばれるパーティーゲームから来ました。このゲームでは、尋問者が一人部屋にいて、別の部屋にいる二人の人物（男性と女性）を識別する任務を負います。尋問者はメモを送ることができ、書かれた回答から謎の人物の性別を明らかにする質問を考えなければなりません。もちろん、別の部屋にいるプレイヤーたちは、正直に答えているように見せながら、尋問者を誤解させたり混乱させたりするような回答をすることで、尋問者を欺こうとします。 + +### エリザの開発 + +1960年代、MITの科学者*ジョセフ・ワイゼンバウム*は、[エリザ](https://wikipedia.org/wiki/ELIZA)というコンピュータ「セラピスト」を開発しました。エリザは人間に質問をし、彼らの回答を理解しているかのように見せかけました。しかし、エリザは文を解析し、特定の文法構造やキーワードを識別して合理的な回答をすることができましたが、文を*理解*しているとは言えませんでした。例えば、エリザが「**私は** 悲しい」という形式の文を提示された場合、エリザは文の単語を並べ替え、置き換えて「**あなたは** 悲しい 期間はどれくらいですか？」という回答を形成するかもしれません。 + +これは、エリザが文を理解し、続けて質問をしているかのような印象を与えましたが、実際には時制を変更し、いくつかの単語を追加していただけでした。エリザが回答するキーワードを識別できない場合、代わりに多くの異なる文に適用できるランダムな回答を返すことになります。例えば、ユーザーが「**あなたは** 自転車」と書いた場合、エリザは「**私は** 自転車 期間はどれくらいですか？」と回答するかもしれません。もっと合理的な回答ではなく。 + +[](https://youtu.be/RMK9AphfLco "エリザとのチャット") + +> 🎥 上の画像をクリックして、オリジナルのELIZAプログラムについてのビデオをご覧ください + +> 注：1966年に公開された[エリザ](https://cacm.acm.org/magazines/1966/1/13317-elizaa-computer-program-for-the-study-of-natural-language-communication-between-man-and-machine/abstract)のオリジナルの説明を読むことができます。ACMアカウントを持っている場合、または[wikipedia](https://wikipedia.org/wiki/ELIZA)でエリザについて読むこともできます。 + +## 演習 - 基本的な会話ボットのコーディング + +エリザのような会話ボットは、ユーザー入力を引き出し、理解しているかのように見せかけて応答するプログラムです。エリザとは異なり、私たちのボットは知的な会話をしているように見せかけるためのいくつかのルールを持っていません。代わりに、私たちのボットは、ほぼどんな些細な会話にも使えるランダムな応答を持つだけです。 + +### 計画 + +会話ボットを作成する際のステップ： + +1. ユーザーにボットとの対話方法を指示するテキストを表示 +2. ループを開始 + 1. ユーザー入力を受け取る + 2. ユーザーが終了を求めた場合は終了する + 3. ユーザー入力を処理し、応答を決定する（この場合、応答は可能な一般的な応答のリストからランダムに選ばれる） + 4. 応答を表示する +3. ステップ2に戻る + +### ボットの作成 + +次にボットを作成しましょう。まず、いくつかのフレーズを定義します。 + +1. 次のランダムな応答を持つPythonでこのボットを作成します： + + ```python + random_responses = ["That is quite interesting, please tell me more.", + "I see. Do go on.", + "Why do you say that?", + "Funny weather we've been having, isn't it?", + "Let's change the subject.", + "Did you catch the game last night?"] + ``` + + 以下は、参考のためのサンプル出力です（ユーザー入力は`>`で始まる行です）： + + ```output + Hello, I am Marvin, the simple robot. + You can end this conversation at any time by typing 'bye' + After typing each answer, press 'enter' + How are you today? + > I am good thanks + That is quite interesting, please tell me more. + > today I went for a walk + Did you catch the game last night? + > I did, but my team lost + Funny weather we've been having, isn't it? + > yes but I hope next week is better + Let's change the subject. + > ok, lets talk about music + Why do you say that? + > because I like music! + Why do you say that? + > bye + It was nice talking to you, goodbye! + ``` + + タスクの一つの可能な解決策は[こちら](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/1-Introduction-to-NLP/solution/bot.py)です + + ✅ 考えてみてください + + 1. ランダムな応答がボットが実際に理解していると思わせることができると思いますか？ + 2. ボットがより効果的になるためにはどんな機能が必要ですか？ + 3. ボットが本当に文の意味を理解できるなら、会話の前の文の意味も「覚えて」おく必要があるでしょうか？ + +--- + +## 🚀チャレンジ + +上記の「考えてみてください」の要素の一つを選び、それをコードに実装するか、擬似コードを使用して紙に解決策を書いてみてください。 + +次のレッスンでは、自然言語のパースと機械学習の他のアプローチについて学びます。 + +## [講義後のクイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/32/) + +## 復習と自己学習 + +以下の参考文献をさらに読み進める機会としてご覧ください。 + +### 参考文献 + +1. Schubert, Lenhart, "Computational Linguistics", *The Stanford Encyclopedia of Philosophy* (Spring 2020 Edition), Edward N. Zalta (ed.), URL =
Review | Positive Review | Tags | +| -------------- | ---------------------- | ---------------- | :------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | --------------------------------- | ----------------------------------------------------------------------------------------- | +| 7.8 | 1945 | 2.5 | This is currently not a hotel but a construction site I was terrorized from early morning and all day with unacceptable building noise while resting after a long trip and working in the room People were working all day i e with jackhammers in the adjacent rooms I asked for a room change but no silent room was available To make things worse I was overcharged I checked out in the evening since I had to leave very early flight and received an appropriate bill A day later the hotel made another charge without my consent in excess of booked price It's a terrible place Don't punish yourself by booking here | Nothing Terrible place Stay away | Business trip Couple Standard Double Room Stayed 2 nights | + +このゲストは、このホテルでの滞在に満足していなかったことがわかります。ホテルは7.8の良い平均スコアと1945のレビューを持っていますが、このレビュアーは2.5を与え、滞在がいかにネガティブだったかを115語で書いています。ポジティブレビュー欄に何も書いていなければ、ポジティブな点がなかったと推測できますが、7語の警告を書いています。単語の数だけを数える代わりに、単語の意味や感情を分析しないと、レビュアーの意図が歪んでしまうかもしれません。奇妙なことに、2.5のスコアは混乱を招きます。なぜなら、そのホテル滞在がそれほど悪かったなら、なぜポイントを与えるのでしょうか？データセットを詳しく調査すると、最低スコアが2.5であり、0ではないことがわかります。最高スコアは10です。 + +##### タグ + +前述のように、`Tags` を使用してデータを分類するアイデアは一見理にかなっているように見えます。しかし、これらのタグは標準化されていないため、あるホテルでは *Single room*、*Twin room*、*Double room* というオプションがあり、次のホテルでは *Deluxe Single Room*、*Classic Queen Room*、*Executive King Room* というオプションがあります。これらは同じものかもしれませんが、バリエーションが非常に多いため、選択肢は次のようになります: + +1. すべての用語を単一の標準に変更する試み、これは非常に困難です。なぜなら、各ケースでの変換パスが明確ではないからです（例：*Classic single room* を *Single room* にマッピングするが、*Superior Queen Room with Courtyard Garden or City View* はマッピングが難しい） +1. NLPアプローチを取り、各ホテルに適用される *Solo*、*Business Traveller*、*Family with young kids* などの用語の頻度を測定し、それを推奨に組み込む + +タグは通常（必ずしもそうではありませんが）、*Type of trip*、*Type of guests*、*Type of room*、*Number of nights*、*Type of device review was submitted on* に一致する5〜6のコンマ区切りの値のリストを含む単一のフィールドです。しかし、一部のレビュアーは各フィールドを埋めないことがあるため（空欄のままにすることがある）、値は常に同じ順序にはありません。 + +例えば、*Type of group* を取り上げます。このフィールドには `Tags` 列に1025の一意の可能性がありますが、そのうちの一部だけがグループに関連しています（いくつかは部屋の種類など）。*Family* に関連するものだけをフィルタリングすると、多くの *Family room* タイプの結果が含まれます。*with* という用語を含めると、*Family with* の値を数えると、結果は良くなり、515,000の結果のうち80,000以上が「Family with young children」または「Family with older children」を含んでいます。 + +これは、タグ列が完全に無用ではないが、役立つようにするには作業が必要であることを意味します。 + +##### ホテルの平均スコア + +データセットにはいくつかの奇妙な点や不一致がありますが、モデルを構築する際にそれらに気付いているように、ここに示しています。もし解決方法がわかったら、ディスカッションセクションで教えてください！ + +データセットには、平均スコアとレビュー数に関連する次の列があります: + +1. Hotel_Name +2. Additional_Number_of_Scoring +3. Average_Score +4. Total_Number_of_Reviews +5. Reviewer_Score + +このデータセットで最もレビューが多いホテルは *Britannia International Hotel Canary Wharf* で、515,000のレビューのうち4789件のレビューがあります。しかし、このホテルの `Total_Number_of_Reviews` の値を見ると、9086です。多くのスコアがレビューなしであると推測できますので、`Additional_Number_of_Scoring` 列の値を追加する必要があります。その値は2682で、4789に追加すると7471になりますが、`Total_Number_of_Reviews` の値よりも1615少ないです。 + +`Average_Score` 列を取ると、データセット内のレビューの平均であると推測できますが、Kaggleの説明には「*過去1年の最新コメントに基づいて計算されたホテルの平均スコア*」とあります。それはあまり役立たないように見えますが、データセット内のレビューのスコアに基づいて独自の平均を計算できます。同じホテルを例にとると、平均ホテルスコアは7.1とされていますが、データセット内のレビュアースコアの平均は6.8です。これは近いですが同じ値ではなく、`Additional_Number_of_Scoring` のレビューで与えられたスコアが平均を7.1に引き上げたと推測できますが、その主張をテストまたは証明する方法がないため、`Average_Score`、`Additional_Number_of_Scoring`、および `Total_Number_of_Reviews` の値を使用または信頼するのは難しいです。 + +さらに複雑なのは、レビュー数が2番目に多いホテルの計算された平均スコアが8.12で、データセットの `Average_Score` は8.1です。この正しいスコアは偶然の一致でしょうか、それとも最初のホテルの不一致でしょうか？ + +これらのホテルが外れ値である可能性があり、ほとんどの値が一致する（ただし、いくつかは何らかの理由で一致しない）ことを前提に、次にデータセットの値を探索し、値の正しい使用（または非使用）を決定するための短いプログラムを書きます。 + +> 🚨 注意点 +> +> このデータセットを使用する際には、テキストを自分で読んだり分析したりすることなく、テキストから何かを計算するコードを書きます。これがNLPの本質であり、人間がそれを行わずに意味や感情を解釈することです。しかし、ネガティブなレビューを読む可能性があります。必要ないのであれば、読まないようにしましょう。中には「天気が良くなかった」など、ホテルや誰にもコントロールできないことを理由にした馬鹿げたネガティブなレビューもありますが、一部のレビューには人種差別、性差別、年齢差別が含まれていることもあります。これは残念ですが、公開されたウェブサイトからスクレイピングされたデータセットでは予想されることです。一部のレビュアーは、あなたが不快に感じたり、気分を害したりするようなレビューを残します。コードで感情を測定する方が、実際に読んで気分を害するよりも良いでしょう。とはいえ、そのようなことを書く人は少数ですが、それでも存在します。 + +## 演習 - データ探索 +### データの読み込み + +視覚的にデータを調べるのはここまでにして、コードを書いていくつかの答えを見つけましょう！このセクションでは、pandasライブラリを使用します。最初のタスクは、CSVデータを読み込んで表示できることを確認することです。pandasライブラリには高速なCSVローダーがあり、結果は前のレッスンのようにデータフレームに配置されます。読み込むCSVには50万行以上ありますが、列は17列だけです。pandasは、データ +rows have column `Positive_Review` values of "No Positive" 9. Calculate and print out how many rows have column `Positive_Review` values of "No Positive" **and** `Negative_Review` values of "No Negative" ### Code answers 1. Print out the *shape* of the data frame you have just loaded (the shape is the number of rows and columns) ```python + print("The shape of the data (rows, cols) is " + str(df.shape)) + > The shape of the data (rows, cols) is (515738, 17) + ``` 2. Calculate the frequency count for reviewer nationalities: 1. How many distinct values are there for the column `Reviewer_Nationality` and what are they? 2. What reviewer nationality is the most common in the dataset (print country and number of reviews)? ```python + # value_counts() creates a Series object that has index and values in this case, the country and the frequency they occur in reviewer nationality + nationality_freq = df["Reviewer_Nationality"].value_counts() + print("There are " + str(nationality_freq.size) + " different nationalities") + # print first and last rows of the Series. Change to nationality_freq.to_string() to print all of the data + print(nationality_freq) + + There are 227 different nationalities + United Kingdom 245246 + United States of America 35437 + Australia 21686 + Ireland 14827 + United Arab Emirates 10235 + ... + Comoros 1 + Palau 1 + Northern Mariana Islands 1 + Cape Verde 1 + Guinea 1 + Name: Reviewer_Nationality, Length: 227, dtype: int64 + ``` 3. What are the next top 10 most frequently found nationalities, and their frequency count? ```python + print("The highest frequency reviewer nationality is " + str(nationality_freq.index[0]).strip() + " with " + str(nationality_freq[0]) + " reviews.") + # Notice there is a leading space on the values, strip() removes that for printing + # What is the top 10 most common nationalities and their frequencies? + print("The next 10 highest frequency reviewer nationalities are:") + print(nationality_freq[1:11].to_string()) + + The highest frequency reviewer nationality is United Kingdom with 245246 reviews. + The next 10 highest frequency reviewer nationalities are: + United States of America 35437 + Australia 21686 + Ireland 14827 + United Arab Emirates 10235 + Saudi Arabia 8951 + Netherlands 8772 + Switzerland 8678 + Germany 7941 + Canada 7894 + France 7296 + ``` 3. What was the most frequently reviewed hotel for each of the top 10 most reviewer nationalities? ```python + # What was the most frequently reviewed hotel for the top 10 nationalities + # Normally with pandas you will avoid an explicit loop, but wanted to show creating a new dataframe using criteria (don't do this with large amounts of data because it could be very slow) + for nat in nationality_freq[:10].index: + # First, extract all the rows that match the criteria into a new dataframe + nat_df = df[df["Reviewer_Nationality"] == nat] + # Now get the hotel freq + freq = nat_df["Hotel_Name"].value_counts() + print("The most reviewed hotel for " + str(nat).strip() + " was " + str(freq.index[0]) + " with " + str(freq[0]) + " reviews.") + + The most reviewed hotel for United Kingdom was Britannia International Hotel Canary Wharf with 3833 reviews. + The most reviewed hotel for United States of America was Hotel Esther a with 423 reviews. + The most reviewed hotel for Australia was Park Plaza Westminster Bridge London with 167 reviews. + The most reviewed hotel for Ireland was Copthorne Tara Hotel London Kensington with 239 reviews. + The most reviewed hotel for United Arab Emirates was Millennium Hotel London Knightsbridge with 129 reviews. + The most reviewed hotel for Saudi Arabia was The Cumberland A Guoman Hotel with 142 reviews. + The most reviewed hotel for Netherlands was Jaz Amsterdam with 97 reviews. + The most reviewed hotel for Switzerland was Hotel Da Vinci with 97 reviews. + The most reviewed hotel for Germany was Hotel Da Vinci with 86 reviews. + The most reviewed hotel for Canada was St James Court A Taj Hotel London with 61 reviews. + ``` 4. How many reviews are there per hotel (frequency count of hotel) in the dataset? ```python + # First create a new dataframe based on the old one, removing the uneeded columns + hotel_freq_df = df.drop(["Hotel_Address", "Additional_Number_of_Scoring", "Review_Date", "Average_Score", "Reviewer_Nationality", "Negative_Review", "Review_Total_Negative_Word_Counts", "Positive_Review", "Review_Total_Positive_Word_Counts", "Total_Number_of_Reviews_Reviewer_Has_Given", "Reviewer_Score", "Tags", "days_since_review", "lat", "lng"], axis = 1) + + # Group the rows by Hotel_Name, count them and put the result in a new column Total_Reviews_Found + hotel_freq_df['Total_Reviews_Found'] = hotel_freq_df.groupby('Hotel_Name').transform('count') + + # Get rid of all the duplicated rows + hotel_freq_df = hotel_freq_df.drop_duplicates(subset = ["Hotel_Name"]) + display(hotel_freq_df) + ``` | Hotel_Name | Total_Number_of_Reviews | Total_Reviews_Found | | :----------------------------------------: | :---------------------: | :-----------------: | | Britannia International Hotel Canary Wharf | 9086 | 4789 | | Park Plaza Westminster Bridge London | 12158 | 4169 | | Copthorne Tara Hotel London Kensington | 7105 | 3578 | | ... | ... | ... | | Mercure Paris Porte d Orleans | 110 | 10 | | Hotel Wagner | 135 | 10 | | Hotel Gallitzinberg | 173 | 8 | You may notice that the *counted in the dataset* results do not match the value in `Total_Number_of_Reviews`. It is unclear if this value in the dataset represented the total number of reviews the hotel had, but not all were scraped, or some other calculation. `Total_Number_of_Reviews` is not used in the model because of this unclarity. 5. While there is an `Average_Score` column for each hotel in the dataset, you can also calculate an average score (getting the average of all reviewer scores in the dataset for each hotel). Add a new column to your dataframe with the column header `Calc_Average_Score` that contains that calculated average. Print out the columns `Hotel_Name`, `Average_Score`, and `Calc_Average_Score`. ```python + # define a function that takes a row and performs some calculation with it + def get_difference_review_avg(row): + return row["Average_Score"] - row["Calc_Average_Score"] + + # 'mean' is mathematical word for 'average' + df['Calc_Average_Score'] = round(df.groupby('Hotel_Name').Reviewer_Score.transform('mean'), 1) + + # Add a new column with the difference between the two average scores + df["Average_Score_Difference"] = df.apply(get_difference_review_avg, axis = 1) + + # Create a df without all the duplicates of Hotel_Name (so only 1 row per hotel) + review_scores_df = df.drop_duplicates(subset = ["Hotel_Name"]) + + # Sort the dataframe to find the lowest and highest average score difference + review_scores_df = review_scores_df.sort_values(by=["Average_Score_Difference"]) + + display(review_scores_df[["Average_Score_Difference", "Average_Score", "Calc_Average_Score", "Hotel_Name"]]) + ``` You may also wonder about the `Average_Score` value and why it is sometimes different from the calculated average score. As we can't know why some of the values match, but others have a difference, it's safest in this case to use the review scores that we have to calculate the average ourselves. That said, the differences are usually very small, here are the hotels with the greatest deviation from the dataset average and the calculated average: | Average_Score_Difference | Average_Score | Calc_Average_Score | Hotel_Name | | :----------------------: | :-----------: | :----------------: | ------------------------------------------: | | -0.8 | 7.7 | 8.5 | Best Western Hotel Astoria | | -0.7 | 8.8 | 9.5 | Hotel Stendhal Place Vend me Paris MGallery | | -0.7 | 7.5 | 8.2 | Mercure Paris Porte d Orleans | | -0.7 | 7.9 | 8.6 | Renaissance Paris Vendome Hotel | | -0.5 | 7.0 | 7.5 | Hotel Royal Elys es | | ... | ... | ... | ... | | 0.7 | 7.5 | 6.8 | Mercure Paris Op ra Faubourg Montmartre | | 0.8 | 7.1 | 6.3 | Holiday Inn Paris Montparnasse Pasteur | | 0.9 | 6.8 | 5.9 | Villa Eugenie | | 0.9 | 8.6 | 7.7 | MARQUIS Faubourg St Honor Relais Ch teaux | | 1.3 | 7.2 | 5.9 | Kube Hotel Ice Bar | With only 1 hotel having a difference of score greater than 1, it means we can probably ignore the difference and use the calculated average score. 6. Calculate and print out how many rows have column `Negative_Review` values of "No Negative" 7. Calculate and print out how many rows have column `Positive_Review` values of "No Positive" 8. Calculate and print out how many rows have column `Positive_Review` values of "No Positive" **and** `Negative_Review` values of "No Negative" ```python + # with lambdas: + start = time.time() + no_negative_reviews = df.apply(lambda x: True if x['Negative_Review'] == "No Negative" else False , axis=1) + print("Number of No Negative reviews: " + str(len(no_negative_reviews[no_negative_reviews == True].index))) + + no_positive_reviews = df.apply(lambda x: True if x['Positive_Review'] == "No Positive" else False , axis=1) + print("Number of No Positive reviews: " + str(len(no_positive_reviews[no_positive_reviews == True].index))) + + both_no_reviews = df.apply(lambda x: True if x['Negative_Review'] == "No Negative" and x['Positive_Review'] == "No Positive" else False , axis=1) + print("Number of both No Negative and No Positive reviews: " + str(len(both_no_reviews[both_no_reviews == True].index))) + end = time.time() + print("Lambdas took " + str(round(end - start, 2)) + " seconds") + + Number of No Negative reviews: 127890 + Number of No Positive reviews: 35946 + Number of both No Negative and No Positive reviews: 127 + Lambdas took 9.64 seconds + ``` ## Another way Another way count items without Lambdas, and use sum to count the rows: ```python + # without lambdas (using a mixture of notations to show you can use both) + start = time.time() + no_negative_reviews = sum(df.Negative_Review == "No Negative") + print("Number of No Negative reviews: " + str(no_negative_reviews)) + + no_positive_reviews = sum(df["Positive_Review"] == "No Positive") + print("Number of No Positive reviews: " + str(no_positive_reviews)) + + both_no_reviews = sum((df.Negative_Review == "No Negative") & (df.Positive_Review == "No Positive")) + print("Number of both No Negative and No Positive reviews: " + str(both_no_reviews)) + + end = time.time() + print("Sum took " + str(round(end - start, 2)) + " seconds") + + Number of No Negative reviews: 127890 + Number of No Positive reviews: 35946 + Number of both No Negative and No Positive reviews: 127 + Sum took 0.19 seconds + ``` You may have noticed that there are 127 rows that have both "No Negative" and "No Positive" values for the columns `Negative_Review` and `Positive_Review` respectively. That means that the reviewer gave the hotel a numerical score, but declined to write either a positive or negative review. Luckily this is a small amount of rows (127 out of 515738, or 0.02%), so it probably won't skew our model or results in any particular direction, but you might not have expected a data set of reviews to have rows with no reviews, so it's worth exploring the data to discover rows like this. Now that you have explored the dataset, in the next lesson you will filter the data and add some sentiment analysis. --- ## 🚀Challenge This lesson demonstrates, as we saw in previous lessons, how critically important it is to understand your data and its foibles before performing operations on it. Text-based data, in particular, bears careful scrutiny. Dig through various text-heavy datasets and see if you can discover areas that could introduce bias or skewed sentiment into a model. ## [Post-lecture quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/38/) ## Review & Self Study Take [this Learning Path on NLP](https://docs.microsoft.com/learn/paths/explore-natural-language-processing/?WT.mc_id=academic-77952-leestott) to discover tools to try when building speech and text-heavy models. ## Assignment [NLTK](assignment.md) + +**免責事項**: +この文書は機械ベースのAI翻訳サービスを使用して翻訳されています。正確さを期していますが、自動翻訳には誤りや不正確さが含まれる可能性があることをご理解ください。権威ある情報源としては、元の言語で書かれた原文を考慮すべきです。重要な情報については、専門の人間による翻訳を推奨します。この翻訳の使用に起因する誤解や誤訳について、当社は一切の責任を負いかねます。 \ No newline at end of file diff --git a/translations/ja/6-NLP/4-Hotel-Reviews-1/assignment.md b/translations/ja/6-NLP/4-Hotel-Reviews-1/assignment.md new file mode 100644 index 000000000..02ab74904 --- /dev/null +++ b/translations/ja/6-NLP/4-Hotel-Reviews-1/assignment.md @@ -0,0 +1,8 @@ +# NLTK + +## 説明 + +NLTKは計算言語学とNLPで使用される有名なライブラリです。この機会に '[NLTK book](https://www.nltk.org/book/)' を読み、その演習を試してみてください。この評価されない課題では、このライブラリについてより深く知ることができます。 + +**免責事項**: +この文書は機械ベースのAI翻訳サービスを使用して翻訳されています。正確さを期していますが、自動翻訳には誤りや不正確さが含まれる可能性があることをご了承ください。権威ある情報源としては、元の言語で書かれた原文を参照してください。重要な情報については、専門の人間による翻訳を推奨します。この翻訳の使用に起因する誤解や誤訳について、当社は一切の責任を負いません。 \ No newline at end of file diff --git a/translations/ja/6-NLP/4-Hotel-Reviews-1/solution/Julia/README.md b/translations/ja/6-NLP/4-Hotel-Reviews-1/solution/Julia/README.md new file mode 100644 index 000000000..0ab9d6327 --- /dev/null +++ b/translations/ja/6-NLP/4-Hotel-Reviews-1/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**免責事項**: +この文書は機械翻訳サービスを使用して翻訳されています。正確さを期すよう努めておりますが、自動翻訳には誤りや不正確さが含まれる場合があります。原文の言語で書かれた文書が権威ある情報源とみなされるべきです。重要な情報については、専門の人間による翻訳を推奨します。この翻訳の使用に起因する誤解や誤訳について、当社は一切の責任を負いません。 \ No newline at end of file diff --git a/translations/ja/6-NLP/4-Hotel-Reviews-1/solution/R/README.md b/translations/ja/6-NLP/4-Hotel-Reviews-1/solution/R/README.md new file mode 100644 index 000000000..78e3bca8a --- /dev/null +++ b/translations/ja/6-NLP/4-Hotel-Reviews-1/solution/R/README.md @@ -0,0 +1,4 @@ + + +**免責事項**: +この文書は、機械ベースのAI翻訳サービスを使用して翻訳されています。正確性を期すよう努めていますが、自動翻訳には誤りや不正確さが含まれる可能性があることをご了承ください。原文の母国語での文書が信頼できる情報源と見なされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤解について、当社は一切の責任を負いません。 \ No newline at end of file diff --git a/translations/ja/6-NLP/5-Hotel-Reviews-2/README.md b/translations/ja/6-NLP/5-Hotel-Reviews-2/README.md new file mode 100644 index 000000000..7181fb4ab --- /dev/null +++ b/translations/ja/6-NLP/5-Hotel-Reviews-2/README.md @@ -0,0 +1,377 @@ +# ホテルレビューによる感情分析 + +データセットを詳細に調査したので、次は列をフィルタリングし、NLP技術を使ってホテルに関する新しい洞察を得ましょう。 +## [事前クイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/39/) + +### フィルタリングと感情分析の操作 + +おそらく気づいたと思いますが、このデータセットにはいくつか問題があります。一部の列には無意味な情報が含まれており、他の列は正しくないように見えます。正しいとしても、どのように計算されたのか不明であり、自分の計算で独自に検証することはできません。 + +## 演習: もう少しデータ処理 + +データをもう少しきれいにしましょう。後で役立つ列を追加し、他の列の値を変更し、特定の列を完全に削除します。 + +1. 初期の列処理 + + 1. `lat` と `lng` を削除 + + 2. `Hotel_Address` の値を以下の値に置き換える（住所に都市名と国名が含まれている場合は、都市名と国名のみに変更）。 + + データセットに含まれている都市と国は次の通りです： + + アムステルダム、オランダ + + バルセロナ、スペイン + + ロンドン、イギリス + + ミラノ、イタリア + + パリ、フランス + + ウィーン、オーストリア + + ```python + def replace_address(row): + if "Netherlands" in row["Hotel_Address"]: + return "Amsterdam, Netherlands" + elif "Barcelona" in row["Hotel_Address"]: + return "Barcelona, Spain" + elif "United Kingdom" in row["Hotel_Address"]: + return "London, United Kingdom" + elif "Milan" in row["Hotel_Address"]: + return "Milan, Italy" + elif "France" in row["Hotel_Address"]: + return "Paris, France" + elif "Vienna" in row["Hotel_Address"]: + return "Vienna, Austria" + + # Replace all the addresses with a shortened, more useful form + df["Hotel_Address"] = df.apply(replace_address, axis = 1) + # The sum of the value_counts() should add up to the total number of reviews + print(df["Hotel_Address"].value_counts()) + ``` + + これで国レベルのデータをクエリできます： + + ```python + display(df.groupby("Hotel_Address").agg({"Hotel_Name": "nunique"})) + ``` + + | ホテル住所 | ホテル名 | + | :--------------------- | :--------: | + | アムステルダム、オランダ | 105 | + | バルセロナ、スペイン | 211 | + | ロンドン、イギリス | 400 | + | ミラノ、イタリア | 162 | + | パリ、フランス | 458 | + | ウィーン、オーストリア | 158 | + +2. ホテルメタレビュー列の処理 + + 1. `Additional_Number_of_Scoring` + + 1. Replace `Total_Number_of_Reviews` with the total number of reviews for that hotel that are actually in the dataset + + 1. Replace `Average_Score` を自分で計算したスコアで置き換え + + ```python + # Drop `Additional_Number_of_Scoring` + df.drop(["Additional_Number_of_Scoring"], axis = 1, inplace=True) + # Replace `Total_Number_of_Reviews` and `Average_Score` with our own calculated values + df.Total_Number_of_Reviews = df.groupby('Hotel_Name').transform('count') + df.Average_Score = round(df.groupby('Hotel_Name').Reviewer_Score.transform('mean'), 1) + ``` + +3. レビュー列の処理 + + 1. `Review_Total_Negative_Word_Counts`, `Review_Total_Positive_Word_Counts`, `Review_Date` and `days_since_review` + + 2. Keep `Reviewer_Score`, `Negative_Review`, and `Positive_Review` as they are, + + 3. Keep `Tags` for now + + - We'll be doing some additional filtering operations on the tags in the next section and then tags will be dropped + +4. Process reviewer columns + + 1. Drop `Total_Number_of_Reviews_Reviewer_Has_Given` + + 2. Keep `Reviewer_Nationality` + +### Tag columns + +The `Tag` column is problematic as it is a list (in text form) stored in the column. Unfortunately the order and number of sub sections in this column are not always the same. It's hard for a human to identify the correct phrases to be interested in, because there are 515,000 rows, and 1427 hotels, and each has slightly different options a reviewer could choose. This is where NLP shines. You can scan the text and find the most common phrases, and count them. + +Unfortunately, we are not interested in single words, but multi-word phrases (e.g. *Business trip*). Running a multi-word frequency distribution algorithm on that much data (6762646 words) could take an extraordinary amount of time, but without looking at the data, it would seem that is a necessary expense. This is where exploratory data analysis comes in useful, because you've seen a sample of the tags such as `[' Business trip ', ' Solo traveler ', ' Single Room ', ' Stayed 5 nights ', ' Submitted from a mobile device ']` を削除し、タグの興味を確認するためのいくつかのステップに従う必要があります。 + +### タグのフィルタリング + +データセットの目的は、感情と列を追加して、最適なホテルを選ぶのに役立つことです（自分自身やホテル推薦ボットを作成するクライアントのため）。最終データセットでタグが役立つかどうかを自問する必要があります。以下は一つの解釈です（他の理由でデータセットが必要な場合、異なるタグが選択に含まれるかもしれません）： + +1. 旅行の種類は関連しており、保持すべき +2. ゲストグループの種類は重要で、保持すべき +3. ゲストが滞在した部屋、スイート、スタジオの種類は無関係（すべてのホテルに基本的に同じ部屋がある） +4. レビューが提出されたデバイスは無関係 +5. レビュアーが滞在した夜数は、ホテルを気に入っている可能性があるため関連するかもしれないが、おそらく無関係 + +要約すると、**2種類のタグを保持し、他のタグを削除する**。 + +まず、タグがより良い形式になるまでカウントしたくないので、角括弧と引用符を削除する必要があります。これにはいくつかの方法がありますが、最速の方法を選びたいです。幸い、pandasにはこれらのステップを簡単に行う方法があります。 + +```Python +# Remove opening and closing brackets +df.Tags = df.Tags.str.strip("[']") +# remove all quotes too +df.Tags = df.Tags.str.replace(" ', '", ",", regex = False) +``` + +各タグは次のようになります: `Business trip, Solo traveler, Single Room, Stayed 5 nights, Submitted from a mobile device`. + +Next we find a problem. Some reviews, or rows, have 5 columns, some 3, some 6. This is a result of how the dataset was created, and hard to fix. You want to get a frequency count of each phrase, but they are in different order in each review, so the count might be off, and a hotel might not get a tag assigned to it that it deserved. + +Instead you will use the different order to our advantage, because each tag is multi-word but also separated by a comma! The simplest way to do this is to create 6 temporary columns with each tag inserted in to the column corresponding to its order in the tag. You can then merge the 6 columns into one big column and run the `value_counts()` method on the resulting column. Printing that out, you'll see there was 2428 unique tags. Here is a small sample: + +| Tag | Count | +| ------------------------------ | ------ | +| Leisure trip | 417778 | +| Submitted from a mobile device | 307640 | +| Couple | 252294 | +| Stayed 1 night | 193645 | +| Stayed 2 nights | 133937 | +| Solo traveler | 108545 | +| Stayed 3 nights | 95821 | +| Business trip | 82939 | +| Group | 65392 | +| Family with young children | 61015 | +| Stayed 4 nights | 47817 | +| Double Room | 35207 | +| Standard Double Room | 32248 | +| Superior Double Room | 31393 | +| Family with older children | 26349 | +| Deluxe Double Room | 24823 | +| Double or Twin Room | 22393 | +| Stayed 5 nights | 20845 | +| Standard Double or Twin Room | 17483 | +| Classic Double Room | 16989 | +| Superior Double or Twin Room | 13570 | +| 2 rooms | 12393 | + +Some of the common tags like `Submitted from a mobile device` are of no use to us, so it might be a smart thing to remove them before counting phrase occurrence, but it is such a fast operation you can leave them in and ignore them. + +### Removing the length of stay tags + +Removing these tags is step 1, it reduces the total number of tags to be considered slightly. Note you do not remove them from the dataset, just choose to remove them from consideration as values to count/keep in the reviews dataset. + +| Length of stay | Count | +| ---------------- | ------ | +| Stayed 1 night | 193645 | +| Stayed 2 nights | 133937 | +| Stayed 3 nights | 95821 | +| Stayed 4 nights | 47817 | +| Stayed 5 nights | 20845 | +| Stayed 6 nights | 9776 | +| Stayed 7 nights | 7399 | +| Stayed 8 nights | 2502 | +| Stayed 9 nights | 1293 | +| ... | ... | + +There are a huge variety of rooms, suites, studios, apartments and so on. They all mean roughly the same thing and not relevant to you, so remove them from consideration. + +| Type of room | Count | +| ----------------------------- | ----- | +| Double Room | 35207 | +| Standard Double Room | 32248 | +| Superior Double Room | 31393 | +| Deluxe Double Room | 24823 | +| Double or Twin Room | 22393 | +| Standard Double or Twin Room | 17483 | +| Classic Double Room | 16989 | +| Superior Double or Twin Room | 13570 | + +Finally, and this is delightful (because it didn't take much processing at all), you will be left with the following *useful* tags: + +| Tag | Count | +| --------------------------------------------- | ------ | +| Leisure trip | 417778 | +| Couple | 252294 | +| Solo traveler | 108545 | +| Business trip | 82939 | +| Group (combined with Travellers with friends) | 67535 | +| Family with young children | 61015 | +| Family with older children | 26349 | +| With a pet | 1405 | + +You could argue that `Travellers with friends` is the same as `Group` more or less, and that would be fair to combine the two as above. The code for identifying the correct tags is [the Tags notebook](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/1-notebook.ipynb). + +The final step is to create new columns for each of these tags. Then, for every review row, if the `Tag` 列が新しい列のいずれかと一致する場合は1を追加し、一致しない場合は0を追加します。最終結果は、ビジネス対レジャーのために、またはペットを連れて行くために、どれだけのレビュアーがこのホテルを選んだか（集計で）をカウントするものであり、これはホテルを推薦する際に有用な情報です。 + +```python +# Process the Tags into new columns +# The file Hotel_Reviews_Tags.py, identifies the most important tags +# Leisure trip, Couple, Solo traveler, Business trip, Group combined with Travelers with friends, +# Family with young children, Family with older children, With a pet +df["Leisure_trip"] = df.Tags.apply(lambda tag: 1 if "Leisure trip" in tag else 0) +df["Couple"] = df.Tags.apply(lambda tag: 1 if "Couple" in tag else 0) +df["Solo_traveler"] = df.Tags.apply(lambda tag: 1 if "Solo traveler" in tag else 0) +df["Business_trip"] = df.Tags.apply(lambda tag: 1 if "Business trip" in tag else 0) +df["Group"] = df.Tags.apply(lambda tag: 1 if "Group" in tag or "Travelers with friends" in tag else 0) +df["Family_with_young_children"] = df.Tags.apply(lambda tag: 1 if "Family with young children" in tag else 0) +df["Family_with_older_children"] = df.Tags.apply(lambda tag: 1 if "Family with older children" in tag else 0) +df["With_a_pet"] = df.Tags.apply(lambda tag: 1 if "With a pet" in tag else 0) + +``` + +### ファイルの保存 + +最後に、現在のデータセットを新しい名前で保存します。 + +```python +df.drop(["Review_Total_Negative_Word_Counts", "Review_Total_Positive_Word_Counts", "days_since_review", "Total_Number_of_Reviews_Reviewer_Has_Given"], axis = 1, inplace=True) + +# Saving new data file with calculated columns +print("Saving results to Hotel_Reviews_Filtered.csv") +df.to_csv(r'../data/Hotel_Reviews_Filtered.csv', index = False) +``` + +## 感情分析の操作 + +この最後のセクションでは、レビュー列に感情分析を適用し、結果をデータセットに保存します。 + +## 演習: フィルタリングされたデータの読み込みと保存 + +注意すべき点は、今は前のセクションで保存されたフィルタリングされたデータセットを読み込んでいることです。**元のデータセットではありません**。 + +```python +import time +import pandas as pd +import nltk as nltk +from nltk.corpus import stopwords +from nltk.sentiment.vader import SentimentIntensityAnalyzer +nltk.download('vader_lexicon') + +# Load the filtered hotel reviews from CSV +df = pd.read_csv('../../data/Hotel_Reviews_Filtered.csv') + +# You code will be added here + + +# Finally remember to save the hotel reviews with new NLP data added +print("Saving results to Hotel_Reviews_NLP.csv") +df.to_csv(r'../data/Hotel_Reviews_NLP.csv', index = False) +``` + +### ストップワードの削除 + +ネガティブおよびポジティブレビュー列で感情分析を実行すると、時間がかかることがあります。高速なCPUを持つ強力なテストラップトップでテストしたところ、使用する感情ライブラリによって12〜14分かかりました。それは（比較的）長い時間なので、スピードアップできるかどうかを調査する価値があります。 + +ストップワード、つまり文の感情を変えない一般的な英語の単語を削除することが最初のステップです。これらを削除することで、感情分析はより速く実行されるはずですが、精度は低下しません（ストップワードは感情に影響を与えませんが、分析を遅くします）。 + +最も長いネガティブレビューは395単語でしたが、ストップワードを削除した後は195単語になりました。 + +ストップワードの削除も高速な操作であり、515,000行の2つのレビュー列からストップワードを削除するのに3.3秒かかりました。デバイスのCPU速度、RAM、SSDの有無、その他の要因により、若干の時間の違いがあるかもしれません。この操作が感情分析の時間を改善するならば、それは価値があります。 + +```python +from nltk.corpus import stopwords + +# Load the hotel reviews from CSV +df = pd.read_csv("../../data/Hotel_Reviews_Filtered.csv") + +# Remove stop words - can be slow for a lot of text! +# Ryan Han (ryanxjhan on Kaggle) has a great post measuring performance of different stop words removal approaches +# https://www.kaggle.com/ryanxjhan/fast-stop-words-removal # using the approach that Ryan recommends +start = time.time() +cache = set(stopwords.words("english")) +def remove_stopwords(review): + text = " ".join([word for word in review.split() if word not in cache]) + return text + +# Remove the stop words from both columns +df.Negative_Review = df.Negative_Review.apply(remove_stopwords) +df.Positive_Review = df.Positive_Review.apply(remove_stopwords) +``` + +### 感情分析の実行 + +次に、ネガティブおよびポジティブレビュー列の感情分析を計算し、その結果を2つの新しい列に保存する必要があります。同じレビューに対するレビュアーのスコアと比較して感情をテストします。たとえば、感情分析がネガティブレビューの感情を1（非常にポジティブな感情）と判断し、ポジティブレビューの感情も1と判断したが、レビュアーがホテルに最低のスコアを与えた場合、レビューのテキストがスコアと一致していないか、感情分析が感情を正しく認識できなかった可能性があります。一部の感情スコアが完全に間違っていることを期待するべきであり、その理由は説明可能であることがよくあります。たとえば、レビューが非常に皮肉である場合、「もちろん、暖房のない部屋で寝るのが大好きでした」といった場合、感情分析はそれがポジティブな感情であると考えますが、人間が読むとそれが皮肉であることがわかります。 + +NLTKは学習に使用できるさまざまな感情分析ツールを提供しており、それらを代替して感情がより正確かどうかを確認できます。ここではVADER感情分析が使用されています。 + +> Hutto, C.J. & Gilbert, E.E. (2014). VADER: A Parsimonious Rule-based Model for Sentiment Analysis of Social Media Text. Eighth International Conference on Weblogs and Social Media (ICWSM-14). Ann Arbor, MI, June 2014. + +```python +from nltk.sentiment.vader import SentimentIntensityAnalyzer + +# Create the vader sentiment analyser (there are others in NLTK you can try too) +vader_sentiment = SentimentIntensityAnalyzer() +# Hutto, C.J. & Gilbert, E.E. (2014). VADER: A Parsimonious Rule-based Model for Sentiment Analysis of Social Media Text. Eighth International Conference on Weblogs and Social Media (ICWSM-14). Ann Arbor, MI, June 2014. + +# There are 3 possibilities of input for a review: +# It could be "No Negative", in which case, return 0 +# It could be "No Positive", in which case, return 0 +# It could be a review, in which case calculate the sentiment +def calc_sentiment(review): + if review == "No Negative" or review == "No Positive": + return 0 + return vader_sentiment.polarity_scores(review)["compound"] +``` + +プログラムの後半で感情を計算する準備ができたら、各レビューに次のように適用できます： + +```python +# Add a negative sentiment and positive sentiment column +print("Calculating sentiment columns for both positive and negative reviews") +start = time.time() +df["Negative_Sentiment"] = df.Negative_Review.apply(calc_sentiment) +df["Positive_Sentiment"] = df.Positive_Review.apply(calc_sentiment) +end = time.time() +print("Calculating sentiment took " + str(round(end - start, 2)) + " seconds") +``` + +これは私のコンピュータで約120秒かかりますが、各コンピュータで異なります。結果を印刷して感情がレビューと一致するか確認したい場合： + +```python +df = df.sort_values(by=["Negative_Sentiment"], ascending=True) +print(df[["Negative_Review", "Negative_Sentiment"]]) +df = df.sort_values(by=["Positive_Sentiment"], ascending=True) +print(df[["Positive_Review", "Positive_Sentiment"]]) +``` + +ファイルを使用する前に最後に行うことは、それを保存することです！また、新しい列をすべて再配置して、作業しやすくすることも検討してください（人間にとっては、これは見た目の変更です）。 + +```python +# Reorder the columns (This is cosmetic, but to make it easier to explore the data later) +df = df.reindex(["Hotel_Name", "Hotel_Address", "Total_Number_of_Reviews", "Average_Score", "Reviewer_Score", "Negative_Sentiment", "Positive_Sentiment", "Reviewer_Nationality", "Leisure_trip", "Couple", "Solo_traveler", "Business_trip", "Group", "Family_with_young_children", "Family_with_older_children", "With_a_pet", "Negative_Review", "Positive_Review"], axis=1) + +print("Saving results to Hotel_Reviews_NLP.csv") +df.to_csv(r"../data/Hotel_Reviews_NLP.csv", index = False) +``` + +[分析ノートブック](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/3-notebook.ipynb)の全コードを実行する必要があります（[フィルタリングノートブック](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/1-notebook.ipynb)を実行してHotel_Reviews_Filtered.csvファイルを生成した後）。 + +手順を振り返ると： + +1. 元のデータセットファイル **Hotel_Reviews.csv** は、[エクスプローラーノートブック](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/4-Hotel-Reviews-1/solution/notebook.ipynb)で前のレッスンで調査されました +2. Hotel_Reviews.csv は [フィルタリングノートブック](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/1-notebook.ipynb) によってフィルタリングされ、**Hotel_Reviews_Filtered.csv** になります +3. Hotel_Reviews_Filtered.csv は [感情分析ノートブック](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/3-notebook.ipynb) によって処理され、**Hotel_Reviews_NLP.csv** になります +4. 以下のNLPチャレンジで Hotel_Reviews_NLP.csv を使用します + +### 結論 + +最初は、列とデータが含まれているデータセットがありましたが、そのすべてを検証したり使用したりすることはできませんでした。データを調査し、不要なものをフィルタリングし、タグを有用なものに変換し、独自の平均値を計算し、いくつかの感情列を追加し、自然言語処理について興味深いことを学びました。 + +## [事後クイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/40/) + +## チャレンジ + +感情のためにデータセットを分析したので、このカリキュラムで学んだ戦略（クラスター分析など）を使用して、感情に関するパターンを特定できるか試してみてください。 + +## 復習と自己学習 + +[このLearnモジュール](https://docs.microsoft.com/en-us/learn/modules/classify-user-feedback-with-the-text-analytics-api/?WT.mc_id=academic-77952-leestott)を取って、テキストの感情を探索するためのさまざまなツールを使用してみてください。 +## 課題 + +[別のデータセットを試してみてください](assignment.md) + +**免責事項**: +この文書は機械ベースのAI翻訳サービスを使用して翻訳されています。正確さを期すよう努めておりますが、自動翻訳には誤りや不正確さが含まれる可能性があることをご理解ください。原文はその言語での公式な文書とみなされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用により生じた誤解や誤訳について、当社は一切の責任を負いません。 \ No newline at end of file diff --git a/translations/ja/6-NLP/5-Hotel-Reviews-2/assignment.md b/translations/ja/6-NLP/5-Hotel-Reviews-2/assignment.md new file mode 100644 index 000000000..cf76d6596 --- /dev/null +++ b/translations/ja/6-NLP/5-Hotel-Reviews-2/assignment.md @@ -0,0 +1,14 @@ +# 別のデータセットを試してみよう + +## 指示 + +NLTKを使ってテキストに感情を割り当てる方法を学んだので、別のデータセットを試してみましょう。データ処理が必要になる可能性が高いので、ノートブックを作成し、思考プロセスを記録してください。何を発見しましたか？ + +## 評価基準 + +| 基準 | 模範的 | 適切 | 改善が必要 | +| -------- | ----------------------------------------------------------------------------------------------------------------- | ----------------------------------------- | ---------------------- | +| | 完全なノートブックとデータセットが提示され、感情がどのように割り当てられるかを説明するセルがよく文書化されている | ノートブックに十分な説明が欠けている | ノートブックに欠陥がある | + +**免責事項**: +この文書は機械翻訳AIサービスを使用して翻訳されています。正確性を期すよう努めておりますが、自動翻訳には誤りや不正確さが含まれる場合があります。原文の母国語の文書が権威ある情報源と見なされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤訳について、当社は一切の責任を負いかねます。 \ No newline at end of file diff --git a/translations/ja/6-NLP/5-Hotel-Reviews-2/solution/Julia/README.md b/translations/ja/6-NLP/5-Hotel-Reviews-2/solution/Julia/README.md new file mode 100644 index 000000000..d8c00f178 --- /dev/null +++ b/translations/ja/6-NLP/5-Hotel-Reviews-2/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**免責事項**: +この文書は機械翻訳AIサービスを使用して翻訳されています。正確さを期していますが、自動翻訳には誤りや不正確さが含まれる可能性があります。元の言語の文書が権威ある情報源と見なされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤解については、一切の責任を負いかねます。 \ No newline at end of file diff --git a/translations/ja/6-NLP/5-Hotel-Reviews-2/solution/R/README.md b/translations/ja/6-NLP/5-Hotel-Reviews-2/solution/R/README.md new file mode 100644 index 000000000..a2b59800b --- /dev/null +++ b/translations/ja/6-NLP/5-Hotel-Reviews-2/solution/R/README.md @@ -0,0 +1,4 @@ + + +**免責事項**: +この文書は機械ベースのAI翻訳サービスを使用して翻訳されています。正確さを期しておりますが、自動翻訳には誤りや不正確さが含まれる可能性があることをご承知おきください。元の言語で書かれた文書が権威ある情報源と見なされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤訳について、当方は一切責任を負いません。 \ No newline at end of file diff --git a/translations/ja/6-NLP/README.md b/translations/ja/6-NLP/README.md new file mode 100644 index 000000000..c28f12371 --- /dev/null +++ b/translations/ja/6-NLP/README.md @@ -0,0 +1,27 @@ +# 自然言語処理の入門 + +自然言語処理 (NLP) は、コンピュータープログラムが人間の言語を話し言葉や書き言葉として理解する能力のことです。これは人工知能 (AI) の一部です。NLP は50年以上前から存在し、言語学の分野に根ざしています。この分野全体は、機械が人間の言語を理解し処理するのを助けることを目的としています。これにより、スペルチェックや機械翻訳などのタスクを実行することができます。NLP は、医療研究、検索エンジン、ビジネスインテリジェンスなど、多くの分野で現実の応用があります。 + +## 地域トピック: ヨーロッパの言語と文学、そしてロマンチックなヨーロッパのホテル ❤️ + +このカリキュラムのセクションでは、機械学習の最も広範な使用例の1つである自然言語処理 (NLP) に紹介されます。計算言語学から派生したこの人工知能のカテゴリは、音声やテキストによるコミュニケーションを介して人間と機械をつなぐ橋渡しとなります。 + +これらのレッスンでは、小さな会話ボットを作成することで NLP の基本を学び、機械学習がこれらの会話をますます「スマート」にするのをどのように支援するかを学びます。ジェーン・オースティンのクラシック小説『高慢と偏見』のエリザベス・ベネットやミスター・ダーシーとチャットして、1813年に出版された時代にタイムトラベルします。その後、ヨーロッパのホテルレビューを通じて感情分析について学び、知識を深めます。 + + +> 写真提供: Elaine Howlin on Unsplash + +## レッスン + +1. [自然言語処理の紹介](1-Introduction-to-NLP/README.md) +2. [一般的な NLP のタスクと技術](2-Tasks/README.md) +3. [機械学習による翻訳と感情分析](3-Translation-Sentiment/README.md) +4. [データの準備](4-Hotel-Reviews-1/README.md) +5. [感情分析のための NLTK](5-Hotel-Reviews-2/README.md) + +## クレジット + +これらの自然言語処理のレッスンは、[Stephen Howell](https://twitter.com/Howell_MSFT) によって ☕ を入れながら書かれました。 + +**免責事項**: +この文書は機械ベースのAI翻訳サービスを使用して翻訳されています。正確さを期していますが、自動翻訳には誤りや不正確さが含まれる可能性があることをご承知おきください。権威ある情報源としては、原文の母国語文書を考慮すべきです。重要な情報については、専門の人間による翻訳を推奨します。この翻訳の使用に起因する誤解や誤った解釈について、当社は一切の責任を負いません。 \ No newline at end of file diff --git a/translations/ja/6-NLP/data/README.md b/translations/ja/6-NLP/data/README.md new file mode 100644 index 000000000..2baf82e1d --- /dev/null +++ b/translations/ja/6-NLP/data/README.md @@ -0,0 +1,4 @@ +ホテルレビューのデータをこのフォルダーにダウンロードしてください。 + +**免責事項**: +この文書は、機械翻訳AIサービスを使用して翻訳されています。正確さを期していますが、自動翻訳には誤りや不正確さが含まれる場合がありますのでご注意ください。原文が書かれている言語の文書が信頼できる情報源と見なされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用によって生じる誤解や誤訳について、当社は一切の責任を負いません。 \ No newline at end of file diff --git a/translations/ja/7-TimeSeries/1-Introduction/README.md b/translations/ja/7-TimeSeries/1-Introduction/README.md new file mode 100644 index 000000000..381ecf0bf --- /dev/null +++ b/translations/ja/7-TimeSeries/1-Introduction/README.md @@ -0,0 +1,188 @@ +# 時系列予測の入門 + + + +> スケッチノート by [Tomomi Imura](https://www.twitter.com/girlie_mac) + +このレッスンと次のレッスンでは、時系列予測について学びます。これは、価格などの変数の過去のパフォーマンスに基づいて、将来の潜在的な価値を予測することができる、ML科学者のレパートリーの一部であり、他のトピックほど知られていない興味深く価値のある分野です。 + +[](https://youtu.be/cBojo1hsHiI "時系列予測の入門") + +> 🎥 上の画像をクリックして、時系列予測についてのビデオをご覧ください + +## [講義前のクイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/41/) + +価格設定、在庫、サプライチェーンの問題に直接応用できるため、ビジネスにとって非常に価値のある興味深い分野です。深層学習技術が将来のパフォーマンスをより良く予測するために使われ始めていますが、時系列予測は依然として古典的なML技術によって大いに支えられています。 + +> ペンシルベニア州立大学の有用な時系列カリキュラムは[こちら](https://online.stat.psu.edu/stat510/lesson/1)にあります + +## はじめに + +あなたがスマート駐車メーターのデータを管理していて、その使用頻度や使用時間のデータを持っているとしましょう。 + +> メーターの過去のパフォーマンスに基づいて、需要と供給の法則に従って将来の価値を予測できたらどうでしょう？ + +目標を達成するための適切な行動タイミングを正確に予測することは、時系列予測で解決できる課題です。忙しい時に駐車スペースを探している人々に対して料金を上げるのは喜ばれないかもしれませんが、街を清掃するための収益を確保する確実な方法です！ + +さまざまな時系列アルゴリズムを探り、データをクリーンアップして準備するためのノートブックを開始しましょう。この例では、GEFCom2014予測コンペティションから取得したデータを分析します。2012年から2014年までの3年間の毎時の電力負荷と温度の値が含まれています。電力負荷と温度の過去のパターンに基づいて、将来の電力負荷の値を予測することができます。 + +この例では、過去の負荷データのみを使用して、1ステップ先を予測する方法を学びます。ただし、開始する前に、舞台裏で何が起こっているのかを理解することが有益です。 + +## いくつかの定義 + +'時系列'という用語に出会ったとき、さまざまな文脈での使用法を理解する必要があります。 + +🎓 **時系列** + +数学では、「時系列は、時間順にインデックス付け（またはリスト化またはグラフ化）されたデータポイントの系列です。最も一般的には、時系列は等間隔の連続した時間ポイントで取得されたシーケンスです。」時系列の例として、[ダウ・ジョーンズ工業株平均](https://wikipedia.org/wiki/Time_series)の終値があります。時系列プロットや統計モデリングの使用は、信号処理、天気予報、地震予測などのイベントが発生し、データポイントが時間とともにプロットされる他の分野で頻繁に見られます。 + +🎓 **時系列分析** + +時系列分析は、上記の時系列データの分析です。時系列データは、'中断された時系列'のように、中断イベントの前後の時系列の進化パターンを検出するなど、さまざまな形式を取ることがあります。時系列の分析に必要なタイプは、データの性質によります。時系列データ自体は、数字や文字の系列の形式を取ることができます。 + +実行される分析は、周波数領域と時間領域、線形と非線形など、さまざまな方法を使用します。この種のデータを分析する多くの方法については、[こちら](https://www.itl.nist.gov/div898/handbook/pmc/section4/pmc4.htm)を参照してください。 + +🎓 **時系列予測** + +時系列予測は、過去に発生したデータによって表示されたパターンに基づいて将来の値を予測するためにモデルを使用することです。時間インデックスをプロット上のx変数として使用して時系列データを探索するために回帰モデルを使用することは可能ですが、そのようなデータは特別なタイプのモデルを使用して最もよく分析されます。 + +時系列データは、線形回帰で分析できるデータとは異なり、順序付けられた観察値のリストです。最も一般的なものは、"自己回帰移動平均モデル"を意味するARIMAです。 + +[ARIMAモデル](https://online.stat.psu.edu/stat510/lesson/1/1.1)は「現在のシリーズの値を過去の値および過去の予測誤差に関連付けます。」これらは、データが時間とともに順序付けられる時間領域データの分析に最も適しています。 + +> いくつかのタイプのARIMAモデルがあり、[こちら](https://people.duke.edu/~rnau/411arim.htm)で学ぶことができます。また、次のレッスンで触れます。 + +次のレッスンでは、[単変量時系列](https://itl.nist.gov/div898/handbook/pmc/section4/pmc44.htm)を使用してARIMAモデルを構築します。これは、時間とともにその値が変化する1つの変数に焦点を当てます。この種のデータの例として、マウナ・ロア観測所で記録された月ごとのCO2濃度の[このデータセット](https://itl.nist.gov/div898/handbook/pmc/section4/pmc4411.htm)があります： + +| CO2 | YearMonth | Year | Month | +| :----: | :-------: | :---: | :---: | +| 330.62 | 1975.04 | 1975 | 1 | +| 331.40 | 1975.13 | 1975 | 2 | +| 331.87 | 1975.21 | 1975 | 3 | +| 333.18 | 1975.29 | 1975 | 4 | +| 333.92 | 1975.38 | 1975 | 5 | +| 333.43 | 1975.46 | 1975 | 6 | +| 331.85 | 1975.54 | 1975 | 7 | +| 330.01 | 1975.63 | 1975 | 8 | +| 328.51 | 1975.71 | 1975 | 9 | +| 328.41 | 1975.79 | 1975 | 10 | +| 329.25 | 1975.88 | 1975 | 11 | +| 330.97 | 1975.96 | 1975 | 12 | + +✅ このデータセットで時間とともに変化する変数を特定してください + +## 時系列データの特性に注意する + +時系列データを見ると、そのパターンをよりよく理解するために考慮し、軽減する必要がある[特定の特性](https://online.stat.psu.edu/stat510/lesson/1/1.1)があることに気付くかもしれません。時系列データを分析したい'信号'として考えると、これらの特性は'ノイズ'と見なすことができます。これらの特性の一部を統計技術を使用して相殺することにより、この'ノイズ'を削減する必要があることがよくあります。 + +時系列を扱うために知っておくべきいくつかの概念は次のとおりです： + +🎓 **トレンド** + +トレンドは、時間とともに測定可能な増減として定義されます。[詳細はこちら](https://machinelearningmastery.com/time-series-trends-in-python)。時系列の文脈では、トレンドを使用し、必要に応じて時系列からトレンドを削除する方法について説明します。 + +🎓 **[季節性](https://machinelearningmastery.com/time-series-seasonality-with-python/)** + +季節性は、例えば、販売に影響を与える可能性のある休日のラッシュのような周期的な変動として定義されます。データにおける季節性を表示するさまざまなタイプのプロットについては、[こちら](https://itl.nist.gov/div898/handbook/pmc/section4/pmc443.htm)を参照してください。 + +🎓 **外れ値** + +外れ値は、標準データの分散から遠く離れたものです。 + +🎓 **長期サイクル** + +季節性とは無関係に、データは1年以上続く経済の低迷のような長期サイクルを示すことがあります。 + +🎓 **一定の分散** + +時間とともに、いくつかのデータは、昼夜のエネルギー使用量のように一定の変動を示します。 + +🎓 **急激な変化** + +データはさらなる分析が必要な急激な変化を示すことがあります。例えば、COVIDによる企業の突然の閉鎖は、データに変化をもたらしました。 + +✅ [こちらのサンプル時系列プロット](https://www.kaggle.com/kashnitsky/topic-9-part-1-time-series-analysis-in-python)は、数年間にわたる日ごとのゲーム内通貨の支出を示しています。このデータに上記の特性のいくつかを特定できますか？ + + + +## 演習 - 電力使用データの開始 + +過去の使用量に基づいて将来の電力使用量を予測するための時系列モデルを作成しましょう。 + +> この例のデータは、GEFCom2014予測コンペティションから取得したものです。2012年から2014年までの3年間の毎時の電力負荷と温度の値が含まれています。 +> +> Tao Hong, Pierre Pinson, Shu Fan, Hamidreza Zareipour, Alberto Troccoli and Rob J. Hyndman, "Probabilistic energy forecasting: Global Energy Forecasting Competition 2014 and beyond", International Journal of Forecasting, vol.32, no.3, pp 896-913, July-September, 2016. + +1. このレッスンの `working` フォルダーで、_notebook.ipynb_ ファイルを開きます。データを読み込み、可視化するためのライブラリを追加することから始めましょう + + ```python + import os + import matplotlib.pyplot as plt + from common.utils import load_data + %matplotlib inline + ``` + + 注：含まれている `common` folder which set up your environment and handle downloading the data. + +2. Next, examine the data as a dataframe calling `load_data()` and `head()` のファイルを使用しています： + + ```python + data_dir = './data' + energy = load_data(data_dir)[['load']] + energy.head() + ``` + + 日付と負荷を表す2つの列があることがわかります： + + | | load | + | :-----------------: | :----: | + | 2012-01-01 00:00:00 | 2698.0 | + | 2012-01-01 01:00:00 | 2558.0 | + | 2012-01-01 02:00:00 | 2444.0 | + | 2012-01-01 03:00:00 | 2402.0 | + | 2012-01-01 04:00:00 | 2403.0 | + +3. 次に、`plot()`を呼び出してデータをプロットします： + + ```python + energy.plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + +4. 次に、2014年7月の最初の週を `energy` in `[from date]: [to date]` パターンとして入力してプロットします： + + ```python + energy['2014-07-01':'2014-07-07'].plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + + 素晴らしいプロットです！これらのプロットを見て、上記の特性のいくつかを特定できますか？データを視覚化することによって何を推測できますか？ + +次のレッスンでは、ARIMAモデルを作成していくつかの予測を行います。 + +--- + +## 🚀チャレンジ + +時系列予測から利益を得ることができるすべての業界と調査分野のリストを作成してください。これらの技術の応用を芸術に思いつきますか？計量経済学？生態学？小売業？産業？金融？他にはどこがありますか？ + +## [講義後のクイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/42/) + +## 復習と自主学習 + +ここでは取り上げませんが、ニューラルネットワークは時系列予測の古典的な方法を強化するために時々使用されます。[この記事](https://medium.com/microsoftazure/neural-networks-for-forecasting-financial-and-economic-time-series-6aca370ff412)で詳しく読むことができます。 + +## 課題 + +[さらに時系列を可視化する](assignment.md) + +**免責事項**: +この文書は機械ベースのAI翻訳サービスを使用して翻訳されています。正確性を期していますが、自動翻訳には誤りや不正確さが含まれる可能性があることをご了承ください。元の言語の文書が権威ある情報源と見なされるべきです。重要な情報については、専門の人間による翻訳を推奨します。この翻訳の使用に起因する誤解や誤訳について、当社は責任を負いません。 \ No newline at end of file diff --git a/translations/ja/7-TimeSeries/1-Introduction/assignment.md b/translations/ja/7-TimeSeries/1-Introduction/assignment.md new file mode 100644 index 000000000..9d2aaf9d9 --- /dev/null +++ b/translations/ja/7-TimeSeries/1-Introduction/assignment.md @@ -0,0 +1,14 @@ +# いくつかの時系列データをさらに可視化 + +## 手順 + +あなたは、特殊なモデリングが必要なデータの種類を見て、時系列予測について学び始めました。エネルギーに関するデータを可視化しました。次に、時系列予測の恩恵を受ける他のデータを探してみましょう。3つの例を見つけてください（[Kaggle](https://kaggle.com) や [Azure Open Datasets](https://azure.microsoft.com/en-us/services/open-datasets/catalog/?WT.mc_id=academic-77952-leestott) を試してみてください）。それらを可視化するためのノートブックを作成してください。それらが持つ特別な特性（季節性、急激な変化、その他のトレンドなど）をノートブックに記録してください。 + +## ルブリック + +| 基準 | 優秀な例 | 適切な例 | 改善が必要な例 | +| ------ | ------------------------------------------------------ | ---------------------------------------------------- | --------------------------------------------------------------------------------------- | +| | 3つのデータセットがノートブックでプロットされ説明されている | 2つのデータセットがノートブックでプロットされ説明されている | 少数のデータセットがプロットまたは説明されているか、提示されたデータが不十分である | + +**免責事項**: +この文書は機械翻訳AIサービスを使用して翻訳されています。正確性を期しておりますが、自動翻訳には誤りや不正確な部分が含まれる可能性があります。権威ある情報源としては、元の言語で記載された文書を参照してください。重要な情報については、専門の人間による翻訳を推奨します。この翻訳の使用によって生じる誤解や誤訳については責任を負いかねます。 \ No newline at end of file diff --git a/translations/ja/7-TimeSeries/1-Introduction/solution/Julia/README.md b/translations/ja/7-TimeSeries/1-Introduction/solution/Julia/README.md new file mode 100644 index 000000000..91e95299c --- /dev/null +++ b/translations/ja/7-TimeSeries/1-Introduction/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**免責事項**: +この文書は、機械ベースのAI翻訳サービスを使用して翻訳されています。正確さを期すよう努めていますが、自動翻訳には誤りや不正確さが含まれる可能性があることにご注意ください。原文の言語で書かれたオリジナルの文書が権威ある情報源と見なされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤解釈については、一切の責任を負いません。 \ No newline at end of file diff --git a/translations/ja/7-TimeSeries/1-Introduction/solution/R/README.md b/translations/ja/7-TimeSeries/1-Introduction/solution/R/README.md new file mode 100644 index 000000000..07933750a --- /dev/null +++ b/translations/ja/7-TimeSeries/1-Introduction/solution/R/README.md @@ -0,0 +1,4 @@ + + +**免責事項**: +この文書は、機械ベースのAI翻訳サービスを使用して翻訳されています。正確さを期すよう努めていますが、自動翻訳にはエラーや不正確さが含まれる場合があります。元の言語の文書が権威ある情報源と見なされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤解について、当社は責任を負いません。 \ No newline at end of file diff --git a/translations/ja/7-TimeSeries/2-ARIMA/README.md b/translations/ja/7-TimeSeries/2-ARIMA/README.md new file mode 100644 index 000000000..caa10aa2b --- /dev/null +++ b/translations/ja/7-TimeSeries/2-ARIMA/README.md @@ -0,0 +1,397 @@ +# ARIMAを使った時系列予測 + +前のレッスンでは、時系列予測について少し学び、ある期間における電力負荷の変動を示すデータセットを読み込みました。 + +[](https://youtu.be/IUSk-YDau10 "ARIMAの紹介") + +> 🎥 上の画像をクリックしてビデオを見る: ARIMAモデルの簡単な紹介。例はRで行われていますが、概念は普遍的です。 + +## [講義前クイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/43/) + +## はじめに + +このレッスンでは、[ARIMA: *A*uto*R*egressive *I*ntegrated *M*oving *A*verage](https://wikipedia.org/wiki/Autoregressive_integrated_moving_average)を使ってモデルを構築する具体的な方法を学びます。ARIMAモデルは、[非定常性](https://wikipedia.org/wiki/Stationary_process)を示すデータに特に適しています。 + +## 一般的な概念 + +ARIMAを使うためには、いくつか知っておくべき概念があります： + +- 🎓 **定常性**。統計的な文脈では、定常性とは、時間をシフトしても分布が変わらないデータを指します。非定常データは、分析のために変換が必要な傾向による変動を示します。例えば、季節性はデータに変動をもたらし、「季節差分」というプロセスで除去できます。 + +- 🎓 **[差分](https://wikipedia.org/wiki/Autoregressive_integrated_moving_average#Differencing)**。統計的な文脈でデータを差分化するとは、非定常データを定常化するためにその非一定の傾向を取り除くプロセスを指します。「差分は時系列のレベルの変化を取り除き、傾向と季節性を排除し、結果として時系列の平均を安定させます。」[Shixiongらの論文](https://arxiv.org/abs/1904.07632) + +## 時系列におけるARIMA + +ARIMAの各部分を解説し、時系列をどのようにモデル化し、予測に役立てるかを理解しましょう。 + +- **AR - 自己回帰**。自己回帰モデルは、その名前が示すように、過去のデータを分析して仮定を立てます。これらの過去の値は「ラグ」と呼ばれます。例えば、月ごとの鉛筆の販売データがあるとします。各月の販売総数はデータセットの「進化変数」とみなされます。このモデルは「興味のある進化変数がそのラグ（すなわち、前の値）に回帰される」として構築されます。[wikipedia](https://wikipedia.org/wiki/Autoregressive_integrated_moving_average) + +- **I - 統合**。類似の'ARMA'モデルとは異なり、ARIMAの'I'はその*[統合](https://wikipedia.org/wiki/Order_of_integration)*側面を指します。データは非定常性を排除するために差分ステップが適用されると「統合」されます。 + +- **MA - 移動平均**。このモデルの[移動平均](https://wikipedia.org/wiki/Moving-average_model)側面は、現在および過去のラグの値を観察することによって決定される出力変数を指します。 + +結論: ARIMAは、時系列データの特殊な形式にできるだけ近づけるためにモデルを作成するために使用されます。 + +## 演習 - ARIMAモデルの構築 + +このレッスンの[_/working_](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA/working)フォルダーを開き、[_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/7-TimeSeries/2-ARIMA/working/notebook.ipynb)ファイルを見つけてください。 + +1. ノートブックを実行して`statsmodels` Pythonライブラリを読み込みます。これはARIMAモデルに必要です。 + +1. 必要なライブラリを読み込む + +1. データをプロットするために便利なライブラリをいくつか読み込みます： + + ```python + import os + import warnings + import matplotlib.pyplot as plt + import numpy as np + import pandas as pd + import datetime as dt + import math + + from pandas.plotting import autocorrelation_plot + from statsmodels.tsa.statespace.sarimax import SARIMAX + from sklearn.preprocessing import MinMaxScaler + from common.utils import load_data, mape + from IPython.display import Image + + %matplotlib inline + pd.options.display.float_format = '{:,.2f}'.format + np.set_printoptions(precision=2) + warnings.filterwarnings("ignore") # specify to ignore warning messages + ``` + +1. `/data/energy.csv`ファイルからデータをPandasデータフレームに読み込み、確認します： + + ```python + energy = load_data('./data')[['load']] + energy.head(10) + ``` + +1. 2012年1月から2014年12月までの全てのエネルギーデータをプロットします。前のレッスンで見たデータなので驚くことはないでしょう： + + ```python + energy.plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + + では、モデルを構築しましょう！ + +### トレーニングとテストデータセットの作成 + +データが読み込まれたので、トレーニングセットとテストセットに分けます。トレーニングセットでモデルをトレーニングします。通常、モデルのトレーニングが終了したら、テストセットを使用してその精度を評価します。モデルが将来の時間帯から情報を得ないようにするために、テストセットがトレーニングセットよりも後の期間をカバーしていることを確認する必要があります。 + +1. 2014年9月1日から10月31日までの2か月間をトレーニングセットに割り当てます。テストセットには2014年11月1日から12月31日までの2か月間が含まれます： + + ```python + train_start_dt = '2014-11-01 00:00:00' + test_start_dt = '2014-12-30 00:00:00' + ``` + + このデータは日々のエネルギー消費を反映しているため、強い季節的パターンがありますが、消費は最近の日々の消費に最も似ています。 + +1. 差異を視覚化します： + + ```python + energy[(energy.index < test_start_dt) & (energy.index >= train_start_dt)][['load']].rename(columns={'load':'train'}) \ + .join(energy[test_start_dt:][['load']].rename(columns={'load':'test'}), how='outer') \ + .plot(y=['train', 'test'], figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + + したがって、データのトレーニングには比較的小さな時間枠を使用することが適切です。 + + > 注: ARIMAモデルをフィットさせるために使用する関数はフィッティング中にインサンプル検証を行うため、検証データは省略します。 + +### トレーニングのためのデータ準備 + +次に、データをフィルタリングおよびスケーリングしてトレーニングの準備をします。必要な期間と列のみを含むようにデータセットをフィルタリングし、データが0から1の範囲に投影されるようにスケーリングします。 + +1. 元のデータセットをフィルタリングし、前述の期間ごとのセットと、必要な列「load」と日付のみを含むようにします： + + ```python + train = energy.copy()[(energy.index >= train_start_dt) & (energy.index < test_start_dt)][['load']] + test = energy.copy()[energy.index >= test_start_dt][['load']] + + print('Training data shape: ', train.shape) + print('Test data shape: ', test.shape) + ``` + + データの形状を確認できます： + + ```output + Training data shape: (1416, 1) + Test data shape: (48, 1) + ``` + +1. データを(0, 1)の範囲にスケーリングします。 + + ```python + scaler = MinMaxScaler() + train['load'] = scaler.fit_transform(train) + train.head(10) + ``` + +1. 元のデータとスケーリングされたデータを視覚化します： + + ```python + energy[(energy.index >= train_start_dt) & (energy.index < test_start_dt)][['load']].rename(columns={'load':'original load'}).plot.hist(bins=100, fontsize=12) + train.rename(columns={'load':'scaled load'}).plot.hist(bins=100, fontsize=12) + plt.show() + ``` + +  + + > 元のデータ + +  + + > スケーリングされたデータ + +1. スケーリングされたデータをキャリブレーションしたので、テストデータをスケーリングします： + + ```python + test['load'] = scaler.transform(test) + test.head() + ``` + +### ARIMAの実装 + +いよいよARIMAの実装です！先ほどインストールした`statsmodels`ライブラリを使用します。 + +次にいくつかのステップを実行する必要があります + + 1. `SARIMAX()` and passing in the model parameters: p, d, and q parameters, and P, D, and Q parameters. + 2. Prepare the model for the training data by calling the fit() function. + 3. Make predictions calling the `forecast()` function and specifying the number of steps (the `horizon`) to forecast. + +> 🎓 What are all these parameters for? In an ARIMA model there are 3 parameters that are used to help model the major aspects of a time series: seasonality, trend, and noise. These parameters are: + +`p`: the parameter associated with the auto-regressive aspect of the model, which incorporates *past* values. +`d`: the parameter associated with the integrated part of the model, which affects the amount of *differencing* (🎓 remember differencing 👆?) to apply to a time series. +`q`: the parameter associated with the moving-average part of the model. + +> Note: If your data has a seasonal aspect - which this one does - , we use a seasonal ARIMA model (SARIMA). In that case you need to use another set of parameters: `P`, `D`, and `Q` which describe the same associations as `p`, `d`, and `q`を呼び出してモデルを定義しますが、これはモデルの季節成分に対応します。 + +1. 好みのホライズン値を設定します。3時間を試してみましょう： + + ```python + # Specify the number of steps to forecast ahead + HORIZON = 3 + print('Forecasting horizon:', HORIZON, 'hours') + ``` + + ARIMAモデルのパラメータの最適な値を選択するのは難しい場合があります。これは主観的であり、時間がかかるためです。`auto_arima()` function from the [`pyramid`ライブラリ](https://alkaline-ml.com/pmdarima/0.9.0/modules/generated/pyramid.arima.auto_arima.html)を使用することを検討するかもしれません。 + +1. まずは手動でいくつかの選択を試して、良いモデルを見つけます。 + + ```python + order = (4, 1, 0) + seasonal_order = (1, 1, 0, 24) + + model = SARIMAX(endog=train, order=order, seasonal_order=seasonal_order) + results = model.fit() + + print(results.summary()) + ``` + + 結果の表が表示されます。 + +最初のモデルを構築しました！次に、これを評価する方法を見つける必要があります。 + +### モデルの評価 + +モデルを評価するために、いわゆる`ウォークフォワード`検証を実行できます。実際には、新しいデータが利用可能になるたびに時系列モデルは再トレーニングされます。これにより、モデルは各時点で最適な予測を行うことができます。 + +この技術を使用して時系列の最初から始め、トレーニングデータセットでモデルをトレーニングします。その後、次の時点で予測を行います。予測は既知の値と比較されます。トレーニングセットは既知の値を含むように拡張され、このプロセスが繰り返されます。 + +> 注: トレーニングセットウィンドウを固定して効率的なトレーニングを行うために、新しい観測値をトレーニングセットに追加するたびに、セットの最初から観測値を削除します。 + +このプロセスは、モデルが実際にどのように動作するかのより堅牢な推定を提供します。ただし、多くのモデルを作成する計算コストがかかります。データが小さい場合やモデルがシンプルな場合は許容範囲ですが、スケールが大きい場合は問題になる可能性があります。 + +ウォークフォワード検証は時系列モデルの評価のゴールドスタンダードであり、独自のプロジェクトに推奨されます。 + +1. まず、各ホライズンステップのテストデータポイントを作成します。 + + ```python + test_shifted = test.copy() + + for t in range(1, HORIZON+1): + test_shifted['load+'+str(t)] = test_shifted['load'].shift(-t, freq='H') + + test_shifted = test_shifted.dropna(how='any') + test_shifted.head(5) + ``` + + | | | load | load+1 | load+2 | + | ---------- | -------- | ---- | ------ | ------ | + | 2014-12-30 | 00:00:00 | 0.33 | 0.29 | 0.27 | + | 2014-12-30 | 01:00:00 | 0.29 | 0.27 | 0.27 | + | 2014-12-30 | 02:00:00 | 0.27 | 0.27 | 0.30 | + | 2014-12-30 | 03:00:00 | 0.27 | 0.30 | 0.41 | + | 2014-12-30 | 04:00:00 | 0.30 | 0.41 | 0.57 | + + データはホライズンポイントに従って水平方向にシフトされます。 + +1. このスライディングウィンドウアプローチを使用して、テストデータで予測を行い、テストデータの長さのループで実行します： + + ```python + %%time + training_window = 720 # dedicate 30 days (720 hours) for training + + train_ts = train['load'] + test_ts = test_shifted + + history = [x for x in train_ts] + history = history[(-training_window):] + + predictions = list() + + order = (2, 1, 0) + seasonal_order = (1, 1, 0, 24) + + for t in range(test_ts.shape[0]): + model = SARIMAX(endog=history, order=order, seasonal_order=seasonal_order) + model_fit = model.fit() + yhat = model_fit.forecast(steps = HORIZON) + predictions.append(yhat) + obs = list(test_ts.iloc[t]) + # move the training window + history.append(obs[0]) + history.pop(0) + print(test_ts.index[t]) + print(t+1, ': predicted =', yhat, 'expected =', obs) + ``` + + トレーニングが行われるのを観察できます： + + ```output + 2014-12-30 00:00:00 + 1 : predicted = [0.32 0.29 0.28] expected = [0.32945389435989236, 0.2900626678603402, 0.2739480752014323] + + 2014-12-30 01:00:00 + 2 : predicted = [0.3 0.29 0.3 ] expected = [0.2900626678603402, 0.2739480752014323, 0.26812891674127126] + + 2014-12-30 02:00:00 + 3 : predicted = [0.27 0.28 0.32] expected = [0.2739480752014323, 0.26812891674127126, 0.3025962399283795] + ``` + +1. 予測と実際の負荷を比較します： + + ```python + eval_df = pd.DataFrame(predictions, columns=['t+'+str(t) for t in range(1, HORIZON+1)]) + eval_df['timestamp'] = test.index[0:len(test.index)-HORIZON+1] + eval_df = pd.melt(eval_df, id_vars='timestamp', value_name='prediction', var_name='h') + eval_df['actual'] = np.array(np.transpose(test_ts)).ravel() + eval_df[['prediction', 'actual']] = scaler.inverse_transform(eval_df[['prediction', 'actual']]) + eval_df.head() + ``` + + 出力 + | | | timestamp | h | prediction | actual | + | --- | ---------- | --------- | --- | ---------- | -------- | + | 0 | 2014-12-30 | 00:00:00 | t+1 | 3,008.74 | 3,023.00 | + | 1 | 2014-12-30 | 01:00:00 | t+1 | 2,955.53 | 2,935.00 | + | 2 | 2014-12-30 | 02:00:00 | t+1 | 2,900.17 | 2,899.00 | + | 3 | 2014-12-30 | 03:00:00 | t+1 | 2,917.69 | 2,886.00 | + | 4 | 2014-12-30 | 04:00:00 | t+1 | 2,946.99 | 2,963.00 | + + + 時間ごとのデータの予測を観察し、実際の負荷と比較します。どれくらい正確ですか？ + +### モデルの精度を確認する + +全ての予測に対して平均絶対誤差率（MAPE）をテストしてモデルの精度を確認します。 + +> **🧮 数学を見せて** +> +>  +> +> [MAPE](https://www.linkedin.com/pulse/what-mape-mad-msd-time-series-allameh-statistics/)は、上記の式で定義される比率として予測精度を示すために使用されます。実際値tと予測値tの差を実際値tで割ります。「この計算の絶対値は、予測されたすべての時点で合計され、フィットされたポイントの数nで割られます。」[wikipedia](https://wikipedia.org/wiki/Mean_absolute_percentage_error) + +1. 式をコードで表現します： + + ```python + if(HORIZON > 1): + eval_df['APE'] = (eval_df['prediction'] - eval_df['actual']).abs() / eval_df['actual'] + print(eval_df.groupby('h')['APE'].mean()) + ``` + +1. 1ステップのMAPEを計算します： + + ```python + print('One step forecast MAPE: ', (mape(eval_df[eval_df['h'] == 't+1']['prediction'], eval_df[eval_df['h'] == 't+1']['actual']))*100, '%') + ``` + + 1ステップ予測MAPE: 0.5570581332313952 % + +1. 複数ステップ予測のMAPEを表示します： + + ```python + print('Multi-step forecast MAPE: ', mape(eval_df['prediction'], eval_df['actual'])*100, '%') + ``` + + ```output + Multi-step forecast MAPE: 1.1460048657704118 % + ``` + + 低い数値が良い: 予測のMAPEが10であれば、10%の誤差があることを意味します。 + +1. しかし、いつものように、このような精度の測定を視覚的に見る方が簡単ですので、プロットしてみましょう： + + ```python + if(HORIZON == 1): + ## Plotting single step forecast + eval_df.plot(x='timestamp', y=['actual', 'prediction'], style=['r', 'b'], figsize=(15, 8)) + + else: + ## Plotting multi step forecast + plot_df = eval_df[(eval_df.h=='t+1')][['timestamp', 'actual']] + for t in range(1, HORIZON+1): + plot_df['t+'+str(t)] = eval_df[(eval_df.h=='t+'+str(t))]['prediction'].values + + fig = plt.figure(figsize=(15, 8)) + ax = plt.plot(plot_df['timestamp'], plot_df['actual'], color='red', linewidth=4.0) + ax = fig.add_subplot(111) + for t in range(1, HORIZON+1): + x = plot_df['timestamp'][(t-1):] + y = plot_df['t+'+str(t)][0:len(x)] + ax.plot(x, y, color='blue', linewidth=4*math.pow(.9,t), alpha=math.pow(0.8,t)) + + ax.legend(loc='best') + + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + +🏆 非常に良いプロットで、良い精度のモデルを示しています。よくできました！ + +--- + +## 🚀チャレンジ + +時系列モデルの精度をテストする方法を掘り下げてみましょう。このレッスンではMAPEに触れましたが、他に使用できる方法はありますか？それらを調査して注釈を付けてください。役立つドキュメントは[こちら](https://otexts.com/fpp2/accuracy.html)にあります。 + +## [講義後クイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/44/) + +## レビューと自習 + +このレッスンでは、ARIMAを使った時系列予測の基本に触れました。時間をかけて[このリポジトリ](https://microsoft.github.io/forecasting/)とそのさまざまなモデルタイプを掘り下げ、他の時系列モデルの構築方法を学んでください。 + +## 課題 + +[新しいARIMAモデル](assignment.md) + +**免責事項**: +この文書は機械ベースのAI翻訳サービスを使用して翻訳されています。正確さを期すために努めていますが、自動翻訳には誤りや不正確さが含まれる場合があります。原文の言語で記載された元の文書を権威ある情報源と見なしてください。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤解釈について、当社は一切の責任を負いません。 \ No newline at end of file diff --git a/translations/ja/7-TimeSeries/2-ARIMA/assignment.md b/translations/ja/7-TimeSeries/2-ARIMA/assignment.md new file mode 100644 index 000000000..5c73a6314 --- /dev/null +++ b/translations/ja/7-TimeSeries/2-ARIMA/assignment.md @@ -0,0 +1,14 @@ +# 新しいARIMAモデル + +## 手順 + +既にARIMAモデルを構築したので、新しいデータを使って新しいモデルを構築しましょう（[Dukeのこれらのデータセット](http://www2.stat.duke.edu/~mw/ts_data_sets.html)の1つを試してみてください）。ノートブックに作業を注釈し、データとモデルを可視化し、MAPEを使用してその精度をテストしてください。 + +## ルーブリック + +| 基準 | 優秀 | 適切 | 改善が必要 | +| ------- | ------------------------------------------------------------------------------------------------------------------- | --------------------------------------------------- | ---------------------------- | +| | 新しいARIMAモデルが構築され、テストされ、可視化と精度が説明されたノートブックが提示されています。 | 提示されたノートブックには注釈がないか、バグが含まれています。 | 不完全なノートブックが提示されています。 | + +**免責事項**： +この文書は、機械翻訳AIサービスを使用して翻訳されています。正確さを期していますが、自動翻訳には誤りや不正確さが含まれる場合がありますのでご注意ください。元の言語で書かれた文書が権威ある情報源と見なされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤訳について、当社は責任を負いません。 \ No newline at end of file diff --git a/translations/ja/7-TimeSeries/2-ARIMA/solution/Julia/README.md b/translations/ja/7-TimeSeries/2-ARIMA/solution/Julia/README.md new file mode 100644 index 000000000..95cb54a78 --- /dev/null +++ b/translations/ja/7-TimeSeries/2-ARIMA/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**免責事項**： +この文書は機械翻訳サービスを使用して翻訳されています。正確性を期していますが、自動翻訳には誤りや不正確さが含まれる可能性がありますのでご注意ください。元の言語で書かれた原文が信頼できる情報源と見なされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤認について、当社は一切の責任を負いません。 \ No newline at end of file diff --git a/translations/ja/7-TimeSeries/2-ARIMA/solution/R/README.md b/translations/ja/7-TimeSeries/2-ARIMA/solution/R/README.md new file mode 100644 index 000000000..bdf594aee --- /dev/null +++ b/translations/ja/7-TimeSeries/2-ARIMA/solution/R/README.md @@ -0,0 +1,4 @@ + + +**免責事項**: +この文書は機械翻訳AIサービスを使用して翻訳されています。正確さを期すよう努めておりますが、自動翻訳には誤りや不正確な部分が含まれる場合があります。原文の言語で書かれた文書が権威ある情報源とみなされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤解について、当社は責任を負いません。 \ No newline at end of file diff --git a/translations/ja/7-TimeSeries/3-SVR/README.md b/translations/ja/7-TimeSeries/3-SVR/README.md new file mode 100644 index 000000000..43f1a4846 --- /dev/null +++ b/translations/ja/7-TimeSeries/3-SVR/README.md @@ -0,0 +1,384 @@ +# サポートベクター回帰を用いた時系列予測 + +前回のレッスンでは、ARIMAモデルを使用して時系列予測を行う方法を学びました。今回は、連続データを予測するために使用される回帰モデルであるサポートベクター回帰モデルについて見ていきます。 + +## [事前クイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/51/) + +## はじめに + +このレッスンでは、回帰のための[**SVM**: **S**upport **V**ector **M**achine](https://en.wikipedia.org/wiki/Support-vector_machine)、つまり**SVR: サポートベクター回帰**を用いてモデルを構築する具体的な方法を学びます。 + +### 時系列におけるSVRの役割 [^1] + +時系列予測におけるSVRの重要性を理解する前に、知っておくべき重要な概念をいくつか紹介します： + +- **回帰:** 与えられた入力セットから連続値を予測するための教師あり学習技術です。アイデアは、特徴空間内の最大数のデータポイントを持つ曲線（または直線）にフィットさせることです。詳細は[こちら](https://en.wikipedia.org/wiki/Regression_analysis)をクリックしてください。 +- **サポートベクターマシン (SVM):** 分類、回帰、および外れ値検出のために使用される教師あり機械学習モデルの一種です。モデルは特徴空間内の超平面であり、分類の場合は境界として機能し、回帰の場合は最適なフィットラインとして機能します。SVMでは、カーネル関数を使用してデータセットをより高次元の空間に変換し、容易に分離可能にすることが一般的です。SVMの詳細は[こちら](https://en.wikipedia.org/wiki/Support-vector_machine)をクリックしてください。 +- **サポートベクター回帰 (SVR):** SVMの一種で、最大数のデータポイントを持つ最適なフィットライン（SVMの場合は超平面）を見つけるためのものです。 + +### なぜSVRを使うのか？ [^1] + +前回のレッスンでは、時系列データを予測するための非常に成功した統計的線形方法であるARIMAについて学びました。しかし、多くの場合、時系列データには線形モデルではマッピングできない*非線形性*が含まれています。このような場合、回帰タスクにおいてデータの非線形性を考慮できるSVMの能力が、時系列予測においてSVRを成功させる理由となります。 + +## 演習 - SVRモデルの構築 + +データ準備の最初のステップは、前回の[ARIMA](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA)のレッスンと同じです。 + +このレッスンの[_/working_](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/3-SVR/working)フォルダーを開き、[_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/7-TimeSeries/3-SVR/working/notebook.ipynb)ファイルを見つけてください。[^2] + +1. ノートブックを実行し、必要なライブラリをインポートします: [^2] + + ```python + import sys + sys.path.append('../../') + ``` + + ```python + import os + import warnings + import matplotlib.pyplot as plt + import numpy as np + import pandas as pd + import datetime as dt + import math + + from sklearn.svm import SVR + from sklearn.preprocessing import MinMaxScaler + from common.utils import load_data, mape + ``` + +2. `/data/energy.csv`ファイルからデータをPandasデータフレームに読み込み、確認します: [^2] + + ```python + energy = load_data('../../data')[['load']] + ``` + +3. 2012年1月から2014年12月までの利用可能なすべてのエネルギーデータをプロットします: [^2] + + ```python + energy.plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + + それでは、SVRモデルを構築しましょう。 + +### トレーニングデータとテストデータの作成 + +データが読み込まれたので、トレーニングセットとテストセットに分割します。その後、SVRに必要なタイムステップベースのデータセットを作成するためにデータを再形成します。モデルはトレーニングセットでトレーニングされます。トレーニングが終了した後、トレーニングセット、テストセット、そして全データセットでその精度を評価し、全体的なパフォーマンスを確認します。テストセットがトレーニングセットより後の期間をカバーするようにして、モデルが将来の時間から情報を得ないようにする必要があります[^2]（これは*過剰適合*と呼ばれる状況です）。 + +1. トレーニングセットには2014年9月1日から10月31日までの2ヶ月間を割り当てます。テストセットには2014年11月1日から12月31日までの2ヶ月間が含まれます: [^2] + + ```python + train_start_dt = '2014-11-01 00:00:00' + test_start_dt = '2014-12-30 00:00:00' + ``` + +2. 違いを視覚化します: [^2] + + ```python + energy[(energy.index < test_start_dt) & (energy.index >= train_start_dt)][['load']].rename(columns={'load':'train'}) \ + .join(energy[test_start_dt:][['load']].rename(columns={'load':'test'}), how='outer') \ + .plot(y=['train', 'test'], figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + +### トレーニング用データの準備 + +次に、データをフィルタリングおよびスケーリングしてトレーニング用に準備する必要があります。必要な期間と列のみを含むようにデータセットをフィルタリングし、データが0から1の範囲に投影されるようにスケーリングします。 + +1. 元のデータセットをフィルタリングして、前述の期間ごとのセットと、必要な列「load」と日付のみを含むようにします: [^2] + + ```python + train = energy.copy()[(energy.index >= train_start_dt) & (energy.index < test_start_dt)][['load']] + test = energy.copy()[energy.index >= test_start_dt][['load']] + + print('Training data shape: ', train.shape) + print('Test data shape: ', test.shape) + ``` + + ```output + Training data shape: (1416, 1) + Test data shape: (48, 1) + ``` + +2. トレーニングデータを(0, 1)の範囲にスケーリングします: [^2] + + ```python + scaler = MinMaxScaler() + train['load'] = scaler.fit_transform(train) + ``` + +4. 次に、テストデータをスケーリングします: [^2] + + ```python + test['load'] = scaler.transform(test) + ``` + +### タイムステップを持つデータの作成 [^1] + +SVRのために、入力データを`[batch, timesteps]`. So, you reshape the existing `train_data` and `test_data`の形式に変換します。新しい次元がタイムステップを参照するようになります。 + +```python +# Converting to numpy arrays +train_data = train.values +test_data = test.values +``` + +この例では、`timesteps = 5`とします。つまり、モデルへの入力は最初の4つのタイムステップのデータであり、出力は5番目のタイムステップのデータとなります。 + +```python +timesteps=5 +``` + +ネストされたリスト内包表記を使用してトレーニングデータを2Dテンソルに変換します: + +```python +train_data_timesteps=np.array([[j for j in train_data[i:i+timesteps]] for i in range(0,len(train_data)-timesteps+1)])[:,:,0] +train_data_timesteps.shape +``` + +```output +(1412, 5) +``` + +テストデータを2Dテンソルに変換します: + +```python +test_data_timesteps=np.array([[j for j in test_data[i:i+timesteps]] for i in range(0,len(test_data)-timesteps+1)])[:,:,0] +test_data_timesteps.shape +``` + +```output +(44, 5) +``` + +トレーニングデータとテストデータから入力と出力を選択します: + +```python +x_train, y_train = train_data_timesteps[:,:timesteps-1],train_data_timesteps[:,[timesteps-1]] +x_test, y_test = test_data_timesteps[:,:timesteps-1],test_data_timesteps[:,[timesteps-1]] + +print(x_train.shape, y_train.shape) +print(x_test.shape, y_test.shape) +``` + +```output +(1412, 4) (1412, 1) +(44, 4) (44, 1) +``` + +### SVRの実装 [^1] + +それでは、SVRを実装する時が来ました。この実装について詳しく知りたい場合は、[このドキュメント](https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVR.html)を参照してください。私たちの実装では、以下のステップに従います： + + 1. `SVR()`を呼び出してモデルを定義し、`fit()` and passing in the model hyperparameters: kernel, gamma, c and epsilon + 2. Prepare the model for the training data by calling the `predict()`関数を使用します。 + +次に、SVRモデルを作成します。ここでは[RBFカーネル](https://scikit-learn.org/stable/modules/svm.html#parameters-of-the-rbf-kernel)を使用し、ハイパーパラメータgamma、C、およびepsilonをそれぞれ0.5、10、および0.05に設定します。 + +```python +model = SVR(kernel='rbf',gamma=0.5, C=10, epsilon = 0.05) +``` + +#### トレーニングデータにモデルを適合させる [^1] + +```python +model.fit(x_train, y_train[:,0]) +``` + +```output +SVR(C=10, cache_size=200, coef0=0.0, degree=3, epsilon=0.05, gamma=0.5, + kernel='rbf', max_iter=-1, shrinking=True, tol=0.001, verbose=False) +``` + +#### モデル予測を行う [^1] + +```python +y_train_pred = model.predict(x_train).reshape(-1,1) +y_test_pred = model.predict(x_test).reshape(-1,1) + +print(y_train_pred.shape, y_test_pred.shape) +``` + +```output +(1412, 1) (44, 1) +``` + +SVRを構築しました！次に、それを評価する必要があります。 + +### モデルの評価 [^1] + +評価のために、まずデータを元のスケールに戻します。次に、パフォーマンスを確認するために、元の時系列プロットと予測された時系列プロットをプロットし、MAPE結果も出力します。 + +予測された出力と元の出力をスケールバックします: + +```python +# Scaling the predictions +y_train_pred = scaler.inverse_transform(y_train_pred) +y_test_pred = scaler.inverse_transform(y_test_pred) + +print(len(y_train_pred), len(y_test_pred)) +``` + +```python +# Scaling the original values +y_train = scaler.inverse_transform(y_train) +y_test = scaler.inverse_transform(y_test) + +print(len(y_train), len(y_test)) +``` + +#### トレーニングデータとテストデータでモデルのパフォーマンスを確認する [^1] + +データセットからタイムスタンプを抽出し、プロットのx軸に表示します。最初の```timesteps-1```値を最初の出力の入力として使用しているため、出力のタイムスタンプはその後に開始します。 + +```python +train_timestamps = energy[(energy.index < test_start_dt) & (energy.index >= train_start_dt)].index[timesteps-1:] +test_timestamps = energy[test_start_dt:].index[timesteps-1:] + +print(len(train_timestamps), len(test_timestamps)) +``` + +```output +1412 44 +``` + +トレーニングデータの予測をプロットします: + +```python +plt.figure(figsize=(25,6)) +plt.plot(train_timestamps, y_train, color = 'red', linewidth=2.0, alpha = 0.6) +plt.plot(train_timestamps, y_train_pred, color = 'blue', linewidth=0.8) +plt.legend(['Actual','Predicted']) +plt.xlabel('Timestamp') +plt.title("Training data prediction") +plt.show() +``` + + + +トレーニングデータのMAPEを出力します + +```python +print('MAPE for training data: ', mape(y_train_pred, y_train)*100, '%') +``` + +```output +MAPE for training data: 1.7195710200875551 % +``` + +テストデータの予測をプロットします + +```python +plt.figure(figsize=(10,3)) +plt.plot(test_timestamps, y_test, color = 'red', linewidth=2.0, alpha = 0.6) +plt.plot(test_timestamps, y_test_pred, color = 'blue', linewidth=0.8) +plt.legend(['Actual','Predicted']) +plt.xlabel('Timestamp') +plt.show() +``` + + + +テストデータのMAPEを出力します + +```python +print('MAPE for testing data: ', mape(y_test_pred, y_test)*100, '%') +``` + +```output +MAPE for testing data: 1.2623790187854018 % +``` + +🏆 テストデータセットで非常に良い結果を得ました！ + +### 全データセットでモデルのパフォーマンスを確認する [^1] + +```python +# Extracting load values as numpy array +data = energy.copy().values + +# Scaling +data = scaler.transform(data) + +# Transforming to 2D tensor as per model input requirement +data_timesteps=np.array([[j for j in data[i:i+timesteps]] for i in range(0,len(data)-timesteps+1)])[:,:,0] +print("Tensor shape: ", data_timesteps.shape) + +# Selecting inputs and outputs from data +X, Y = data_timesteps[:,:timesteps-1],data_timesteps[:,[timesteps-1]] +print("X shape: ", X.shape,"\nY shape: ", Y.shape) +``` + +```output +Tensor shape: (26300, 5) +X shape: (26300, 4) +Y shape: (26300, 1) +``` + +```python +# Make model predictions +Y_pred = model.predict(X).reshape(-1,1) + +# Inverse scale and reshape +Y_pred = scaler.inverse_transform(Y_pred) +Y = scaler.inverse_transform(Y) +``` + +```python +plt.figure(figsize=(30,8)) +plt.plot(Y, color = 'red', linewidth=2.0, alpha = 0.6) +plt.plot(Y_pred, color = 'blue', linewidth=0.8) +plt.legend(['Actual','Predicted']) +plt.xlabel('Timestamp') +plt.show() +``` + + + +```python +print('MAPE: ', mape(Y_pred, Y)*100, '%') +``` + +```output +MAPE: 2.0572089029888656 % +``` + +🏆 素晴らしいプロットで、精度の高いモデルを示しています。よくできました！ + +--- + +## 🚀チャレンジ + +- モデルを作成する際にハイパーパラメータ（gamma、C、epsilon）を調整して、テストデータでの最適な結果を得るセットを評価してみてください。これらのハイパーパラメータについて詳しく知りたい場合は、[こちらのドキュメント](https://scikit-learn.org/stable/modules/svm.html#parameters-of-the-rbf-kernel)を参照してください。 +- モデルに対して異なるカーネル関数を使用し、データセットでのパフォーマンスを分析してみてください。役立つドキュメントは[こちら](https://scikit-learn.org/stable/modules/svm.html#kernel-functions)にあります。 +- モデルが予測を行うために振り返る`timesteps`の値を異なるものにしてみてください。 + +## [事後クイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/52/) + +## レビューと自己学習 + +このレッスンでは、時系列予測のためのSVRの応用を紹介しました。SVRについてさらに詳しく知りたい場合は、[このブログ](https://www.analyticsvidhya.com/blog/2020/03/support-vector-regression-tutorial-for-machine-learning/)を参照してください。この[scikit-learnのドキュメント](https://scikit-learn.org/stable/modules/svm.html)では、SVM全般、[SVR](https://scikit-learn.org/stable/modules/svm.html#regression)、および異なる[カーネル関数](https://scikit-learn.org/stable/modules/svm.html#kernel-functions)の使用方法やそのパラメータなど、他の実装の詳細についても包括的な説明が提供されています。 + +## 課題 + +[新しいSVRモデル](assignment.md) + + + +## クレジット + + +[^1]: このセクションのテキスト、コード、および出力は[AnirbanMukherjeeXD](https://github.com/AnirbanMukherjeeXD)によって提供されました。 +[^2]: このセクションのテキスト、コード、および出力は[ARIMA](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA)から引用されました。 + +**免責事項**: +この文書は、機械ベースのAI翻訳サービスを使用して翻訳されています。正確さを期していますが、自動翻訳には誤りや不正確さが含まれる可能性があることをご了承ください。元の言語で書かれた原文が権威ある情報源と見なされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤認については、一切の責任を負いかねます。 \ No newline at end of file diff --git a/translations/ja/7-TimeSeries/3-SVR/assignment.md b/translations/ja/7-TimeSeries/3-SVR/assignment.md new file mode 100644 index 000000000..8ca1f48ab --- /dev/null +++ b/translations/ja/7-TimeSeries/3-SVR/assignment.md @@ -0,0 +1,17 @@ +# 新しいSVRモデル + +## 手順 [^1] + +SVRモデルを構築したら、新しいデータを使って新しいモデルを構築してください（[Dukeのこれらのデータセット](http://www2.stat.duke.edu/~mw/ts_data_sets.html)のいずれかを試してください）。作業をノートブックに注釈し、データとモデルを可視化し、適切なプロットとMAPEを使用してその精度をテストします。また、異なるハイパーパラメータを調整したり、異なるタイムステップの値を使用したりすることも試してください。 + +## ルーブリック [^1] + +| 基準 | 模範的な内容 | 適切な内容 | 改善が必要な内容 | +| -------- | ------------------------------------------------------------ | --------------------------------------------------------- | ----------------------------------- | +| | SVRモデルが構築され、テストされ、可視化と精度が明示されたノートブックが提示される。 | 提示されたノートブックに注釈がなく、バグが含まれている。 | 不完全なノートブックが提示される。 | + + +[^1]:このセクションのテキストは[ARIMAの課題](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA/assignment.md)に基づいています。 + +**免責事項**: +この文書は、機械ベースのAI翻訳サービスを使用して翻訳されています。正確性を期すために努力していますが、自動翻訳にはエラーや不正確さが含まれる場合があります。元の言語で書かれた文書が権威ある情報源と見なされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用によって生じた誤解や誤訳については、一切の責任を負いかねます。 \ No newline at end of file diff --git a/translations/ja/7-TimeSeries/README.md b/translations/ja/7-TimeSeries/README.md new file mode 100644 index 000000000..521ccaf7e --- /dev/null +++ b/translations/ja/7-TimeSeries/README.md @@ -0,0 +1,26 @@ +# 時系列予測の紹介 + +時系列予測とは何でしょうか？それは過去のトレンドを分析して将来の出来事を予測することです。 + +## 地域トピック: 世界の電力使用量 ✨ + +この2つのレッスンでは、時系列予測について紹介します。これは機械学習の中でもあまり知られていない分野ですが、産業やビジネスの応用などにおいて非常に価値があります。ニューラルネットワークを使ってこれらのモデルの有用性を高めることもできますが、ここでは過去のデータに基づいて将来のパフォーマンスを予測するための古典的な機械学習の文脈でこれらを学びます。 + +地域的な焦点は世界の電力使用量にあります。この興味深いデータセットを通じて、過去の負荷パターンに基づいて将来の電力使用量を予測する方法を学びます。このような予測がビジネス環境で非常に役立つことがわかるでしょう。 + + + +ラジャスタンの道路にある電柱の写真は、[Peddi Sai hrithik](https://unsplash.com/@shutter_log?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText) によるもので、[Unsplash](https://unsplash.com/s/photos/electric-india?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText) に掲載されています。 + +## レッスン + +1. [時系列予測の紹介](1-Introduction/README.md) +2. [ARIMA時系列モデルの構築](2-ARIMA/README.md) +3. [時系列予測のためのサポートベクターレグレッサの構築](3-SVR/README.md) + +## クレジット + +「時系列予測の紹介」は、[Francesca Lazzeri](https://twitter.com/frlazzeri) と [Jen Looper](https://twitter.com/jenlooper) によって⚡️を込めて書かれました。このノートブックは最初に [Azure "Deep Learning For Time Series" リポジトリ](https://github.com/Azure/DeepLearningForTimeSeriesForecasting) にオンラインで公開され、Francesca Lazzeri によって書かれました。SVRレッスンは [Anirban Mukherjee](https://github.com/AnirbanMukherjeeXD) によって書かれました。 + +**免責事項**： +この文書は機械翻訳AIサービスを使用して翻訳されています。正確性を期すために努力していますが、自動翻訳には誤りや不正確さが含まれる可能性があります。元の言語で記載された文書を権威ある情報源と見なすべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用により生じる誤解や誤解釈について、当社は一切の責任を負いません。 \ No newline at end of file diff --git a/translations/ja/8-Reinforcement/1-QLearning/README.md b/translations/ja/8-Reinforcement/1-QLearning/README.md new file mode 100644 index 000000000..95af5c12c --- /dev/null +++ b/translations/ja/8-Reinforcement/1-QLearning/README.md @@ -0,0 +1,320 @@ +# 強化学習とQ学習の紹介 + + +> スケッチノート: [Tomomi Imura](https://www.twitter.com/girlie_mac) + +強化学習には、エージェント、状態、各状態ごとの一連のアクションという3つの重要な概念が含まれます。指定された状態でアクションを実行すると、エージェントに報酬が与えられます。コンピュータゲーム「スーパーマリオ」を想像してみてください。あなたはマリオで、崖の端に立っているゲームレベルにいます。上にはコインがあります。あなたがマリオで、特定の位置にいるゲームレベル...それがあなたの状態です。右に一歩進む（アクション）と崖から落ちてしまい、低い数値スコアが与えられます。しかし、ジャンプボタンを押すとポイントが得られ、生き残ることができます。これはポジティブな結果であり、ポジティブな数値スコアが与えられるべきです。 + +強化学習とシミュレーター（ゲーム）を使用することで、ゲームをプレイして報酬を最大化する方法を学ぶことができます。報酬は生き残り、できるだけ多くのポイントを獲得することです。 + +[](https://www.youtube.com/watch?v=lDq_en8RNOo) + +> 🎥 上の画像をクリックして、Dmitry が強化学習について話すのを聞いてみましょう + +## [講義前のクイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/45/) + +## 前提条件とセットアップ + +このレッスンでは、Python でいくつかのコードを実験します。このレッスンの Jupyter Notebook コードを、自分のコンピュータ上またはクラウド上で実行できるようにしてください。 + +[レッスンノートブック](https://github.com/microsoft/ML-For-Beginners/blob/main/8-Reinforcement/1-QLearning/notebook.ipynb)を開いて、このレッスンを進めながら構築していくことができます。 + +> **Note:** クラウドからこのコードを開く場合、ノートブックコードで使用される [`rlboard.py`](https://github.com/microsoft/ML-For-Beginners/blob/main/8-Reinforcement/1-QLearning/rlboard.py) ファイルも取得する必要があります。同じディレクトリに追加してください。 + +## はじめに + +このレッスンでは、ロシアの作曲家 [Sergei Prokofiev](https://en.wikipedia.org/wiki/Sergei_Prokofiev) による音楽童話に触発された **[ピーターと狼](https://en.wikipedia.org/wiki/Peter_and_the_Wolf)** の世界を探ります。**強化学習** を使用して、ピーターが環境を探索し、美味しいリンゴを集め、狼に出会わないようにします。 + +**強化学習** (RL) は、**エージェント** がいくつかの **環境** で最適な行動を学習するための技術です。エージェントはこの環境で **報酬関数** によって定義された **目標** を持つべきです。 + +## 環境 + +簡単にするために、ピーターの世界を次のような `width` x `height` のサイズの正方形のボードと考えます： + + + +このボードの各セルは次のいずれかです： + +* **地面**: ピーターや他の生き物が歩ける場所。 +* **水**: 明らかに歩けない場所。 +* **木** または **草**: 休む場所。 +* **リンゴ**: ピーターが見つけて食べたいもの。 +* **狼**: 危険で避けるべきもの。 + +この環境で動作するコードを含む別の Python モジュール [`rlboard.py`](https://github.com/microsoft/ML-For-Beginners/blob/main/8-Reinforcement/1-QLearning/rlboard.py) があります。このコードは概念の理解には重要ではないため、モジュールをインポートしてサンプルボードを作成します（コードブロック 1）： + +```python +from rlboard import * + +width, height = 8,8 +m = Board(width,height) +m.randomize(seed=13) +m.plot() +``` + +このコードは、上記の環境に似た画像を出力します。 + +## アクションとポリシー + +この例では、ピーターの目標は狼や他の障害物を避けながらリンゴを見つけることです。これを行うために、彼はリンゴを見つけるまで基本的に歩き回ることができます。 + +したがって、任意の位置で、彼は次のアクションのいずれかを選択できます：上、下、左、右。 + +これらのアクションを辞書として定義し、それらを対応する座標の変化のペアにマッピングします。例えば、右に移動する (`R`) would correspond to a pair `(1,0)` とします（コードブロック 2）： + +```python +actions = { "U" : (0,-1), "D" : (0,1), "L" : (-1,0), "R" : (1,0) } +action_idx = { a : i for i,a in enumerate(actions.keys()) } +``` + +まとめると、このシナリオの戦略と目標は次のとおりです： + +- **戦略**: エージェント（ピーター）の戦略は **ポリシー** と呼ばれる関数によって定義されます。ポリシーは任意の状態でアクションを返す関数です。私たちの場合、問題の状態はプレイヤーの現在位置を含むボードによって表されます。 + +- **目標**: 強化学習の目標は、問題を効率的に解決するための良いポリシーを最終的に学習することです。ただし、基準として、最も単純なポリシーである **ランダムウォーク** を考えます。 + +## ランダムウォーク + +まず、ランダムウォーク戦略を実装して問題を解決しましょう。ランダムウォークでは、許可されたアクションから次のアクションをランダムに選択し、リンゴに到達するまで繰り返します（コードブロック 3）。 + +1. 以下のコードでランダムウォークを実装します： + + ```python + def random_policy(m): + return random.choice(list(actions)) + + def walk(m,policy,start_position=None): + n = 0 # number of steps + # set initial position + if start_position: + m.human = start_position + else: + m.random_start() + while True: + if m.at() == Board.Cell.apple: + return n # success! + if m.at() in [Board.Cell.wolf, Board.Cell.water]: + return -1 # eaten by wolf or drowned + while True: + a = actions[policy(m)] + new_pos = m.move_pos(m.human,a) + if m.is_valid(new_pos) and m.at(new_pos)!=Board.Cell.water: + m.move(a) # do the actual move + break + n+=1 + + walk(m,random_policy) + ``` + + `walk` の呼び出しは、対応する経路の長さを返すべきです。これは実行ごとに異なる場合があります。 + +1. ウォーク実験を何度か（例えば100回）実行し、結果の統計を出力します（コードブロック 4）： + + ```python + def print_statistics(policy): + s,w,n = 0,0,0 + for _ in range(100): + z = walk(m,policy) + if z<0: + w+=1 + else: + s += z + n += 1 + print(f"Average path length = {s/n}, eaten by wolf: {w} times") + + print_statistics(random_policy) + ``` + + 経路の平均長さが約30〜40ステップであることに注意してください。これは、最も近いリンゴまでの平均距離が約5〜6ステップであることを考えると、かなり多いです。 + + また、ランダムウォーク中のピーターの動きがどのように見えるかも確認できます： + +  + +## 報酬関数 + +ポリシーをより知的にするためには、どの移動が他の移動よりも「良い」かを理解する必要があります。これを行うためには、目標を定義する必要があります。 + +目標は、各状態に対していくつかのスコア値を返す **報酬関数** の観点から定義できます。数値が高いほど、報酬関数が良いことを意味します（コードブロック 5）。 + +```python +move_reward = -0.1 +goal_reward = 10 +end_reward = -10 + +def reward(m,pos=None): + pos = pos or m.human + if not m.is_valid(pos): + return end_reward + x = m.at(pos) + if x==Board.Cell.water or x == Board.Cell.wolf: + return end_reward + if x==Board.Cell.apple: + return goal_reward + return move_reward +``` + +報酬関数について興味深い点は、ほとんどの場合、*ゲームの最後にのみ実質的な報酬が与えられる* ことです。これは、アルゴリズムがポジティブな報酬につながる「良い」ステップを記憶し、それらの重要性を高める必要があることを意味します。同様に、悪い結果につながるすべての移動は抑制されるべきです。 + +## Q学習 + +ここで議論するアルゴリズムは **Q学習** と呼ばれます。このアルゴリズムでは、ポリシーは **Qテーブル** と呼ばれる関数（またはデータ構造）によって定義されます。これは、特定の状態で各アクションの「良さ」を記録します。 + +Qテーブルと呼ばれるのは、それを表形式や多次元配列として表現するのが便利なためです。ボードのサイズが `width` x `height` であるため、`width` x `height` x `len(actions)` の形状を持つ numpy 配列を使用して Qテーブルを表現できます（コードブロック 6）。 + +```python +Q = np.ones((width,height,len(actions)),dtype=np.float)*1.0/len(actions) +``` + +Qテーブルのすべての値を等しい値（この場合は 0.25）で初期化することに注意してください。これは、すべての状態でのすべての移動が等しく良いことを意味する「ランダムウォーク」ポリシーに対応します。Qテーブルを `plot` function in order to visualize the table on the board: `m.plot(Q)`. + + + +In the center of each cell there is an "arrow" that indicates the preferred direction of movement. Since all directions are equal, a dot is displayed. + +Now we need to run the simulation, explore our environment, and learn a better distribution of Q-Table values, which will allow us to find the path to the apple much faster. + +## Essence of Q-Learning: Bellman Equation + +Once we start moving, each action will have a corresponding reward, i.e. we can theoretically select the next action based on the highest immediate reward. However, in most states, the move will not achieve our goal of reaching the apple, and thus we cannot immediately decide which direction is better. + +> Remember that it is not the immediate result that matters, but rather the final result, which we will obtain at the end of the simulation. + +In order to account for this delayed reward, we need to use the principles of **[dynamic programming](https://en.wikipedia.org/wiki/Dynamic_programming)**, which allow us to think about out problem recursively. + +Suppose we are now at the state *s*, and we want to move to the next state *s'*. By doing so, we will receive the immediate reward *r(s,a)*, defined by the reward function, plus some future reward. If we suppose that our Q-Table correctly reflects the "attractiveness" of each action, then at state *s'* we will chose an action *a* that corresponds to maximum value of *Q(s',a')*. Thus, the best possible future reward we could get at state *s* will be defined as `max`a'*Q(s',a')* (maximum here is computed over all possible actions *a'* at state *s'*). + +This gives the **Bellman formula** for calculating the value of the Q-Table at state *s*, given action *a*: + +
+
+Here γ is the so-called **discount factor** that determines to which extent you should prefer the current reward over the future reward and vice versa.
+
+## Learning Algorithm
+
+Given the equation above, we can now write pseudo-code for our learning algorithm:
+
+* Initialize Q-Table Q with equal numbers for all states and actions
+* Set learning rate α ← 1
+* Repeat simulation many times
+ 1. Start at random position
+ 1. Repeat
+ 1. Select an action *a* at state *s*
+ 2. Execute action by moving to a new state *s'*
+ 3. If we encounter end-of-game condition, or total reward is too small - exit simulation
+ 4. Compute reward *r* at the new state
+ 5. Update Q-Function according to Bellman equation: *Q(s,a)* ← *(1-α)Q(s,a)+α(r+γ maxa'Q(s',a'))*
+ 6. *s* ← *s'*
+ 7. Update the total reward and decrease α.
+
+## Exploit vs. explore
+
+In the algorithm above, we did not specify how exactly we should choose an action at step 2.1. If we are choosing the action randomly, we will randomly **explore** the environment, and we are quite likely to die often as well as explore areas where we would not normally go. An alternative approach would be to **exploit** the Q-Table values that we already know, and thus to choose the best action (with higher Q-Table value) at state *s*. This, however, will prevent us from exploring other states, and it's likely we might not find the optimal solution.
+
+Thus, the best approach is to strike a balance between exploration and exploitation. This can be done by choosing the action at state *s* with probabilities proportional to values in the Q-Table. In the beginning, when Q-Table values are all the same, it would correspond to a random selection, but as we learn more about our environment, we would be more likely to follow the optimal route while allowing the agent to choose the unexplored path once in a while.
+
+## Python implementation
+
+We are now ready to implement the learning algorithm. Before we do that, we also need some function that will convert arbitrary numbers in the Q-Table into a vector of probabilities for corresponding actions.
+
+1. Create a function `probs()` に渡すことができます：
+
+ ```python
+ def probs(v,eps=1e-4):
+ v = v-v.min()+eps
+ v = v/v.sum()
+ return v
+ ```
+
+ 初期状態でベクトルのすべての成分が同一である場合に 0 で割ることを避けるために、元のベクトルにいくつかの `eps` を追加します。
+
+5000回の実験（エポック）を通じて学習アルゴリズムを実行します（コードブロック 8）。
+
+```python
+ for epoch in range(5000):
+
+ # Pick initial point
+ m.random_start()
+
+ # Start travelling
+ n=0
+ cum_reward = 0
+ while True:
+ x,y = m.human
+ v = probs(Q[x,y])
+ a = random.choices(list(actions),weights=v)[0]
+ dpos = actions[a]
+ m.move(dpos,check_correctness=False) # we allow player to move outside the board, which terminates episode
+ r = reward(m)
+ cum_reward += r
+ if r==end_reward or cum_reward < -1000:
+ lpath.append(n)
+ break
+ alpha = np.exp(-n / 10e5)
+ gamma = 0.5
+ ai = action_idx[a]
+ Q[x,y,ai] = (1 - alpha) * Q[x,y,ai] + alpha * (r + gamma * Q[x+dpos[0], y+dpos[1]].max())
+ n+=1
+```
+
+このアルゴリズムを実行した後、Qテーブルは各ステップでの異なるアクションの魅力を定義する値で更新されます。Qテーブルを視覚化して、各セルに小さな円を描くことで、移動の希望方向を示すベクトルをプロットすることができます。
+
+## ポリシーの確認
+
+Qテーブルは各状態での各アクションの「魅力」をリストしているため、効率的なナビゲーションを定義するのに簡単に使用できます。最も簡単な場合、Qテーブルの値が最も高いアクションを選択できます（コードブロック 9）。
+
+```python
+def qpolicy_strict(m):
+ x,y = m.human
+ v = probs(Q[x,y])
+ a = list(actions)[np.argmax(v)]
+ return a
+
+walk(m,qpolicy_strict)
+```
+
+> 上記のコードを数回試してみると、時々「ハング」することがあり、ノートブックの STOP ボタンを押して中断する必要があることに気付くかもしれません。これは、最適な Q値の観点から2つの状態が互いに「指し示す」状況があり、その場合、エージェントが無限にその状態間を移動し続けるためです。
+
+## 🚀チャレンジ
+
+> **タスク 1:** `walk` function to limit the maximum length of path by a certain number of steps (say, 100), and watch the code above return this value from time to time.
+
+> **Task 2:** Modify the `walk` function so that it does not go back to the places where it has already been previously. This will prevent `walk` from looping, however, the agent can still end up being "trapped" in a location from which it is unable to escape.
+
+## Navigation
+
+A better navigation policy would be the one that we used during training, which combines exploitation and exploration. In this policy, we will select each action with a certain probability, proportional to the values in the Q-Table. This strategy may still result in the agent returning back to a position it has already explored, but, as you can see from the code below, it results in a very short average path to the desired location (remember that `print_statistics` を修正して、シミュレーションを100回実行します（コードブロック 10）。
+
+```python
+def qpolicy(m):
+ x,y = m.human
+ v = probs(Q[x,y])
+ a = random.choices(list(actions),weights=v)[0]
+ return a
+
+print_statistics(qpolicy)
+```
+
+このコードを実行した後、以前よりも平均経路長がはるかに短くなり、3〜6の範囲になります。
+
+## 学習プロセスの調査
+
+学習プロセスは、問題空間の構造に関する獲得した知識の探索と探索のバランスです。学習の結果（エージェントが目標に到達するための短い経路を見つける能力）が向上したことがわかりましたが、学習プロセス中の平均経路長の変化を観察することも興味深いです。
+
+学習の要点をまとめると：
+
+- **平均経路長の増加**。最初は平均経路長が増加します。これは、環境について何も知らないときに、悪い状態（水や狼）に閉じ込められやすいことが原因です。より多くを学び、この知識を使い始めると、環境をより長く探索できますが、リンゴの位置についてはまだよくわかりません。
+
+- **学習が進むにつれて経路長が減少**。十分に学習すると、エージェントが目標を達成するのが簡単になり、経路長が減少し始めます。ただし、探索は続けているため、最適な経路から逸れ、新しいオプションを探索することがあり、経路が最適より長くなることがあります。
+
+- **突然の経路長の増加**。グラフで経路長が突然増加することもあります。これはプロセスの確率的な性質を示しており、新しい値で Qテーブルの係数を上書きすることで Qテーブルが「損なわれる」可能性があります。理想的には、学習率を低下させることでこれを最小限に抑えるべきです（例えば、学習の終わりに向かって、Qテーブルの値をわずかに調整する）。
+
+全体として、学習プロセスの成功と質は、学習率、学習率の減衰、割引率などのパラメータに大きく依存することを覚えておくことが重要です。これらは **ハイパーパラメータ** と呼ばれ、**パラメータ** とは区別されます。パラメータは学習中に最適化するものであり（例えば、Qテーブルの係数）、最適なハイパーパラメータ値を見つけるプロセスは **ハイパーパラメータ最適化** と呼ばれ、別のトピックとして取り上げる価値があります。
+
+## [講義後のクイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/46/)
+
+## 課題
+[より現実的な世界](assignment.md)
+
+**免責事項**:
+この文書は機械翻訳AIサービスを使用して翻訳されています。正確さを期していますが、自動翻訳には誤りや不正確さが含まれる場合がありますのでご注意ください。元の言語で記載された文書が信頼できる情報源と見なされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤った解釈について、当社は一切の責任を負いません。
\ No newline at end of file
diff --git a/translations/ja/8-Reinforcement/1-QLearning/assignment.md b/translations/ja/8-Reinforcement/1-QLearning/assignment.md
new file mode 100644
index 000000000..7f19b4629
--- /dev/null
+++ b/translations/ja/8-Reinforcement/1-QLearning/assignment.md
@@ -0,0 +1,30 @@
+# より現実的な世界
+
+私たちのシナリオでは、ピーターはほとんど疲れたりお腹が空いたりすることなく移動することができました。より現実的な世界では、ピーターは時々座って休憩し、食事をする必要があります。次のルールを実装して、私たちの世界をより現実的にしましょう。
+
+1. 一つの場所から別の場所に移動することで、ピーターは**エネルギー**を失い、少し**疲労**を得ます。
+2. ピーターはリンゴを食べることでエネルギーを増やすことができます。
+3. ピーターは木の下や草の上で休むことで疲労を取り除くことができます（つまり、木や草のあるボードの位置に移動すること - 緑のフィールド）。
+4. ピーターはオオカミを見つけて倒す必要があります。
+5. オオカミを倒すためには、ピーターは一定のエネルギーと疲労のレベルが必要で、それがないと戦いに負けてしまいます。
+
+## 手順
+
+解決策の出発点として、元の [notebook.ipynb](../../../../8-Reinforcement/1-QLearning/notebook.ipynb) ノートブックを使用してください。
+
+上記のルールに従って報酬関数を修正し、強化学習アルゴリズムを実行してゲームに勝つための最適な戦略を学び、ランダムウォークとの勝敗数を比較してください。
+
+> **Note**: 新しい世界では状態がより複雑で、人間の位置に加えて疲労とエネルギーのレベルも含まれます。状態をタプル (Board, energy, fatigue) として表現するか、状態のためのクラスを定義することを選ぶことができます（`Board` から派生させることもできます）、または元の `Board` クラスを [rlboard.py](../../../../8-Reinforcement/1-QLearning/rlboard.py) 内で修正することもできます。
+
+解決策では、ランダムウォーク戦略を担当するコードを保持し、最後にアルゴリズムの結果をランダムウォークと比較してください。
+
+> **Note**: ハイパーパラメータを調整して動作させる必要があるかもしれません。特にエポック数です。ゲームの成功（オオカミとの戦い）は稀なイベントであるため、訓練時間が長くなることが予想されます。
+
+## 評価基準
+
+| 基準 | 模範的 | 適切 | 改善が必要 |
+| ---- | --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------- |
+| | 新しい世界のルール、Q学習アルゴリズム、およびいくつかのテキスト説明が定義されたノートブックが提示されます。Q学習はランダムウォークと比較して結果を大幅に改善することができます。 | ノートブックが提示され、Q学習が実装され、ランダムウォークと比較して結果が改善されますが、大幅ではないか、ノートブックの文書が不十分でコードがよく構成されていない。 | 世界のルールを再定義しようとする試みがなされていますが、Q学習アルゴリズムが機能せず、報酬関数が完全に定義されていない。 |
+
+**免責事項**:
+この文書は機械翻訳サービスを使用して翻訳されています。正確さを期しておりますが、自動翻訳には誤りや不正確さが含まれる場合があります。原文の言語で書かれた元の文書を権威ある情報源とみなしてください。重要な情報については、専門の人間による翻訳を推奨します。この翻訳の使用に起因する誤解や誤解について、当社は一切の責任を負いません。
\ No newline at end of file
diff --git a/translations/ja/8-Reinforcement/1-QLearning/solution/Julia/README.md b/translations/ja/8-Reinforcement/1-QLearning/solution/Julia/README.md
new file mode 100644
index 000000000..327ab68ec
--- /dev/null
+++ b/translations/ja/8-Reinforcement/1-QLearning/solution/Julia/README.md
@@ -0,0 +1,4 @@
+
+
+**免責事項**：
+この文書は機械ベースのAI翻訳サービスを使用して翻訳されています。正確さを期すよう努めておりますが、自動翻訳には誤りや不正確さが含まれる可能性があることをご了承ください。元の言語の文書が権威ある情報源と見なされるべきです。重要な情報については、専門の人間による翻訳を推奨します。この翻訳の使用に起因する誤解や誤訳については、当社は責任を負いません。
\ No newline at end of file
diff --git a/translations/ja/8-Reinforcement/1-QLearning/solution/R/README.md b/translations/ja/8-Reinforcement/1-QLearning/solution/R/README.md
new file mode 100644
index 000000000..59121ca43
--- /dev/null
+++ b/translations/ja/8-Reinforcement/1-QLearning/solution/R/README.md
@@ -0,0 +1,4 @@
+
+
+**免責事項**:
+この文書は機械翻訳AIサービスを使用して翻訳されています。正確さを期すよう努めていますが、自動翻訳には誤りや不正確さが含まれる場合があります。元の言語の文書が権威ある情報源と見なされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤訳については、一切の責任を負いかねます。
\ No newline at end of file
diff --git a/translations/ja/8-Reinforcement/2-Gym/README.md b/translations/ja/8-Reinforcement/2-Gym/README.md
new file mode 100644
index 000000000..cda88ba74
--- /dev/null
+++ b/translations/ja/8-Reinforcement/2-Gym/README.md
@@ -0,0 +1,342 @@
+# カートポール スケート
+
+前回のレッスンで解決していた問題は、現実のシナリオには適用できないおもちゃの問題のように見えるかもしれません。しかし、実際には多くの現実の問題もこのシナリオを共有しています。例えば、チェスや囲碁のプレイも同様です。これらは、与えられたルールと**離散状態**を持つボードがあるため、似ています。
+
+## [講義前クイズ](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/47/)
+
+## はじめに
+
+このレッスンでは、**連続状態**を持つ問題にQラーニングの原則を適用します。連続状態とは、1つ以上の実数で与えられる状態のことです。以下の問題に取り組みます：
+
+> **問題**: ピーターが狼から逃げるためには、もっと速く動けるようになる必要があります。Qラーニングを使用して、ピーターがスケートを学び、特にバランスを保つ方法を見てみましょう。
+
+
+
+> ピーターと彼の友達は、狼から逃れるために創造的になります！画像は[Jen Looper](https://twitter.com/jenlooper)によるものです。
+
+ここでは、**カートポール**問題として知られるバランスを取る方法の簡略版を使用します。カートポールの世界では、左右に動ける水平スライダーがあり、その上に垂直のポールをバランスさせることが目標です。
+
+## 前提条件
+
+このレッスンでは、**OpenAI Gym**というライブラリを使用して、さまざまな**環境**をシミュレートします。このレッスンのコードをローカル（例：Visual Studio Code）で実行する場合、シミュレーションは新しいウィンドウで開きます。オンラインでコードを実行する場合は、[こちら](https://towardsdatascience.com/rendering-openai-gym-envs-on-binder-and-google-colab-536f99391cc7)に記載されているように、コードにいくつかの調整が必要になるかもしれません。
+
+## OpenAI Gym
+
+前回のレッスンでは、ゲームのルールと状態は自分で定義した`Board`クラスによって与えられました。ここでは、バランスポールの物理をシミュレートする特別な**シミュレーション環境**を使用します。強化学習アルゴリズムをトレーニングするための最も人気のあるシミュレーション環境の1つは、[Gym](https://gym.openai.com/)と呼ばれ、[OpenAI](https://openai.com/)によって維持されています。このジムを使用することで、カートポールシミュレーションからアタリゲームまで、さまざまな**環境**を作成できます。
+
+> **Note**: OpenAI Gymで利用可能な他の環境は[こちら](https://gym.openai.com/envs/#classic_control)で確認できます。
+
+まず、ジムをインストールし、必要なライブラリをインポートしましょう（コードブロック1）：
+
+```python
+import sys
+!{sys.executable} -m pip install gym
+
+import gym
+import matplotlib.pyplot as plt
+import numpy as np
+import random
+```
+
+## 演習 - カートポール環境の初期化
+
+カートポールのバランス問題に取り組むために、対応する環境を初期化する必要があります。各環境には次のものが関連付けられています：
+
+- **観察スペース**: 環境から受け取る情報の構造を定義します。カートポール問題では、ポールの位置、速度、およびその他の値を受け取ります。
+
+- **アクションスペース**: 可能なアクションを定義します。私たちの場合、アクションスペースは離散的で、**左**と**右**の2つのアクションから成ります。（コードブロック2）
+
+1. 初期化するために、次のコードを入力します：
+
+ ```python
+ env = gym.make("CartPole-v1")
+ print(env.action_space)
+ print(env.observation_space)
+ print(env.action_space.sample())
+ ```
+
+環境がどのように機能するかを見るために、100ステップの短いシミュレーションを実行してみましょう。各ステップで、取るべきアクションの1つを提供します。このシミュレーションでは、`action_space`からランダムにアクションを選択します。
+
+1. 以下のコードを実行して、その結果を確認してください。
+
+ ✅ このコードをローカルのPythonインストールで実行することが推奨されます！（コードブロック3）
+
+ ```python
+ env.reset()
+
+ for i in range(100):
+ env.render()
+ env.step(env.action_space.sample())
+ env.close()
+ ```
+
+ 次のような画像が表示されるはずです：
+
+ 
+
+1. シミュレーション中に、どのように行動するかを決定するために観察を取得する必要があります。実際、ステップ関数は現在の観察、報酬関数、およびシミュレーションを続行するかどうかを示す完了フラグを返します：（コードブロック4）
+
+ ```python
+ env.reset()
+
+ done = False
+ while not done:
+ env.render()
+ obs, rew, done, info = env.step(env.action_space.sample())
+ print(f"{obs} -> {rew}")
+ env.close()
+ ```
+
+ ノートブックの出力に次のようなものが表示されるはずです：
+
+ ```text
+ [ 0.03403272 -0.24301182 0.02669811 0.2895829 ] -> 1.0
+ [ 0.02917248 -0.04828055 0.03248977 0.00543839] -> 1.0
+ [ 0.02820687 0.14636075 0.03259854 -0.27681916] -> 1.0
+ [ 0.03113408 0.34100283 0.02706215 -0.55904489] -> 1.0
+ [ 0.03795414 0.53573468 0.01588125 -0.84308041] -> 1.0
+ ...
+ [ 0.17299878 0.15868546 -0.20754175 -0.55975453] -> 1.0
+ [ 0.17617249 0.35602306 -0.21873684 -0.90998894] -> 1.0
+ ```
+
+ シミュレーションの各ステップで返される観察ベクトルには次の値が含まれます：
+ - カートの位置
+ - カートの速度
+ - ポールの角度
+ - ポールの回転率
+
+1. これらの数値の最小値と最大値を取得します：（コードブロック5）
+
+ ```python
+ print(env.observation_space.low)
+ print(env.observation_space.high)
+ ```
+
+ また、各シミュレーションステップでの報酬値が常に1であることに気付くかもしれません。これは、私たちの目標ができるだけ長く生存し、ポールを垂直に保つことであるためです。
+
+ ✅ 実際、カートポールシミュレーションは、100回連続の試行で平均報酬が195に達した場合に解決されたと見なされます。
+
+## 状態の離散化
+
+Qラーニングでは、各状態で何をするかを定義するQテーブルを構築する必要があります。これを行うためには、状態が**離散的**である必要があります。つまり、有限の離散値を含む必要があります。したがって、観察を**離散化**し、有限の状態セットにマッピングする必要があります。
+
+これを行う方法はいくつかあります：
+
+- **ビンに分割する**。特定の値の範囲がわかっている場合、この範囲をいくつかの**ビン**に分割し、その値が属するビン番号で置き換えることができます。これはnumpyの[`digitize`](https://numpy.org/doc/stable/reference/generated/numpy.digitize.html)メソッドを使用して行うことができます。この場合、デジタル化に選択したビンの数に依存するため、状態サイズが正確にわかります。
+
+✅ 線形補間を使用して値をある有限の範囲（例えば、-20から20）に持ってきてから、四捨五入して整数に変換することもできます。これにより、入力値の正確な範囲がわからない場合でも、状態サイズに対する制御が少なくなります。例えば、私たちの場合、4つの値のうち2つは上限/下限がありません。これにより、無限の状態数が発生する可能性があります。
+
+この例では、2番目のアプローチを使用します。後で気づくかもしれませんが、定義されていない上限/下限にもかかわらず、これらの値は特定の有限の範囲外に出ることはめったにありません。そのため、極端な値を持つ状態は非常にまれです。
+
+1. 次の関数は、モデルからの観察を取り、4つの整数値のタプルを生成します：（コードブロック6）
+
+ ```python
+ def discretize(x):
+ return tuple((x/np.array([0.25, 0.25, 0.01, 0.1])).astype(np.int))
+ ```
+
+1. もう1つのビンを使用した離散化方法も探索しましょう：（コードブロック7）
+
+ ```python
+ def create_bins(i,num):
+ return np.arange(num+1)*(i[1]-i[0])/num+i[0]
+
+ print("Sample bins for interval (-5,5) with 10 bins\n",create_bins((-5,5),10))
+
+ ints = [(-5,5),(-2,2),(-0.5,0.5),(-2,2)] # intervals of values for each parameter
+ nbins = [20,20,10,10] # number of bins for each parameter
+ bins = [create_bins(ints[i],nbins[i]) for i in range(4)]
+
+ def discretize_bins(x):
+ return tuple(np.digitize(x[i],bins[i]) for i in range(4))
+ ```
+
+1. 次に、短いシミュレーションを実行し、それらの離散環境値を観察しましょう。`discretize` and `discretize_bins`の両方を試してみて、違いがあるかどうかを確認してください。
+
+ ✅ discretize_binsはビン番号を返しますが、これは0ベースです。したがって、入力変数の値が0に近い場合、範囲の中央（10）の数を返します。discretizeでは、出力値の範囲を気にしなかったため、値はシフトされず、0は0に対応します。（コードブロック8）
+
+ ```python
+ env.reset()
+
+ done = False
+ while not done:
+ #env.render()
+ obs, rew, done, info = env.step(env.action_space.sample())
+ #print(discretize_bins(obs))
+ print(discretize(obs))
+ env.close()
+ ```
+
+ ✅ 環境が実行される様子を見たい場合は、env.renderで始まる行のコメントを外してください。そうでない場合は、バックグラウンドで実行することができ、これにより高速化されます。この「見えない」実行をQラーニングプロセス中に使用します。
+
+## Q-テーブルの構造
+
+前回のレッスンでは、状態は0から8までの単純な数字のペアであり、そのためQ-テーブルを8x8x2の形状のnumpyテンソルで表現するのが便利でした。ビンの離散化を使用する場合、状態ベクトルのサイズもわかっているため、同じアプローチを使用し、観察スペースの各パラメータに使用するビンの数に対応する形状の配列（20x20x10x10x2）で状態を表現できます。
+
+しかし、観察スペースの正確な次元がわからない場合もあります。`discretize`関数の場合、元の値の一部が制限されていないため、状態が特定の制限内に収まることを保証できません。そのため、Q-テーブルを辞書で表現するという異なるアプローチを使用します。
+
+1. 辞書キーとして*(state,action)*のペアを使用し、値はQ-テーブルのエントリ値に対応します。（コードブロック9）
+
+ ```python
+ Q = {}
+ actions = (0,1)
+
+ def qvalues(state):
+ return [Q.get((state,a),0) for a in actions]
+ ```
+
+ ここでは、特定の状態に対するすべての可能なアクションに対応するQ-テーブル値のリストを返す`qvalues()`関数も定義します。Q-テーブルにエントリが存在しない場合、デフォルトで0を返します。
+
+## Qラーニングを始めましょう
+
+さて、ピーターにバランスを取ることを教える準備ができました！
+
+1. まず、いくつかのハイパーパラメータを設定しましょう：（コードブロック10）
+
+ ```python
+ # hyperparameters
+ alpha = 0.3
+ gamma = 0.9
+ epsilon = 0.90
+ ```
+
+ ここで、`alpha` is the **learning rate** that defines to which extent we should adjust the current values of Q-Table at each step. In the previous lesson we started with 1, and then decreased `alpha` to lower values during training. In this example we will keep it constant just for simplicity, and you can experiment with adjusting `alpha` values later.
+
+ `gamma` is the **discount factor** that shows to which extent we should prioritize future reward over current reward.
+
+ `epsilon` is the **exploration/exploitation factor** that determines whether we should prefer exploration to exploitation or vice versa. In our algorithm, we will in `epsilon` percent of the cases select the next action according to Q-Table values, and in the remaining number of cases we will execute a random action. This will allow us to explore areas of the search space that we have never seen before.
+
+ ✅ In terms of balancing - choosing random action (exploration) would act as a random punch in the wrong direction, and the pole would have to learn how to recover the balance from those "mistakes"
+
+### Improve the algorithm
+
+We can also make two improvements to our algorithm from the previous lesson:
+
+- **Calculate average cumulative reward**, over a number of simulations. We will print the progress each 5000 iterations, and we will average out our cumulative reward over that period of time. It means that if we get more than 195 point - we can consider the problem solved, with even higher quality than required.
+
+- **Calculate maximum average cumulative result**, `Qmax`, and we will store the Q-Table corresponding to that result. When you run the training you will notice that sometimes the average cumulative result starts to drop, and we want to keep the values of Q-Table that correspond to the best model observed during training.
+
+1. Collect all cumulative rewards at each simulation at `rewards`ベクトルに収集しました。これを後でプロットするために使用します。（コードブロック11）
+
+ ```python
+ def probs(v,eps=1e-4):
+ v = v-v.min()+eps
+ v = v/v.sum()
+ return v
+
+ Qmax = 0
+ cum_rewards = []
+ rewards = []
+ for epoch in range(100000):
+ obs = env.reset()
+ done = False
+ cum_reward=0
+ # == do the simulation ==
+ while not done:
+ s = discretize(obs)
+ if random.random()- [Python](2-Regression/1-Tools/README.md)
- [R](../../2-Regression/1-Tools/solution/R/lesson_1.html)
- Jen
- Eric Wanjau
- [Python](2-Regression/2-Data/README.md)
- [R](../../2-Regression/2-Data/solution/R/lesson_2.html)
- Jen
- Eric Wanjau
- [Python](2-Regression/3-Linear/README.md)
- [R](../../2-Regression/3-Linear/solution/R/lesson_3.html)
- Jen and Dmitry
- Eric Wanjau
- [Python](2-Regression/4-Logistic/README.md)
- [R](../../2-Regression/4-Logistic/solution/R/lesson_4.html)
- Jen
- Eric Wanjau
- [Python](4-Classification/1-Introduction/README.md)
- [R](../../4-Classification/1-Introduction/solution/R/lesson_10.html) |
- Jen and Cassie
- Eric Wanjau
- [Python](4-Classification/2-Classifiers-1/README.md)
- [R](../../4-Classification/2-Classifiers-1/solution/R/lesson_11.html) |
- Jen and Cassie
- Eric Wanjau
- [Python](4-Classification/3-Classifiers-2/README.md)
- [R](../../4-Classification/3-Classifiers-2/solution/R/lesson_12.html) |
- Jen and Cassie
- Eric Wanjau
- [Python](5-Clustering/1-Visualize/README.md)
- [R](../../5-Clustering/1-Visualize/solution/R/lesson_14.html) |
- Jen
- Eric Wanjau
- [Python](5-Clustering/2-K-Means/README.md)
- [R](../../5-Clustering/2-K-Means/solution/R/lesson_15.html) |
- Jen
- Eric Wanjau
.yml) を作成します。このワークフローがビルドとデプロイのプロセスを処理します。 + +6. デプロイの監視 +GitHubリポジトリの「Actions」タブに移動します。 +ワークフローが実行中であることが確認できます。このワークフローは静的WebアプリをAzureにビルドしてデプロイします。 +ワークフローが完了すると、アプリは提供されたAzure URLで公開されます。 + +### ワークフローファイルの例 + +以下は、GitHub Actionsワークフローファイルの例です： +name: Azure Static Web Apps CI/CD +``` +on: + push: + branches: + - main + pull_request: + types: [opened, synchronize, reopened, closed] + branches: + - main + +jobs: + build_and_deploy_job: + runs-on: ubuntu-latest + name: Build and Deploy Job + steps: + - uses: actions/checkout@v2 + - name: Build And Deploy + id: builddeploy + uses: Azure/static-web-apps-deploy@v1 + with: + azure_static_web_apps_api_token: ${{ secrets.AZURE_STATIC_WEB_APPS_API_TOKEN }} + repo_token: ${{ secrets.GITHUB_TOKEN }} + action: "upload" + app_location: "/quiz-app" # App source code path + api_location: ""API source code path optional + output_location: "dist" #Built app content directory - optional +``` + +### 追加リソース +- [Azure Static Web Apps Documentation](https://learn.microsoft.com/azure/static-web-apps/getting-started) +- [GitHub Actions Documentation](https://docs.github.com/actions/use-cases-and-examples/deploying/deploying-to-azure-static-web-app) + +**免責事項**： +この文書は、機械翻訳AIサービスを使用して翻訳されています。正確さを期していますが、自動翻訳には誤りや不正確さが含まれる場合があります。元の言語の文書が権威ある情報源と見なされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤訳について、当社は一切の責任を負いません。 \ No newline at end of file diff --git a/translations/ja/sketchnotes/LICENSE.md b/translations/ja/sketchnotes/LICENSE.md new file mode 100644 index 000000000..9a1933c0c --- /dev/null +++ b/translations/ja/sketchnotes/LICENSE.md @@ -0,0 +1,277 @@ +Attribution-ShareAlike 4.0 International + +======================================================================= + +Creative Commons Corporation ("Creative Commons") は法律事務所ではなく、 +法的サービスや法的アドバイスを提供しません。Creative Commons 公共ライセンスの +配布は、弁護士-クライアント関係やその他の関係を作成するものではありません。 +Creative Commons は、そのライセンスおよび関連情報を「現状のまま」提供します。 +Creative Commons は、そのライセンス、その条件下でライセンスされた +いかなる資料、または関連情報について、いかなる保証も行いません。 +Creative Commons は、それらの使用に起因する損害に対するすべての責任を +可能な限り最大限に否認します。 + +Creative Commons 公共ライセンスの使用 + +Creative Commons 公共ライセンスは、クリエイターやその他の権利者が著作権および +以下の公共ライセンスに特定された特定の他の権利の対象となる +オリジナルの著作物やその他の資料を共有するために使用できる +標準的な条件を提供します。以下の考慮事項は情報提供のみを目的としており、 +包括的ではなく、ライセンスの一部を構成するものではありません。 + + ライセンサーのための考慮事項: 当社の公共ライセンスは、 + 著作権および特定の他の権利によって制限される方法で資料を + 使用するために一般に許可を与える権限を持つ人々によって + 使用されることを意図しています。当社のライセンスは + 取消不能です。ライセンサーは、ライセンスを適用する前に + 選択したライセンスの条件を読み理解する必要があります。 + また、ライセンサーは、ライセンスを適用する前に必要なすべての + 権利を確保し、一般の人々が期待通りに資料を再利用できるように + する必要があります。ライセンサーは、ライセンスの対象と + ならない資料を明確に表示する必要があります。これには、他の + CCライセンスされた資料や、著作権の例外や制限の下で使用される + 資料が含まれます。ライセンサーのためのその他の考慮事項: + wiki.creativecommons.org/Considerations_for_licensors + + 一般のための考慮事項: 当社の公共ライセンスのいずれかを + 使用することにより、ライセンサーは、特定の条件の下で + ライセンスされた資料を使用する許可を一般に与えます。 + ライセンサーの許可が不要な場合（例: 著作権の適用される + 例外や制限のため）、その使用はライセンスによって規制されません。 + 当社のライセンスは、著作権およびライセンサーが許可する権限を + 持つ特定の他の権利の下でのみ許可を与えます。ライセンスされた + 資料の使用は、他の理由により依然として制限される場合があります。 + たとえば、他者が資料に著作権や他の権利を持っている場合です。 + ライセンサーは、すべての変更をマークまたは説明するように + 特別な要求をする場合があります。当社のライセンスでは + 必須ではありませんが、合理的な範囲内でそのような要求に + 敬意を払うことをお勧めします。一般のためのその他の考慮事項: + wiki.creativecommons.org/Considerations_for_licensees + +======================================================================= + +Creative Commons Attribution-ShareAlike 4.0 International Public +License + +ライセンスされた権利を行使することにより、あなたはこの +Creative Commons Attribution-ShareAlike 4.0 International Public License +（「公共ライセンス」）の条件に拘束されることに同意します。 +この公共ライセンスが契約として解釈される範囲で、あなたは +これらの条件を受け入れることによりライセンスされた権利を +付与され、ライセンサーはこれらの条件の下でライセンスされた +資料を提供することによる利益を考慮してあなたにその権利を +付与します。 + +セクション 1 -- 定義 + + a. 変更された資料とは、ライセンサーが保持する著作権および + 類似の権利の下で許可が必要な方法でライセンスされた資料が + 翻訳、変更、編成、変換、またはその他の方法で修正された + 資料を意味します。この公共ライセンスの目的のために、 + ライセンスされた資料が音楽作品、パフォーマンス、または + 録音である場合、ライセンスされた資料が動画像とタイミング + 関係で同期される場合、変更された資料は常に生成されます。 + + b. 変更者のライセンスとは、この公共ライセンスの条件に + 従って、変更された資料に対するあなたの寄稿に対する + あなたの著作権および類似の権利に適用されるライセンスを意味します。 + + c. BY-SA 互換ライセンスとは、Creative Commons がこの公共ライセンスと + 本質的に同等であると承認したライセンスを意味します。 + creativecommons.org/compatiblelicenses にリストされています。 + + d. 著作権および類似の権利とは、著作権および/または著作権に + 密接に関連する類似の権利を意味し、これには、パフォーマンス、 + 放送、録音、および独自のデータベース権利が含まれます。 + 権利がどのようにラベル付けされているか、または分類されているか + に関係なく。この公共ライセンスの目的のために、セクション + 2(b)(1)-(2) で指定された権利は著作権および類似の権利ではありません。 + + e. 有効な技術的措置とは、適切な権限がない場合に回避できない + 措置を意味し、1996 年 12 月 20 日に採択された WIPO 著作権 + 条約の第 11 条の義務を満たす法律および/または類似の国際 + 協定の下で回避できない措置を意味します。 + + f. 例外および制限とは、フェアユース、フェアディーリング、 + および/またはライセンスされた資料の使用に適用される + 著作権および類似の権利に対するその他の例外または制限を意味します。 + + g. ライセンス要素とは、Creative Commons 公共ライセンスの名前に + 記載されているライセンス属性を意味します。この公共 + ライセンスのライセンス要素は、帰属と共有のようなものです。 + + h. ライセンスされた資料とは、ライセンサーがこの公共 + ライセンスを適用した芸術作品または文学作品、データベース、 + またはその他の資料を意味します。 + + i. ライセンスされた権利とは、この公共ライセンスの条件に + 従ってあなたに付与される権利を意味し、ライセンスされた + 資料の使用に適用されるすべての著作権および類似の権利に + 制限され、ライセンサーがライセンスする権限を持つものを + 意味します。 + + j. ライセンサーとは、この公共ライセンスの下で権利を付与する + 個人または団体を意味します。 + + k. 共有とは、ライセンスされた権利の下で許可が必要な方法または + プロセスによって資料を一般に提供することを意味し、 + 複製、公開表示、公開パフォーマンス、配布、普及、通信、 + または輸入を含み、資料を一般に提供することを意味します。 + 公衆が資料を自分で選んだ場所と時間からアクセスできるように + する方法を含みます。 + + l. 独自のデータベース権利とは、1996 年 3 月 11 日の欧州議会および + 欧州理事会の指令 96/9/EC によって生じる著作権以外の権利を + 意味し、修正および/または後継されるもの、および世界中の + 他の本質的に同等の権利を意味します。 + + m. あなたとは、この公共ライセンスの下でライセンスされた権利を + 行使する個人または団体を意味します。あなたの意味は + 対応する意味を持ちます。 + +セクション 2 -- 範囲 + + a. ライセンスの付与 + + 1. この公共ライセンスの条件に従い、ライセンサーは + ここに、ライセンスされた資料に対してライセンスされた + 権利を行使するための世界的、ロイヤリティフリー、 + サブライセンス不可、非排他的、取消不能なライセンスを + あなたに付与します。 + + a. ライセンスされた資料を全体または一部複製および共有すること。 + + b. 変更された資料を生成、複製、および共有すること。 + + 2. 例外および制限。あなたの使用に例外および制限が + 適用される場合、この公共ライセンスは適用されず、 + あなたはその条件に従う必要はありません。 + + 3. 期間。この公共ライセンスの期間はセクション 6(a) に + 指定されています。 + + 4. メディアおよびフォーマット; 技術的変更の許可。 + ライセンサーは、現在知られているか将来作成される + すべてのメディアおよびフォーマットでライセンスされた + 権利を行使し、必要な技術的変更を行うことを許可します。 + ライセンサーは、ライセンスされた権利を行使するために + 必要な技術的変更を行うことを禁止する権利または権限を + 放棄し、または主張しないことに同意します。この公共 + ライセンスの目的のために、このセクション 2(a)(4) に + よって許可された変更を行うだけでは、変更された資料は + 生成されません。 + + 5. 下流の受領者。 + + a. ライセンサーからのオファー -- ライセンスされた資料。 + ライセンスされた資料のすべての受領者は、自動的に + ライセンサーからこの公共ライセンスの条件に従って + ライセンスされた権利を行使するためのオファーを + 受け取ります。 + + b. ライセンサーからの追加オファー -- 変更された資料。 + あなたからの変更された資料のすべての受領者は、 + 自動的にライセンサーから変更された資料に対する + ライセンスされた権利を行使するためのオファーを + 受け取ります。 + + c. 下流の制限なし。あなたは、ライセンスされた資料の + 受領者がライセンスされた権利を行使することを + 制限する場合、ライセンスされた資料に追加または + 異なる条件を提供したり、適用したりすることは + できません。 + + 6. 推奨の不在。この公共ライセンスには、あなたがライセンサー + またはセクション 3(a)(1)(A)(i) に提供される属性を受け取る + 他の人と関連している、またはあなたのライセンスされた + 資料の使用が関連している、支援されている、または公式 + ステータスを付与されていることを主張または暗示する + 許可は含まれていません。 + + b. その他の権利 + + 1. 道徳的権利、例えば完全性の権利は、この公共ライセンス + の下でライセンスされておらず、また、パブリシティ、 + プライバシー、および/またはその他の類似のパーソナリティ + 権もライセンスされていません。ただし、可能な限り、 + ライセンサーは、ライセンスされた権利を行使できるように + 必要な範囲で、ライセンサーが保持するそのような権利を + 放棄し、または主張しないことに同意しますが、それ以外の + 場合はありません。 + + 2. 特許および商標権は、この公共ライセンスの下でライセンス + されていません。 + + 3. 可能な限り、ライセンサーは、任意のまたは放棄可能な + 法定または強制的なライセンススキームの下で、収集社会 + を通じて直接または間接的に、ライセンスされた権利の + 行使に対してあなたからロイヤリティを収集する権利を + 放棄します。他のすべての場合、ライセンサーはそのような + ロイヤリティを収集する権利を明示的に留保します。 + +セクション 3 -- ライセンス条件 + +ライセンスされた権利の行使は、明示的に以下の条件に従うことを +条件とします。 + + a. 帰属 + + 1. ライセンスされた資料を共有する場合（変更された形を + 含む）、以下を保持する必要があります。 + + a. ライセンサーがライセンスされた資料に提供した場合、 + 次の事項を保持する必要があります。 + + i. ライセンスされた資料の作成者および帰属を + 受けるよう指定された他の人の識別（仮名が + 指定されている場合は仮名を含む）。 + + ii. 著作権表示。 + + iii. この公共ライセンスに言及する通知。 + + iv. 保証の免責に言及する通知。 + + v. 実行可能な範囲でライセンスされた資料への URI + またはハイパーリンク。 + + b. ライセンスされた資料を変更した場合、その変更を + 示し、以前の変更の表示を保持する必要があります。 + + c. ライセンスされた資料がこの公共ライセンスの下で + ライセンスされていることを示し、この公共ライセンス + のテキスト、URI、またはハイパーリンクを含める + 必要があります。 + + 2. セクション 3(a)(1) の条件は、あなたがライセンスされた + 資料を共有するメディア、手段、およびコンテキストに + 基づいて合理的な方法で満たすことができます。 + たとえば、必要な情報を含むリソースへの URI または + ハイパーリンクを提供することによって条件を満たすことが + 合理的である場合があります。 + + 3. ライセンサーの要求があった場合、合理的に実行可能な + 範囲でセクション 3(a)(1)(A) で必要とされる情報を削除 + する必要があります。 + + b. 共有のようなもの + + セクション 3(a) の条件に加えて、あなたが生成する変更された + 資料を共有する場合、以下の条件も適用されます。 + + 1. あなたが適用する変更者のライセンスは、同じライセンス + 要素を持つ Creative Commons ライセンス、このバージョン + または後のバージョン、または BY-SA 互換ライセンスで + なければなりません。 + + 2. あなたが適用する変更者のライセンスのテキスト、URI + またはハイパーリンクを含める必要があります。 + 変更された資料を共有するメディア、手段、および + コンテキストに基づいて、この条件を合理的な方法で + 満たすことができます。 + + 3. あなたは、変更された資料に対して適用される変更者の + ライセンスの下 + +**免責事項**: +この文書は機械ベースのAI翻訳サービスを使用して翻訳されています。正確さを期していますが、自動翻訳には誤りや不正確さが含まれる可能性があることをご了承ください。権威ある情報源としては、元の言語で書かれた原文を参照してください。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の使用に起因する誤解や誤訳については責任を負いかねます。 \ No newline at end of file diff --git a/translations/ja/sketchnotes/README.md b/translations/ja/sketchnotes/README.md new file mode 100644 index 000000000..7d390a7cf --- /dev/null +++ b/translations/ja/sketchnotes/README.md @@ -0,0 +1,10 @@ +すべてのカリキュラムのスケッチノートはここからダウンロードできます。 + +🖨 高解像度で印刷するために、TIFFバージョンは[このリポジトリ](https://github.com/girliemac/a-picture-is-worth-a-1000-words/tree/main/ml/tiff)で利用可能です。 + +🎨 作成者: [Tomomi Imura](https://github.com/girliemac) (Twitter: [@girlie_mac](https://twitter.com/girlie_mac)) + +[](https://creativecommons.org/licenses/by-sa/4.0/) + +**免責事項**: +この文書は機械翻訳AIサービスを使用して翻訳されています。正確さを期すよう努めておりますが、自動翻訳には誤りや不正確さが含まれる場合がありますのでご注意ください。原文の言語によるオリジナル文書を信頼できる情報源とみなしてください。重要な情報については、専門の人間による翻訳を推奨します。本翻訳の使用に起因する誤解や誤訳については、一切の責任を負いかねます。 \ No newline at end of file diff --git a/translations/ko/1-Introduction/1-intro-to-ML/README.md b/translations/ko/1-Introduction/1-intro-to-ML/README.md new file mode 100644 index 000000000..58ce5f363 --- /dev/null +++ b/translations/ko/1-Introduction/1-intro-to-ML/README.md @@ -0,0 +1,148 @@ +# 머신 러닝 소개 + +## [강의 전 퀴즈](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/1/) + +--- + +[](https://youtu.be/6mSx_KJxcHI "초보자를 위한 머신 러닝 - 초보자를 위한 머신 러닝 소개") + +> 🎥 위 이미지를 클릭하면 이 강의를 다루는 짧은 비디오를 볼 수 있습니다. + +초보자를 위한 클래식 머신 러닝 강좌에 오신 것을 환영합니다! 이 주제가 처음이든, 특정 영역을 복습하고 싶은 경험 있는 ML 실무자든, 함께 하게 되어 기쁩니다! 여러분의 ML 학습을 위한 친근한 출발점을 만들고자 하며, [피드백](https://github.com/microsoft/ML-For-Beginners/discussions)을 평가하고, 응답하고, 반영하는 것을 기쁘게 생각합니다. + +[](https://youtu.be/h0e2HAPTGF4 "ML 소개") + +> 🎥 위 이미지를 클릭하면 MIT의 John Guttag이 머신 러닝을 소개하는 비디오를 볼 수 있습니다. + +--- +## 머신 러닝 시작하기 + +이 커리큘럼을 시작하기 전에, 노트북을 로컬에서 실행할 수 있도록 컴퓨터를 설정해야 합니다. + +- **이 비디오들로 컴퓨터 설정하기**. 시스템에 [파이썬 설치 방법](https://youtu.be/CXZYvNRIAKM)과 개발을 위한 [텍스트 편집기 설정](https://youtu.be/EU8eayHWoZg)을 배우기 위해 다음 링크를 사용하세요. +- **파이썬 배우기**. 데이터 과학자에게 유용한 프로그래밍 언어인 [파이썬](https://docs.microsoft.com/learn/paths/python-language/?WT.mc_id=academic-77952-leestott)에 대한 기본적인 이해를 갖추는 것이 좋습니다. +- **Node.js와 자바스크립트 배우기**. 이 과정에서 웹 앱을 구축할 때 몇 번 자바스크립트를 사용하므로 [node](https://nodejs.org)와 [npm](https://www.npmjs.com/)을 설치하고, 파이썬과 자바스크립트 개발을 위한 [Visual Studio Code](https://code.visualstudio.com/)도 설치해야 합니다. +- **GitHub 계정 만들기**. [GitHub](https://github.com)에서 우리를 찾았으니 이미 계정이 있을 수도 있지만, 그렇지 않다면 계정을 만들고 이 커리큘럼을 포크하여 사용하세요. (별표도 주시면 좋겠습니다 😊) +- **Scikit-learn 탐색하기**. 이 강의에서 참조하는 ML 라이브러리 세트인 [Scikit-learn](https://scikit-learn.org/stable/user_guide.html)에 익숙해지세요. + +--- +## 머신 러닝이란 무엇인가? + +'머신 러닝'이라는 용어는 오늘날 가장 인기 있고 자주 사용되는 용어 중 하나입니다. 어떤 분야에서 일하든 기술에 대해 어느 정도 익숙하다면 이 용어를 한 번쯤은 들어봤을 가능성이 큽니다. 그러나 머신 러닝의 메커니즘은 대부분의 사람들에게는 신비롭습니다. 머신 러닝 초보자에게는 이 주제가 때로는 벅차게 느껴질 수 있습니다. 따라서 머신 러닝이 실제로 무엇인지 이해하고, 실용적인 예제를 통해 단계적으로 배우는 것이 중요합니다. + +--- +## 과대광고 곡선 + + + +> 구글 트렌드는 '머신 러닝' 용어의 최근 '과대광고 곡선'을 보여줍니다. + +--- +## 신비로운 우주 + +우리는 매혹적인 신비로 가득 찬 우주에 살고 있습니다. Stephen Hawking, Albert Einstein 등 많은 위대한 과학자들은 우리 주변 세계의 신비를 밝혀내기 위해 평생을 바쳤습니다. 이것이 학습의 인간 조건입니다: 인간의 아이는 새로운 것을 배우고 성인이 될 때까지 해마다 자신의 세계 구조를 발견합니다. + +--- +## 아이의 두뇌 + +아이의 두뇌와 감각은 주변 환경의 사실을 인식하고 점차 삶의 숨겨진 패턴을 배우며, 이러한 패턴을 식별하는 논리적 규칙을 만들도록 도와줍니다. 인간 두뇌의 학습 과정은 인간을 이 세상의 가장 정교한 생명체로 만듭니다. 숨겨진 패턴을 발견하고 그 패턴을 혁신함으로써 끊임없이 배우는 것은 우리가 평생 동안 더 나아질 수 있게 합니다. 이 학습 능력과 진화 능력은 [뇌 가소성](https://www.simplypsychology.org/brain-plasticity.html)이라는 개념과 관련이 있습니다. 표면적으로, 인간 두뇌의 학습 과정과 머신 러닝 개념 사이에 몇 가지 동기적인 유사점을 그릴 수 있습니다. + +--- +## 인간 두뇌 + +[인간 두뇌](https://www.livescience.com/29365-human-brain.html)는 실제 세계에서 정보를 인식하고, 인식된 정보를 처리하며, 합리적인 결정을 내리고, 상황에 따라 특정 행동을 수행합니다. 이를 지능적으로 행동한다고 합니다. 지능적 행동 과정을 기계에 프로그램하는 것을 인공지능(AI)이라고 합니다. + +--- +## 몇 가지 용어 + +용어가 혼동될 수 있지만, 머신 러닝(ML)은 인공지능의 중요한 하위 집합입니다. **ML은 특수한 알고리즘을 사용하여 의미 있는 정보를 발견하고 인식된 데이터에서 숨겨진 패턴을 찾아 합리적 의사 결정 과정을 확립하는 것에 중점을 둡니다**. + +--- +## AI, ML, 딥 러닝 + + + +> AI, ML, 딥 러닝, 데이터 과학 간의 관계를 보여주는 다이어그램. [Jen Looper](https://twitter.com/jenlooper)의 인포그래픽으로 [이 그래픽](https://softwareengineering.stackexchange.com/questions/366996/distinction-between-ai-ml-neural-networks-deep-learning-and-data-mining)에서 영감을 받았습니다. + +--- +## 다룰 개념 + +이 커리큘럼에서는 초보자가 반드시 알아야 할 머신 러닝의 핵심 개념만 다룰 것입니다. 우리는 많은 학생들이 기초를 배우기 위해 사용하는 훌륭한 라이브러리인 Scikit-learn을 주로 사용하여 '클래식 머신 러닝'을 다룹니다. 인공지능이나 딥 러닝의 더 넓은 개념을 이해하려면 머신 러닝에 대한 강력한 기초 지식이 필수적이므로, 여기에서 이를 제공하고자 합니다. + +--- +## 이 강의에서 배우게 될 것: + +- 머신 러닝의 핵심 개념 +- ML의 역사 +- ML과 공정성 +- 회귀 ML 기술 +- 분류 ML 기술 +- 군집화 ML 기술 +- 자연어 처리 ML 기술 +- 시계열 예측 ML 기술 +- 강화 학습 +- ML의 실제 응용 + +--- +## 다루지 않을 내용 + +- 딥 러닝 +- 신경망 +- AI + +더 나은 학습 경험을 위해, 신경망, '딥 러닝' - 신경망을 사용한 다층 모델 구축 - 및 AI의 복잡성을 피할 것입니다. 이는 다른 커리큘럼에서 다룰 예정입니다. 또한 이 더 큰 분야에 집중하기 위해 다가오는 데이터 과학 커리큘럼도 제공할 것입니다. + +--- +## 왜 머신 러닝을 공부해야 하는가? + +시스템 관점에서 머신 러닝은 데이터에서 숨겨진 패턴을 학습하여 지능적인 결정을 내리는 자동화 시스템을 만드는 것으로 정의됩니다. + +이 동기는 인간 두뇌가 외부 세계에서 인식한 데이터를 기반으로 특정한 것을 배우는 방식에서 느슨하게 영감을 받았습니다. + +✅ 비즈니스가 하드 코딩된 규칙 기반 엔진을 만드는 대신 머신 러닝 전략을 사용하려는 이유를 잠시 생각해 보세요. + +--- +## 머신 러닝의 응용 + +머신 러닝의 응용은 이제 거의 모든 곳에 있으며, 우리 사회에서 스마트폰, 연결된 장치 및 기타 시스템에 의해 생성되는 데이터만큼이나 널리 퍼져 있습니다. 최첨단 머신 러닝 알고리즘의 엄청난 잠재력을 고려할 때, 연구자들은 다차원적이고 다학문적인 실제 문제를 해결하는 데 그 능력을 탐구해 왔으며, 긍정적인 결과를 얻고 있습니다. + +--- +## 적용된 ML의 예 + +**다양한 방식으로 머신 러닝을 사용할 수 있습니다**: + +- 환자의 병력이나 보고서에서 질병의 가능성을 예측합니다. +- 기상 데이터를 활용하여 기상 이벤트를 예측합니다. +- 텍스트의 감정을 이해합니다. +- 가짜 뉴스를 감지하여 선전의 확산을 막습니다. + +금융, 경제학, 지구과학, 우주 탐사, 생물 의공학, 인지 과학, 심지어 인문학 분야에서도 머신 러닝을 적용하여 그들의 분야에서 어려운 데이터 처리 문제를 해결하고 있습니다. + +--- +## 결론 + +머신 러닝은 실제 데이터나 생성된 데이터에서 의미 있는 통찰을 찾아 패턴 발견 과정을 자동화합니다. 비즈니스, 건강, 금융 응용 등에서 매우 가치가 높다는 것이 입증되었습니다. + +가까운 미래에는 머신 러닝의 기본을 이해하는 것이 그 광범위한 채택으로 인해 어느 분야에서든 필수가 될 것입니다. + +--- +# 🚀 도전 + +[Excalidraw](https://excalidraw.com/)와 같은 온라인 앱이나 종이를 사용하여 AI, ML, 딥 러닝, 데이터 과학 간의 차이에 대한 이해를 스케치하세요. 각 기술이 해결하기에 좋은 문제에 대한 아이디어를 추가하세요. + +# [강의 후 퀴즈](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/2/) + +--- +# 복습 및 자기 학습 + +클라우드에서 ML 알고리즘을 사용하는 방법에 대해 자세히 알아보려면 이 [학습 경로](https://docs.microsoft.com/learn/paths/create-no-code-predictive-models-azure-machine-learning/?WT.mc_id=academic-77952-leestott)를 따라가세요. + +ML의 기본에 대한 [학습 경로](https://docs.microsoft.com/learn/modules/introduction-to-machine-learning/?WT.mc_id=academic-77952-leestott)를 따라가세요. + +--- +# 과제 + +[시작하기](assignment.md) + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하지만 자동 번역에는 오류나 부정확성이 포함될 수 있습니다. 원본 문서가 권위 있는 출처로 간주되어야 합니다. 중요한 정보의 경우 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 오역에 대해서는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/1-Introduction/1-intro-to-ML/assignment.md b/translations/ko/1-Introduction/1-intro-to-ML/assignment.md new file mode 100644 index 000000000..1e1002d12 --- /dev/null +++ b/translations/ko/1-Introduction/1-intro-to-ML/assignment.md @@ -0,0 +1,12 @@ +# 시작하기 + +## 지침 + +이 비평가 없는 과제에서는 Python을 복습하고 환경을 설정하여 노트북을 실행할 수 있도록 해야 합니다. + +이 [Python 학습 경로](https://docs.microsoft.com/learn/paths/python-language/?WT.mc_id=academic-77952-leestott)를 따라가고, 아래의 입문 동영상을 통해 시스템을 설정하세요: + +https://www.youtube.com/playlist?list=PLlrxD0HtieHhS8VzuMCfQD4uJ9yne1mE6 + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 우리는 정확성을 위해 노력하지만, 자동 번역에는 오류나 부정확성이 포함될 수 있습니다. 원본 문서의 모국어 버전을 권위 있는 출처로 간주해야 합니다. 중요한 정보에 대해서는 전문 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 오역에 대해 당사는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/1-Introduction/2-history-of-ML/README.md b/translations/ko/1-Introduction/2-history-of-ML/README.md new file mode 100644 index 000000000..635364a3f --- /dev/null +++ b/translations/ko/1-Introduction/2-history-of-ML/README.md @@ -0,0 +1,152 @@ +# 머신 러닝의 역사 + + +> 스케치노트 by [Tomomi Imura](https://www.twitter.com/girlie_mac) + +## [강의 전 퀴즈](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/3/) + +--- + +[](https://youtu.be/N6wxM4wZ7V0 "초보자를 위한 머신 러닝 - 머신 러닝의 역사") + +> 🎥 위 이미지를 클릭하여 이 강의를 다룬 짧은 영상을 보세요. + +이번 강의에서는 머신 러닝과 인공지능의 역사에서 중요한 이정표들을 살펴보겠습니다. + +인공지능(AI) 분야의 역사는 머신 러닝의 역사와 밀접하게 얽혀 있습니다. 머신 러닝을 뒷받침하는 알고리즘과 계산상의 진보가 AI의 발전에 기여했기 때문입니다. 이 분야들이 1950년대에 독립된 연구 영역으로 구체화되기 시작했지만, 중요한 [알고리즘적, 통계적, 수학적, 계산적 및 기술적 발견](https://wikipedia.org/wiki/Timeline_of_machine_learning)은 이 시기 이전에도 존재했으며, 이 시기와 겹칩니다. 사실, 사람들은 [수백 년 동안](https://wikipedia.org/wiki/History_of_artificial_intelligence) 이 질문들에 대해 생각해왔습니다. 이 글은 '생각하는 기계'라는 아이디어의 역사적 지적 기초에 대해 논의합니다. + +--- +## 주목할 만한 발견들 + +- 1763, 1812 [베이즈 정리](https://wikipedia.org/wiki/Bayes%27_theorem)와 그 선행 이론들. 이 정리와 그 응용은 사전 지식을 기반으로 사건 발생 확률을 설명하는 추론의 기초가 됩니다. +- 1805 [최소 제곱법 이론](https://wikipedia.org/wiki/Least_squares) 프랑스 수학자 Adrien-Marie Legendre에 의해. 이 이론은 데이터 피팅에 도움을 줍니다. +- 1913 [마르코프 연쇄](https://wikipedia.org/wiki/Markov_chain), 러시아 수학자 Andrey Markov의 이름을 딴 것으로, 이전 상태를 기반으로 가능한 사건의 연속을 설명하는 데 사용됩니다. +- 1957 [퍼셉트론](https://wikipedia.org/wiki/Perceptron)은 미국 심리학자 Frank Rosenblatt가 발명한 선형 분류기의 일종으로, 딥러닝의 발전에 기초가 됩니다. + +--- + +- 1967 [최근접 이웃](https://wikipedia.org/wiki/Nearest_neighbor)은 원래 경로를 맵핑하기 위해 설계된 알고리즘입니다. 머신 러닝 맥락에서는 패턴을 감지하는 데 사용됩니다. +- 1970 [역전파](https://wikipedia.org/wiki/Backpropagation)는 [순방향 신경망](https://wikipedia.org/wiki/Feedforward_neural_network)을 훈련시키는 데 사용됩니다. +- 1982 [순환 신경망](https://wikipedia.org/wiki/Recurrent_neural_network)은 순방향 신경망에서 파생된 인공 신경망으로, 시간 그래프를 생성합니다. + +✅ 조금 더 연구해 보세요. 머신 러닝과 AI 역사에서 중요한 다른 날짜는 무엇인가요? + +--- +## 1950: 생각하는 기계 + +Alan Turing은 2019년 [대중 투표](https://wikipedia.org/wiki/Icons:_The_Greatest_Person_of_the_20th_Century)에서 20세기 최고의 과학자로 선정된 정말 놀라운 인물로, '생각할 수 있는 기계' 개념의 기초를 마련하는 데 기여한 것으로 인정받고 있습니다. 그는 이 개념에 대한 경험적 증거의 필요성과 반대 의견을 극복하기 위해 [튜링 테스트](https://www.bbc.com/news/technology-18475646)를 만들었습니다. 이 테스트는 우리의 NLP 강의에서 다룰 것입니다. + +--- +## 1956: 다트머스 여름 연구 프로젝트 + +"다트머스 여름 연구 프로젝트는 인공지능 분야의 중요한 사건이었으며," 여기서 '인공지능'이라는 용어가 만들어졌습니다 ([출처](https://250.dartmouth.edu/highlights/artificial-intelligence-ai-coined-dartmouth)). + +> 학습이나 지능의 다른 모든 측면은 원칙적으로 매우 정확하게 설명될 수 있으며, 따라서 기계가 이를 모방할 수 있습니다. + +--- + +주 연구자인 수학 교수 John McCarthy는 "학습이나 지능의 다른 모든 측면은 원칙적으로 매우 정확하게 설명될 수 있으며, 따라서 기계가 이를 모방할 수 있다"는 가설을 바탕으로 진행하고자 했습니다. 참가자 중에는 이 분야의 또 다른 거장인 Marvin Minsky도 포함되어 있었습니다. + +이 워크숍은 "상징적 방법의 부상, 제한된 도메인에 초점을 맞춘 시스템(초기 전문가 시스템), 귀납적 시스템 대 연역적 시스템"과 같은 여러 논의를 시작하고 장려한 것으로 인정받고 있습니다. ([출처](https://wikipedia.org/wiki/Dartmouth_workshop)). + +--- +## 1956 - 1974: "황금기" + +1950년대부터 1970년대 중반까지, AI가 많은 문제를 해결할 수 있을 것이라는 낙관주의가 높았습니다. 1967년, Marvin Minsky는 "한 세대 안에... '인공지능' 문제는 상당히 해결될 것"이라고 자신 있게 말했습니다. (Minsky, Marvin (1967), Computation: Finite and Infinite Machines, Englewood Cliffs, N.J.: Prentice-Hall) + +자연어 처리 연구가 번성하고, 검색이 정교해지며 더 강력해졌으며, '마이크로 월드' 개념이 만들어져 단순한 작업이 평범한 언어 명령으로 완료될 수 있었습니다. + +--- + +연구는 정부 기관의 풍부한 자금 지원을 받았고, 계산과 알고리즘에서 진보가 이루어졌으며, 지능형 기계의 프로토타입이 만들어졌습니다. 이러한 기계 중 일부는 다음과 같습니다: + +* [Shakey 로봇](https://wikipedia.org/wiki/Shakey_the_robot), 지능적으로 작업을 수행할 방법을 결정할 수 있는 로봇. + +  + > 1972년의 Shakey + +--- + +* Eliza, 초기 '채터봇'으로 사람들과 대화하고 원시적인 '치료사' 역할을 할 수 있었습니다. Eliza에 대해서는 NLP 강의에서 더 자세히 배울 것입니다. + +  + > 채터봇 Eliza의 한 버전 + +--- + +* "블록 세계"는 블록을 쌓고 정렬할 수 있는 마이크로 월드의 예로, 기계가 결정을 내리는 실험이 테스트될 수 있었습니다. [SHRDLU](https://wikipedia.org/wiki/SHRDLU)와 같은 라이브러리를 통해 구축된 진보는 언어 처리를 발전시키는 데 도움을 주었습니다. + + [](https://www.youtube.com/watch?v=QAJz4YKUwqw "SHRDLU와 함께 하는 블록 세계") + + > 🎥 위 이미지를 클릭하여 비디오를 보세요: SHRDLU와 함께 하는 블록 세계 + +--- +## 1974 - 1980: "AI 겨울" + +1970년대 중반까지 '지능형 기계'를 만드는 복잡성이 과소평가되었고, 주어진 계산 능력으로 약속된 성과가 과장되었다는 것이 분명해졌습니다. 자금 지원이 중단되고, 이 분야에 대한 신뢰가 감소했습니다. 신뢰에 영향을 미친 몇 가지 문제는 다음과 같습니다: +--- +- **제한 사항**. 계산 능력이 너무 제한적이었습니다. +- **조합 폭발**. 컴퓨터에 더 많은 요구가 있을수록 훈련해야 하는 매개변수의 양이 기하급수적으로 증가했지만, 계산 능력과 기능의 진화는 이에 따라오지 못했습니다. +- **데이터 부족**. 테스트, 개발 및 알고리즘을 개선하는 과정을 방해하는 데이터 부족이 있었습니다. +- **우리가 올바른 질문을 하고 있는가?**. 제기된 질문들 자체가 의문을 제기하기 시작했습니다. 연구자들은 접근 방식에 대한 비판에 직면하기 시작했습니다: + - 튜링 테스트는 '중국 방 이론'과 같은 아이디어를 통해 의문이 제기되었습니다. 이 이론은 "디지털 컴퓨터를 프로그래밍하면 언어를 이해하는 것처럼 보이게 할 수 있지만 실제 이해를 생성할 수는 없다"고 주장했습니다. ([출처](https://plato.stanford.edu/entries/chinese-room/)) + - 사회에 인공지능을 도입하는 것의 윤리성, 예를 들어 "치료사" ELIZA와 같은 인공지능의 도입이 도전받았습니다. + +--- + +동시에, 다양한 AI 학파가 형성되기 시작했습니다. ["깔끔한 AI" 대 "지저분한 AI"](https://wikipedia.org/wiki/Neats_and_scruffies) 관행 사이에 이분법이 형성되었습니다. _지저분한_ 연구실은 원하는 결과를 얻을 때까지 프로그램을 조정했습니다. _깔끔한_ 연구실은 "논리와 형식적인 문제 해결에 집중했습니다". ELIZA와 SHRDLU는 잘 알려진 _지저분한_ 시스템이었습니다. 1980년대에 ML 시스템의 재현 가능성을 요구하는 수요가 나타나면서, _깔끔한_ 접근 방식이 점차 앞서게 되었으며, 그 결과는 더 설명 가능했습니다. + +--- +## 1980년대 전문가 시스템 + +이 분야가 성장하면서, 그 이점이 비즈니스에 더 명확해졌고, 1980년대에는 '전문가 시스템'의 확산이 이루어졌습니다. "전문가 시스템은 최초로 진정으로 성공적인 인공지능(AI) 소프트웨어 형태 중 하나였습니다." ([출처](https://wikipedia.org/wiki/Expert_system)). + +이러한 시스템은 실제로 _하이브리드_ 시스템으로, 비즈니스 요구 사항을 정의하는 규칙 엔진과 규칙 시스템을 활용하여 새로운 사실을 추론하는 추론 엔진으로 구성됩니다. + +이 시기에는 신경망에 대한 관심도 증가했습니다. + +--- +## 1987 - 1993: AI '냉각기' + +전문화된 전문가 시스템 하드웨어의 확산은 불행히도 지나치게 전문화되는 효과를 가져왔습니다. 개인용 컴퓨터의 등장도 이러한 대형, 전문화된 중앙 시스템과 경쟁했습니다. 컴퓨팅의 민주화가 시작되었으며, 이는 결국 빅 데이터의 현대적 폭발을 위한 길을 열었습니다. + +--- +## 1993 - 2011 + +이 시기는 데이터와 계산 능력의 부족으로 인해 이전에 발생한 문제를 해결할 수 있는 새로운 시대를 열었습니다. 데이터의 양은 급격히 증가하고 더 널리 이용 가능해졌으며, 특히 2007년경 스마트폰의 등장으로 인해 더 그렇습니다. 계산 능력은 기하급수적으로 확장되었고, 알고리즘도 함께 발전했습니다. 이 분야는 과거의 자유분방한 날들이 진정한 학문으로 구체화되면서 성숙해지기 시작했습니다. + +--- +## 현재 + +오늘날 머신 러닝과 AI는 우리 생활의 거의 모든 부분에 영향을 미칩니다. 이 시대는 이러한 알고리즘이 인간의 삶에 미칠 수 있는 위험과 잠재적 영향을 신중하게 이해할 필요가 있습니다. Microsoft의 Brad Smith는 "정보 기술은 프라이버시와 표현의 자유와 같은 기본적인 인권 보호의 핵심에 이르는 문제를 제기합니다. 이러한 문제는 이러한 제품을 만드는 기술 회사의 책임을 높이며, 우리의 견해로는 신중한 정부 규제와 허용 가능한 사용에 대한 규범의 개발을 요구합니다"라고 말했습니다. ([출처](https://www.technologyreview.com/2019/12/18/102365/the-future-of-ais-impact-on-society/)). + +--- + +미래가 어떻게 될지는 아직 알 수 없지만, 이러한 컴퓨터 시스템과 그들이 실행하는 소프트웨어 및 알고리즘을 이해하는 것이 중요합니다. 이 커리큘럼이 여러분이 더 나은 이해를 얻고 스스로 결정을 내리는 데 도움이 되기를 바랍니다. + +[](https://www.youtube.com/watch?v=mTtDfKgLm54 "딥러닝의 역사") +> 🎥 위 이미지를 클릭하여 비디오를 보세요: Yann LeCun이 이 강의에서 딥러닝의 역사를 논의합니다 + +--- +## 🚀도전 + +이 역사적 순간 중 하나를 파고들어 그 뒤에 있는 사람들에 대해 더 알아보세요. 매혹적인 인물들이 있으며, 과학적 발견은 문화적 진공 상태에서 이루어진 것이 아닙니다. 무엇을 발견했나요? + +## [강의 후 퀴즈](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/4/) + +--- +## 복습 및 자기 학습 + +여기 시청하고 들을 항목들이 있습니다: + +[Amy Boyd가 AI의 진화를 논의하는 이 팟캐스트](http://runasradio.com/Shows/Show/739) +[](https://www.youtube.com/watch?v=EJt3_bFYKss "The history of AI by Amy Boyd") + +--- + +## 과제 + +[타임라인 만들기](assignment.md) + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있지만, 자동 번역에는 오류나 부정확성이 있을 수 있습니다. 원본 문서의 모국어 버전이 권위 있는 출처로 간주되어야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 오역에 대해서는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/1-Introduction/2-history-of-ML/assignment.md b/translations/ko/1-Introduction/2-history-of-ML/assignment.md new file mode 100644 index 000000000..1c118b190 --- /dev/null +++ b/translations/ko/1-Introduction/2-history-of-ML/assignment.md @@ -0,0 +1,14 @@ +# 타임라인 만들기 + +## 지침 + +[이 레포지토리](https://github.com/Digital-Humanities-Toolkit/timeline-builder)를 사용하여 알고리즘, 수학, 통계, AI, 또는 ML의 역사 중 일부 측면에 대한 타임라인을 만드세요. 또는 이들의 조합을 사용할 수도 있습니다. 한 사람, 한 가지 아이디어 또는 오랜 기간의 사상에 초점을 맞출 수 있습니다. 멀티미디어 요소를 추가하는 것을 잊지 마세요. + +## 평가 기준 + +| 기준 | 모범적 | 적절함 | 개선 필요 | +| -------- | ----------------------------------------------- | ------------------------------------- | ---------------------------------------------------------- | +| | 배포된 타임라인이 GitHub 페이지로 제시됨 | 코드가 불완전하고 배포되지 않음 | 타임라인이 불완전하고, 연구가 잘 이루어지지 않았으며 배포되지 않음 | + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있지만, 자동 번역에는 오류나 부정확성이 있을 수 있습니다. 원본 문서를 신뢰할 수 있는 출처로 간주해야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역의 사용으로 인해 발생하는 오해나 오역에 대해서는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/1-Introduction/3-fairness/README.md b/translations/ko/1-Introduction/3-fairness/README.md new file mode 100644 index 000000000..0d9e87229 --- /dev/null +++ b/translations/ko/1-Introduction/3-fairness/README.md @@ -0,0 +1,159 @@ +# 책임 있는 AI로 머신 러닝 솔루션 구축하기 + + +> 스케치노트 작성: [Tomomi Imura](https://www.twitter.com/girlie_mac) + +## [강의 전 퀴즈](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/5/) + +## 소개 + +이 커리큘럼에서는 머신 러닝이 우리의 일상 생활에 어떻게 영향을 미치는지 알아보게 됩니다. 현재도 시스템과 모델은 의료 진단, 대출 승인, 사기 탐지 등 일상적인 의사 결정 작업에 관여하고 있습니다. 따라서 이러한 모델이 신뢰할 수 있는 결과를 제공하기 위해 잘 작동하는 것이 중요합니다. 모든 소프트웨어 애플리케이션과 마찬가지로, AI 시스템도 기대에 미치지 못하거나 바람직하지 않은 결과를 낼 수 있습니다. 그렇기 때문에 AI 모델의 동작을 이해하고 설명할 수 있는 것이 필수적입니다. + +여러분이 이러한 모델을 구축하는 데 사용하는 데이터에 인종, 성별, 정치적 견해, 종교 등의 특정 인구 통계가 부족하거나 불균형하게 대표되는 경우 어떤 일이 발생할 수 있을지 상상해보세요. 모델의 출력이 특정 인구 통계를 선호하도록 해석되는 경우는 어떨까요? 애플리케이션에 어떤 영향을 미칠까요? 또한 모델이 바람직하지 않은 결과를 내고 사람들에게 해를 끼치는 경우는 어떨까요? AI 시스템의 행동에 대한 책임은 누구에게 있을까요? 이 커리큘럼에서 이러한 질문들을 탐구할 것입니다. + +이번 강의에서는 다음을 배우게 됩니다: + +- 머신 러닝에서 공정성의 중요성과 공정성 관련 피해에 대한 인식을 높입니다. +- 신뢰성과 안전성을 보장하기 위해 이상치와 비정상적인 시나리오를 탐구하는 실습을 익힙니다. +- 모두를 포용하는 시스템을 설계하는 필요성을 이해합니다. +- 데이터와 사람들의 프라이버시와 보안을 보호하는 것이 얼마나 중요한지 탐구합니다. +- AI 모델의 동작을 설명하기 위한 투명성 접근의 중요성을 봅니다. +- AI 시스템에 대한 신뢰를 구축하기 위해 책임이 얼마나 중요한지 인식합니다. + +## 사전 요구 사항 + +사전 요구 사항으로 "책임 있는 AI 원칙" 학습 경로를 수강하고 아래 비디오를 시청하세요: + +책임 있는 AI에 대해 자세히 알아보려면 이 [학습 경로](https://docs.microsoft.com/learn/modules/responsible-ai-principles/?WT.mc_id=academic-77952-leestott)를 따르세요. + +[](https://youtu.be/dnC8-uUZXSc "Microsoft의 책임 있는 AI 접근") + +> 🎥 위 이미지를 클릭하면 비디오를 볼 수 있습니다: Microsoft의 책임 있는 AI 접근 + +## 공정성 + +AI 시스템은 모든 사람을 공정하게 대우하고 유사한 그룹의 사람들에게 다른 방식으로 영향을 미치는 것을 피해야 합니다. 예를 들어, AI 시스템이 의료 치료, 대출 신청 또는 고용에 대한 지침을 제공할 때 유사한 증상, 재정 상황 또는 전문 자격을 가진 모든 사람에게 동일한 권장 사항을 제공해야 합니다. 우리 각자는 의사 결정과 행동에 영향을 미치는 유전된 편견을 가지고 있습니다. 이러한 편견은 우리가 AI 시스템을 훈련시키는 데이터에서 나타날 수 있습니다. 이러한 조작은 때로는 의도치 않게 발생할 수 있습니다. 데이터를 편향되게 만드는 시점을 의식적으로 아는 것은 종종 어렵습니다. + +**“불공정성”**은 인종, 성별, 연령 또는 장애 상태 등으로 정의된 사람들 그룹에 대한 부정적인 영향 또는 “피해”를 포함합니다. 주요 공정성 관련 피해는 다음과 같이 분류할 수 있습니다: + +- **할당**: 예를 들어 성별 또는 민족이 다른 성별이나 민족보다 우대되는 경우. +- **서비스 품질**: 특정 시나리오에 대한 데이터를 훈련시키지만 현실은 훨씬 더 복잡한 경우, 이는 성능이 저하된 서비스를 초래합니다. 예를 들어, 어두운 피부를 가진 사람들을 인식하지 못하는 손 세정기. [참조](https://gizmodo.com/why-cant-this-soap-dispenser-identify-dark-skin-1797931773) +- **비방**: 불공정하게 비판하고 라벨링하는 것. 예를 들어, 이미지 라벨링 기술이 어두운 피부를 가진 사람들의 이미지를 고릴라로 잘못 라벨링한 경우. +- **과소 또는 과대 대표**: 특정 직업에서 특정 그룹이 보이지 않는다는 아이디어와 그러한 서비스를 계속 홍보하는 모든 서비스 또는 기능이 피해를 초래합니다. +- **고정관념**: 특정 그룹을 사전에 할당된 속성과 연관시키는 것. 예를 들어, 영어와 터키어 간의 언어 번역 시스템이 성별에 대한 고정관념 연관성으로 인해 부정확할 수 있습니다. + + +> 터키어로 번역 + + +> 영어로 다시 번역 + +AI 시스템을 설계하고 테스트할 때, AI가 공정하고 편향되거나 차별적인 결정을 내리지 않도록 프로그래밍되지 않도록 해야 합니다. AI와 머신 러닝에서 공정성을 보장하는 것은 여전히 복잡한 사회 기술적 과제입니다. + +### 신뢰성과 안전성 + +신뢰를 구축하려면 AI 시스템이 정상적이거나 예상치 못한 조건에서도 신뢰할 수 있고 안전하며 일관되게 작동해야 합니다. 특히 이상치 상황에서 AI 시스템이 어떻게 동작할지 아는 것이 중요합니다. AI 솔루션을 구축할 때, AI 솔루션이 직면할 다양한 상황을 처리하는 방법에 상당한 주의를 기울여야 합니다. 예를 들어, 자율 주행차는 사람들의 안전을 최우선으로 고려해야 합니다. 따라서 자동차를 구동하는 AI는 밤, 뇌우, 눈보라, 도로를 가로지르는 아이들, 애완동물, 도로 공사 등 자동차가 마주칠 수 있는 모든 가능한 시나리오를 고려해야 합니다. AI 시스템이 다양한 조건을 얼마나 신뢰할 수 있고 안전하게 처리할 수 있는지는 데이터 과학자나 AI 개발자가 시스템 설계나 테스트 중에 고려한 예상 수준을 반영합니다. + +> [🎥 여기에서 비디오를 클릭하세요: ](https://www.microsoft.com/videoplayer/embed/RE4vvIl) + +### 포용성 + +AI 시스템은 모두를 참여시키고 권한을 부여하도록 설계되어야 합니다. AI 시스템을 설계하고 구현할 때 데이터 과학자와 AI 개발자는 시스템에서 사람들을 의도치 않게 배제할 수 있는 잠재적 장벽을 식별하고 해결합니다. 예를 들어, 전 세계적으로 10억 명의 장애인이 있습니다. AI의 발전으로 인해 그들은 일상 생활에서 더 쉽게 다양한 정보와 기회에 접근할 수 있습니다. 장벽을 해결함으로써 더 나은 경험을 제공하는 AI 제품을 혁신하고 개발할 수 있는 기회를 창출합니다. + +> [🎥 여기에서 비디오를 클릭하세요: AI에서의 포용성](https://www.microsoft.com/videoplayer/embed/RE4vl9v) + +### 보안 및 프라이버시 + +AI 시스템은 안전하고 사람들의 프라이버시를 존중해야 합니다. 프라이버시, 정보 또는 생명을 위험에 빠뜨리는 시스템에 대한 신뢰는 낮아집니다. 머신 러닝 모델을 훈련할 때, 최고의 결과를 도출하기 위해 데이터에 의존합니다. 이 과정에서 데이터의 출처와 무결성을 고려해야 합니다. 예를 들어, 데이터가 사용자 제출 데이터인지 공공 데이터인지 확인해야 합니다. 다음으로, 데이터를 다룰 때 기밀 정보를 보호하고 공격에 저항할 수 있는 AI 시스템을 개발하는 것이 중요합니다. AI가 점점 더 보편화됨에 따라 프라이버시 보호와 중요한 개인 및 비즈니스 정보 보안이 더욱 중요하고 복잡해지고 있습니다. 프라이버시 및 데이터 보안 문제는 AI에서 특히 주의가 필요합니다. 데이터에 접근하는 것이 AI 시스템이 사람들에 대한 정확하고 정보에 입각한 예측과 결정을 내리는 데 필수적이기 때문입니다. + +> [🎥 여기에서 비디오를 클릭하세요: AI에서의 보안](https://www.microsoft.com/videoplayer/embed/RE4voJF) + +- 산업계에서는 GDPR(일반 데이터 보호 규정)과 같은 규정에 의해 크게 발전한 프라이버시 및 보안에서 상당한 진전을 이루었습니다. +- 그러나 AI 시스템에서는 시스템을 더 개인화하고 효과적으로 만들기 위해 더 많은 개인 데이터가 필요하다는 점과 프라이버시 사이의 긴장을 인정해야 합니다. +- 인터넷 연결된 컴퓨터의 탄생과 마찬가지로 AI와 관련된 보안 문제의 수가 급증하고 있습니다. +- 동시에 AI가 보안을 개선하는 데 사용되고 있습니다. 예를 들어, 대부분의 최신 안티바이러스 스캐너는 오늘날 AI 휴리스틱에 의해 구동됩니다. +- 데이터 과학 프로세스가 최신 프라이버시 및 보안 관행과 조화롭게 융합되도록 해야 합니다. + +### 투명성 + +AI 시스템은 이해할 수 있어야 합니다. 투명성의 중요한 부분은 AI 시스템과 그 구성 요소의 동작을 설명하는 것입니다. AI 시스템의 이해를 개선하려면 이해 관계자가 시스템이 어떻게 작동하고 왜 그렇게 작동하는지 이해해야 잠재적인 성능 문제, 안전 및 프라이버시 문제, 편향, 배제 관행 또는 의도치 않은 결과를 식별할 수 있습니다. 또한 AI 시스템을 사용하는 사람들은 시스템을 언제, 왜, 어떻게 배포하기로 결정했는지에 대해 정직하고 솔직해야 한다고 믿습니다. 또한 사용 중인 시스템의 한계에 대해서도 정직해야 합니다. 예를 들어, 은행이 소비자 대출 결정을 지원하기 위해 AI 시스템을 사용하는 경우, 결과를 조사하고 어떤 데이터가 시스템의 권장 사항에 영향을 미치는지 이해하는 것이 중요합니다. 정부는 산업 전반에 걸쳐 AI를 규제하기 시작하고 있으므로 데이터 과학자와 조직은 AI 시스템이 규제 요구 사항을 충족하는지, 특히 바람직하지 않은 결과가 발생했을 때 설명해야 합니다. + +> [🎥 여기에서 비디오를 클릭하세요: AI에서의 투명성](https://www.microsoft.com/videoplayer/embed/RE4voJF) + +- AI 시스템이 매우 복잡하기 때문에 그 작동 방식과 결과를 해석하는 것이 어렵습니다. +- 이러한 이해 부족은 시스템이 관리되고 운영되며 문서화되는 방식에 영향을 미칩니다. +- 이러한 이해 부족은 더 중요한 것은 시스템이 생성한 결과를 사용하여 내리는 결정에 영향을 미칩니다. + +### 책임성 + +AI 시스템을 설계하고 배포하는 사람들은 시스템의 작동 방식에 대해 책임을 져야 합니다. 책임의 필요성은 특히 얼굴 인식과 같은 민감한 기술에서 매우 중요합니다. 최근에는 실종 아동 찾기와 같은 용도로 기술의 잠재력을 인식한 법 집행 기관에서 얼굴 인식 기술에 대한 수요가 증가하고 있습니다. 그러나 이러한 기술은 특정 개인에 대한 지속적인 감시를 가능하게 하여 정부가 시민의 기본 자유를 위협하는 데 사용할 수 있습니다. 따라서 데이터 과학자와 조직은 AI 시스템이 개인이나 사회에 미치는 영향에 대해 책임을 져야 합니다. + +[](https://www.youtube.com/watch?v=Wldt8P5V6D0 "Microsoft의 책임 있는 AI 접근") + +> 🎥 위 이미지를 클릭하면 비디오를 볼 수 있습니다: 얼굴 인식을 통한 대규모 감시에 대한 경고 + +궁극적으로, AI를 사회에 도입하는 첫 세대로서 우리 세대의 가장 큰 질문 중 하나는 컴퓨터가 사람들에게 계속 책임을 지게 할 방법과 컴퓨터를 설계하는 사람들이 다른 모든 사람들에게 계속 책임을 지게 할 방법을 찾는 것입니다. + +## 영향 평가 + +머신 러닝 모델을 훈련하기 전에 AI 시스템의 목적, 의도된 사용, 배포 위치 및 시스템과 상호 작용할 사람들을 이해하기 위해 영향 평가를 수행하는 것이 중요합니다. 이는 시스템을 평가하는 리뷰어 또는 테스터에게 잠재적 위험과 예상 결과를 식별할 때 고려해야 할 요소를 알려줍니다. + +영향 평가를 수행할 때 집중해야 할 영역은 다음과 같습니다: + +* **개인에 대한 부정적인 영향**: 시스템 성능을 저해하는 제한 사항, 요구 사항, 지원되지 않는 사용 또는 알려진 제한 사항을 인식하는 것이 중요합니다. 이는 시스템이 개인에게 해를 끼칠 수 있는 방식으로 사용되지 않도록 보장합니다. +* **데이터 요구 사항**: 시스템이 데이터를 사용하는 방법과 위치를 이해하면 리뷰어가 고려해야 할 데이터 요구 사항(GDPR 또는 HIPPA 데이터 규정 등)을 탐색할 수 있습니다. 또한, 훈련을 위한 데이터의 출처나 양이 충분한지 확인합니다. +* **영향 요약**: 시스템 사용으로 인해 발생할 수 있는 잠재적 피해 목록을 수집합니다. ML 수명 주기 전반에 걸쳐 식별된 문제가 완화되었는지 또는 해결되었는지 검토합니다. +* **핵심 원칙별 적용 목표**: 각 원칙의 목표가 충족되는지 평가하고 격차가 있는지 확인합니다. + +## 책임 있는 AI로 디버깅하기 + +소프트웨어 애플리케이션 디버깅과 마찬가지로 AI 시스템 디버깅은 시스템의 문제를 식별하고 해결하는 필수 과정입니다. 모델이 예상대로 또는 책임 있게 작동하지 않는 데 영향을 미치는 많은 요인이 있습니다. 대부분의 전통적인 모델 성능 지표는 모델 성능의 정량적 집계로, 책임 있는 AI 원칙을 위반하는 모델을 분석하기에는 충분하지 않습니다. 또한, 머신 러닝 모델은 결과를 이해하거나 실수를 설명하기 어렵게 만드는 블랙 박스입니다. 이 과정에서 우리는 AI 시스템 디버깅을 돕는 책임 있는 AI 대시보드를 사용하는 방법을 배울 것입니다. 대시보드는 데이터 과학자와 AI 개발자가 다음을 수행할 수 있는 포괄적인 도구를 제공합니다: + +* **오류 분석**: 시스템의 공정성 또는 신뢰성에 영향을 미칠 수 있는 모델의 오류 분포를 식별합니다. +* **모델 개요**: 데이터 코호트 전반에서 모델 성능의 차이를 발견합니다. +* **데이터 분석**: 데이터 분포를 이해하고 공정성, 포용성 및 신뢰성 문제를 초래할 수 있는 데이터의 잠재적 편향을 식별합니다. +* **모델 해석 가능성**: 모델의 예측에 영향을 미치는 요소를 이해합니다. 이는 모델의 동작을 설명하는 데 도움이 되며, 이는 투명성과 책임에 중요합니다. + +## 🚀 도전 + +피해가 처음부터 도입되지 않도록 하기 위해 우리는 다음을 수행해야 합니다: + +- 시스템 작업에 참여하는 사람들의 배경과 관점을 다양화합니다. +- 사회의 다양성을 반영하는 데이터 세트에 투자합니다. +- 머신 러닝 수명 주기 전반에 걸쳐 책임 있는 AI를 감지하고 수정하는 더 나은 방법을 개발합니다. + +모델 구축 및 사용에서 모델의 신뢰할 수 없음이 명백한 실제 시나리오를 생각해보세요. 무엇을 더 고려해야 할까요? + +## [강의 후 퀴즈](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/6/) +## 복습 및 자습 + +이번 강의에서는 머신 러닝에서 공정성과 불공정성의 개념에 대해 기본적인 내용을 배웠습니다. + +다음 워크숍을 시청하여 주제에 대해 더 깊이 알아보세요: + +- 책임 있는 AI를 추구하며: 원칙을 실천으로 옮기기 - Besmira Nushi, Mehrnoosh Sameki, Amit Sharma + +[](https://www.youtube.com/watch?v=tGgJCrA-MZU "책임 있는 AI 도구 상자: 책임 있는 AI를 구축하기 위한 오픈 소스 프레임워크") + +> 🎥 위 이미지를 클릭하면 비디오를 볼 수 있습니다: 책임 있는 AI 도구 상자: 책임 있는 AI를 구축하기 위한 오픈 소스 프레임워크 - Besmira Nushi, Mehrnoosh Sameki, Amit Sharma + +또한 읽어보세요: + +- Microsoft의 책임 있는 AI 리소스 센터: [책임 있는 AI 리소스 – Microsoft AI](https://www.microsoft.com/ai/responsible-ai-resources?activetab=pivot1%3aprimaryr4) + +- Microsoft의 FATE 연구 그룹: [FATE: 공정성, 책임성, 투명성 및 윤리 - Microsoft Research](https://www.microsoft.com/research/theme/fate/) + +책임 있는 AI 도구 상자: + +- [책임 있는 AI 도구 상자 GitHub 저장소](https://github.com/microsoft/responsible-ai-toolbox) + +공정성을 보장하기 위한 Azure Machine Learning 도구에 대해 읽어보세요: + +- [Azure Machine Learning](https://docs.microsoft.com/azure/machine-learning/concept-fairness-ml?WT.mc_id=academic-77952-leestott) + +## 과제 + +[책임 있는 AI 도구 상자 탐색하기](assignment.md) + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있지만, 자동 번역에는 오류나 부정확성이 포함될 수 있습니다. 원본 문서의 모국어 버전이 권위 있는 출처로 간주되어야 합니다. 중요한 정보에 대해서는 전문 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 오역에 대해 우리는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/1-Introduction/3-fairness/assignment.md b/translations/ko/1-Introduction/3-fairness/assignment.md new file mode 100644 index 000000000..d041aa32e --- /dev/null +++ b/translations/ko/1-Introduction/3-fairness/assignment.md @@ -0,0 +1,14 @@ +# 책임 있는 AI 도구 상자 탐색하기 + +## 지침 + +이 수업에서는 데이터 과학자들이 AI 시스템을 분석하고 개선하는 데 도움을 주기 위해 "오픈 소스, 커뮤니티 주도 프로젝트"인 책임 있는 AI 도구 상자에 대해 배웠습니다. 이번 과제에서는 RAI Toolbox의 [노트북](https://github.com/microsoft/responsible-ai-toolbox/blob/main/notebooks/responsibleaidashboard/getting-started.ipynb) 중 하나를 탐색하고, 그 결과를 논문이나 프레젠테이션으로 보고하세요. + +## 평가 기준 + +| 기준 | 탁월함 | 적절함 | 개선 필요 | +| -------- | --------- | -------- | ----------------- | +| | Fairlearn의 시스템, 실행한 노트북, 실행 결과에서 도출된 결론을 논의하는 논문 또는 파워포인트 프레젠테이션이 제출됨 | 결론 없이 논문만 제출됨 | 논문이 제출되지 않음 | + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하지만 자동 번역에는 오류나 부정확성이 있을 수 있음을 유의하시기 바랍니다. 원본 문서의 모국어 버전이 권위 있는 출처로 간주되어야 합니다. 중요한 정보에 대해서는 전문 인간 번역을 권장합니다. 이 번역을 사용하여 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/1-Introduction/4-techniques-of-ML/README.md b/translations/ko/1-Introduction/4-techniques-of-ML/README.md new file mode 100644 index 000000000..81c1e472c --- /dev/null +++ b/translations/ko/1-Introduction/4-techniques-of-ML/README.md @@ -0,0 +1,121 @@ +# 머신 러닝 기법 + +머신 러닝 모델과 그들이 사용하는 데이터를 구축하고 사용하는 과정은 다른 개발 워크플로우와는 매우 다릅니다. 이번 강의에서는 이 과정을 명확히 하고, 알아야 할 주요 기법들을 개괄할 것입니다. 여러분은: + +- 머신 러닝을 뒷받침하는 과정을 높은 수준에서 이해할 것입니다. +- '모델', '예측', '훈련 데이터'와 같은 기본 개념을 탐구할 것입니다. + +## [사전 퀴즈](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/7/) + +[](https://youtu.be/4NGM0U2ZSHU "초보자를 위한 머신 러닝 - 머신 러닝 기법") + +> 🎥 위 이미지를 클릭하면 이 강의를 다루는 짧은 동영상을 볼 수 있습니다. + +## 소개 + +높은 수준에서 보면, 머신 러닝(ML) 프로세스를 만드는 기술은 여러 단계로 구성됩니다: + +1. **질문 결정**. 대부분의 ML 프로세스는 간단한 조건 프로그램이나 규칙 기반 엔진으로는 답할 수 없는 질문을 하는 것에서 시작합니다. 이러한 질문들은 종종 데이터 모음에 기반한 예측을 중심으로 합니다. +2. **데이터 수집 및 준비**. 질문에 답하려면 데이터가 필요합니다. 데이터의 품질과 양은 초기 질문에 얼마나 잘 답할 수 있는지를 결정합니다. 데이터를 시각화하는 것은 이 단계에서 중요한 측면입니다. 이 단계는 또한 모델을 구축하기 위해 데이터를 훈련과 테스트 그룹으로 나누는 것을 포함합니다. +3. **훈련 방법 선택**. 질문과 데이터의 특성에 따라, 데이터를 가장 잘 반영하고 정확한 예측을 할 수 있도록 모델을 훈련시키는 방법을 선택해야 합니다. 이 단계는 특정 전문 지식이 필요하고, 종종 상당한 양의 실험을 요구합니다. +4. **모델 훈련**. 훈련 데이터를 사용하여 다양한 알고리즘을 사용해 모델을 훈련시켜 데이터의 패턴을 인식하게 합니다. 모델은 데이터의 특정 부분을 더 잘 반영하기 위해 내부 가중치를 조정할 수 있습니다. +5. **모델 평가**. 수집된 데이터에서 이전에 본 적 없는 데이터(테스트 데이터)를 사용하여 모델의 성능을 평가합니다. +6. **매개변수 조정**. 모델의 성능을 기반으로 다른 매개변수나 변수를 사용하여 프로세스를 다시 실행할 수 있습니다. +7. **예측**. 새로운 입력을 사용하여 모델의 정확성을 테스트합니다. + +## 어떤 질문을 할 것인가 + +컴퓨터는 데이터에서 숨겨진 패턴을 발견하는 데 특히 능숙합니다. 이 유틸리티는 조건 기반 규칙 엔진을 만들어 쉽게 답할 수 없는 특정 도메인에 대한 질문을 가진 연구자들에게 매우 유용합니다. 예를 들어, 보험업무에서 데이터 과학자는 흡연자와 비흡연자의 사망률에 대한 수작업 규칙을 만들 수 있습니다. + +그러나 많은 다른 변수가 방정식에 들어오면, ML 모델은 과거 건강 기록을 기반으로 미래의 사망률을 예측하는 데 더 효율적일 수 있습니다. 더 즐거운 예로는, 특정 위치의 4월 날씨 예측을 위도, 경도, 기후 변화, 해양 근접성, 제트 스트림 패턴 등을 포함한 데이터를 기반으로 예측하는 것입니다. + +✅ 이 [슬라이드 자료](https://www2.cisl.ucar.edu/sites/default/files/2021-10/0900%20June%2024%20Haupt_0.pdf)는 날씨 분석에서 ML을 사용하는 역사적 관점을 제공합니다. + +## 모델 구축 전 작업 + +모델을 구축하기 전에 완료해야 할 몇 가지 작업이 있습니다. 질문을 테스트하고 모델의 예측을 기반으로 가설을 형성하려면 여러 요소를 식별하고 구성해야 합니다. + +### 데이터 + +질문에 확실히 답할 수 있으려면 적절한 유형의 충분한 데이터가 필요합니다. 이 시점에서 해야 할 두 가지 작업이 있습니다: + +- **데이터 수집**. 데이터 분석의 공정성에 대한 이전 강의를 염두에 두고, 데이터를 신중하게 수집하십시오. 이 데이터의 출처, 내재된 편향성, 출처를 문서화하십시오. +- **데이터 준비**. 데이터 준비 과정에는 여러 단계가 있습니다. 다양한 출처에서 온 데이터를 통합하고 정규화해야 할 수도 있습니다. 문자열을 숫자로 변환하는 것과 같은 다양한 방법으로 데이터의 품질과 양을 개선할 수 있습니다([클러스터링](../../5-Clustering/1-Visualize/README.md)에서처럼). 원본 데이터를 기반으로 새로운 데이터를 생성할 수도 있습니다([분류](../../4-Classification/1-Introduction/README.md)에서처럼). 데이터를 정리하고 편집할 수도 있습니다([웹 앱](../../3-Web-App/README.md) 강의 전처럼). 마지막으로, 훈련 기술에 따라 데이터를 무작위로 섞어야 할 수도 있습니다. + +✅ 데이터를 수집하고 처리한 후, 데이터의 형태가 의도한 질문에 답할 수 있는지 확인하십시오. [클러스터링](../../5-Clustering/1-Visualize/README.md) 강의에서 발견한 것처럼, 데이터가 주어진 작업에서 잘 작동하지 않을 수 있습니다! + +### 특성과 목표 + +[특성](https://www.datasciencecentral.com/profiles/blogs/an-introduction-to-variable-and-feature-selection)은 데이터의 측정 가능한 속성입니다. 많은 데이터셋에서 '날짜', '크기', '색상'과 같은 열 머리글로 표현됩니다. 코드에서 보통 `X`으로 표현되는 특성 변수는 모델을 훈련시키기 위해 사용되는 입력 변수를 나타냅니다. + +목표는 예측하려는 것입니다. 코드에서 보통 `y`으로 표현되는 목표는 데이터에 대해 묻고자 하는 질문의 답을 나타냅니다: 12월에 가장 저렴한 **색상의** 호박은 무엇일까요? 샌프란시스코에서 가장 좋은 부동산 **가격**을 가진 지역은 어디일까요? 때로는 목표를 레이블 속성이라고도 합니다. + +### 특성 변수 선택 + +🎓 **특성 선택 및 특성 추출** 모델을 구축할 때 어떤 변수를 선택해야 할까요? 아마도 가장 성능이 좋은 모델을 위해 올바른 변수를 선택하는 특성 선택 또는 특성 추출 과정을 거치게 될 것입니다. 그러나 이들은 동일한 것이 아닙니다: "특성 추출은 원래 특성의 함수에서 새로운 특성을 생성하는 반면, 특성 선택은 특성의 하위 집합을 반환합니다." ([출처](https://wikipedia.org/wiki/Feature_selection)) + +### 데이터 시각화 + +데이터 과학자의 도구 키트에서 중요한 측면은 Seaborn이나 MatPlotLib과 같은 훌륭한 라이브러리를 사용하여 데이터를 시각화하는 능력입니다. 데이터를 시각적으로 표현하면 활용할 수 있는 숨겨진 상관관계를 발견할 수 있습니다. 시각화는 또한 편향이나 불균형 데이터를 발견하는 데 도움이 될 수 있습니다([분류](../../4-Classification/2-Classifiers-1/README.md)에서 발견한 것처럼). + +### 데이터셋 분할 + +훈련 전에 데이터셋을 불균등한 크기로 나누어야 합니다. 그러나 여전히 데이터를 잘 대표해야 합니다. + +- **훈련**. 이 부분은 모델을 훈련시키기 위해 맞추는 데이터셋입니다. 이 세트는 원래 데이터셋의 대부분을 구성합니다. +- **테스트**. 테스트 데이터셋은 원래 데이터에서 수집된 독립적인 데이터 그룹으로, 구축된 모델의 성능을 확인하는 데 사용됩니다. +- **검증**. 검증 세트는 모델의 하이퍼파라미터나 아키텍처를 조정하여 모델을 개선하는 데 사용하는 더 작은 독립적인 예제 그룹입니다. 데이터의 크기와 질문에 따라, 이 세트를 구축할 필요가 없을 수도 있습니다([시계열 예측](../../7-TimeSeries/1-Introduction/README.md)에서 언급한 것처럼). + +## 모델 구축 + +훈련 데이터를 사용하여 다양한 알고리즘을 사용해 데이터를 **훈련**시켜 모델을 구축하는 것이 목표입니다. 모델을 훈련시키면 데이터를 노출하고, 발견된 패턴에 대해 가정을 하며, 이를 검증하고 수락하거나 거부합니다. + +### 훈련 방법 결정 + +질문과 데이터의 특성에 따라 훈련 방법을 선택할 것입니다. 이 과정에서 [Scikit-learn의 문서](https://scikit-learn.org/stable/user_guide.html)를 탐색하며 다양한 방법을 살펴볼 수 있습니다. 경험에 따라 최적의 모델을 구축하기 위해 여러 방법을 시도해야 할 수도 있습니다. 데이터 과학자들이 모델의 성능을 평가하고, 정확도, 편향, 기타 품질 저하 문제를 확인하며, 적절한 훈련 방법을 선택하는 과정을 거칠 가능성이 높습니다. + +### 모델 훈련 + +훈련 데이터를 갖춘 상태에서 모델을 '맞추기' 위해 준비가 되었습니다. 많은 ML 라이브러리에서 'model.fit'이라는 코드를 볼 수 있습니다 - 이때 특성 변수를 값 배열(보통 'X')로, 목표 변수를 (보통 'y')로 보냅니다. + +### 모델 평가 + +훈련 과정이 완료되면(큰 모델을 훈련시키는 데 여러 번의 반복 또는 '에포크'가 필요할 수 있음), 테스트 데이터를 사용하여 모델의 품질을 평가할 수 있습니다. 이 데이터는 모델이 이전에 분석하지 않은 원래 데이터의 하위 집합입니다. 모델의 품질에 대한 메트릭 테이블을 출력할 수 있습니다. + +🎓 **모델 피팅** + +머신 러닝의 맥락에서 모델 피팅은 모델의 기본 함수가 익숙하지 않은 데이터를 분석하려는 시도로서의 정확성을 의미합니다. + +🎓 **언더피팅**과 **오버피팅**은 모델의 품질을 저하시키는 일반적인 문제입니다. 모델이 충분히 잘 맞지 않거나 너무 잘 맞아 예측이 훈련 데이터와 너무 밀접하게 또는 너무 느슨하게 일치하는 경우가 있습니다. 오버피팅된 모델은 데이터의 세부 사항과 노이즈를 너무 잘 학습하여 훈련 데이터를 너무 잘 예측합니다. 언더피팅된 모델은 훈련 데이터나 아직 '보지 못한' 데이터를 정확히 분석하지 못하여 정확하지 않습니다. + + +> [Jen Looper](https://twitter.com/jenlooper)의 인포그래픽 + +## 매개변수 조정 + +초기 훈련이 완료되면 모델의 품질을 관찰하고 '하이퍼파라미터'를 조정하여 개선할 수 있는지 고려하십시오. 자세한 내용은 [문서](https://docs.microsoft.com/en-us/azure/machine-learning/how-to-tune-hyperparameters?WT.mc_id=academic-77952-leestott)를 참조하십시오. + +## 예측 + +이제 완전히 새로운 데이터를 사용하여 모델의 정확성을 테스트할 수 있습니다. 모델을 생산에 사용하기 위해 웹 자산을 구축하는 '응용' ML 설정에서는 사용자 입력(예: 버튼 클릭)을 수집하여 변수를 설정하고 모델에 추론 또는 평가를 위해 보낼 수 있습니다. + +이 강의에서는 데이터 과학자의 모든 제스처와 더불어, '풀 스택' ML 엔지니어가 되기 위한 여정을 진행하면서 준비, 구축, 테스트, 평가, 예측하는 방법을 발견할 것입니다. + +--- + +## 🚀도전 + +ML 실무자의 단계를 반영하는 흐름도를 그리세요. 지금 과정에서 자신이 어디에 있는지, 어디에서 어려움을 겪을 것 같은지, 무엇이 쉬워 보이는지 예측해 보세요. + +## [사후 퀴즈](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/8/) + +## 복습 및 자기 학습 + +데이터 과학자들이 자신의 일상 업무에 대해 이야기하는 인터뷰를 온라인에서 검색해 보세요. [여기](https://www.youtube.com/watch?v=Z3IjgbbCEfs)에 하나가 있습니다. + +## 과제 + +[데이터 과학자 인터뷰](assignment.md) + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있지만 자동 번역에는 오류나 부정확성이 있을 수 있습니다. 원어로 작성된 원본 문서를 권위 있는 자료로 간주해야 합니다. 중요한 정보에 대해서는 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해서는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/1-Introduction/4-techniques-of-ML/assignment.md b/translations/ko/1-Introduction/4-techniques-of-ML/assignment.md new file mode 100644 index 000000000..d0e27e5e7 --- /dev/null +++ b/translations/ko/1-Introduction/4-techniques-of-ML/assignment.md @@ -0,0 +1,14 @@ +# 데이터 과학자 인터뷰 + +## 지침 + +당신의 회사에서, 사용자 그룹에서, 친구들이나 동료 학생들 중에서, 전문적으로 데이터 과학자로 일하는 사람과 대화해 보세요. 그들의 일상 업무에 대해 짧은 글(500 단어)을 작성하세요. 그들은 전문가인가요, 아니면 '풀 스택'으로 일하나요? + +## 채점 기준 + +| 기준 | 모범적 | 적절함 | 개선 필요 | +| -------- | ------------------------------------------------------------------------------------ | ------------------------------------------------------------------ | --------------------- | +| | 올바른 길이의 에세이가 출처를 명시하고 .doc 파일로 제출됨 | 에세이의 출처가 부정확하거나 요구된 길이보다 짧음 | 에세이가 제출되지 않음 | + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하지만, 자동 번역에는 오류나 부정확성이 있을 수 있음을 유의하시기 바랍니다. 원어로 작성된 원본 문서를 권위 있는 자료로 간주해야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인한 오해나 오역에 대해 당사는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/1-Introduction/README.md b/translations/ko/1-Introduction/README.md new file mode 100644 index 000000000..75aaa455d --- /dev/null +++ b/translations/ko/1-Introduction/README.md @@ -0,0 +1,25 @@ +# 머신러닝 소개 + +이 커리큘럼 섹션에서는 머신러닝 분야의 기본 개념, 그것이 무엇인지, 그리고 연구자들이 그것을 다루기 위해 사용하는 기술에 대해 배우게 됩니다. 함께 새로운 ML의 세계를 탐험해 봅시다! + + +> 사진 출처: Bill Oxford on Unsplash + +### 강의 목록 + +1. [머신러닝 소개](1-intro-to-ML/README.md) +1. [머신러닝과 AI의 역사](2-history-of-ML/README.md) +1. [공정성과 머신러닝](3-fairness/README.md) +1. [머신러닝 기법](4-techniques-of-ML/README.md) +### 저작권 + +"Introduction to Machine Learning"는 [Muhammad Sakib Khan Inan](https://twitter.com/Sakibinan), [Ornella Altunyan](https://twitter.com/ornelladotcom) 그리고 [Jen Looper](https://twitter.com/jenlooper)를 포함한 여러 사람들의 ♥️로 작성되었습니다. + +"The History of Machine Learning"는 [Jen Looper](https://twitter.com/jenlooper)와 [Amy Boyd](https://twitter.com/AmyKateNicho)의 ♥️로 작성되었습니다. + +"Fairness and Machine Learning"는 [Tomomi Imura](https://twitter.com/girliemac)의 ♥️로 작성되었습니다. + +"Techniques of Machine Learning"는 [Jen Looper](https://twitter.com/jenlooper)와 [Chris Noring](https://twitter.com/softchris)의 ♥️로 작성되었습니다. + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있지만, 자동 번역에는 오류나 부정확성이 포함될 수 있습니다. 원본 문서의 모국어 버전이 권위 있는 소스로 간주되어야 합니다. 중요한 정보에 대해서는 전문적인 인간 번역을 권장합니다. 이 번역의 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/2-Regression/1-Tools/README.md b/translations/ko/2-Regression/1-Tools/README.md new file mode 100644 index 000000000..4d7f0a9f9 --- /dev/null +++ b/translations/ko/2-Regression/1-Tools/README.md @@ -0,0 +1,228 @@ +# Python과 Scikit-learn으로 회귀 모델 시작하기 + + + +> 스케치노트: [Tomomi Imura](https://www.twitter.com/girlie_mac) + +## [강의 전 퀴즈](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/9/) + +> ### [이 강의는 R에서도 제공됩니다!](../../../../2-Regression/1-Tools/solution/R/lesson_1.html) + +## 소개 + +이 네 개의 강의에서, 회귀 모델을 구축하는 방법을 배우게 됩니다. 곧 이 모델들이 무엇을 하는지 설명할 것입니다. 하지만 그 전에, 과정을 시작하기 위해 필요한 도구들이 준비되었는지 확인하세요! + +이 강의에서는 다음을 배우게 됩니다: + +- 로컬 머신 러닝 작업을 위해 컴퓨터를 설정하는 방법. +- Jupyter 노트북을 사용하는 방법. +- Scikit-learn 설치 및 사용 방법. +- 실습을 통해 선형 회귀를 탐구하는 방법. + +## 설치 및 설정 + +[](https://youtu.be/-DfeD2k2Kj0 "초보자를 위한 머신 러닝 - 머신 러닝 모델을 구축할 도구 준비") + +> 🎥 위 이미지를 클릭하여 머신 러닝을 위해 컴퓨터를 설정하는 짧은 비디오를 시청하세요. + +1. **Python 설치**. [Python](https://www.python.org/downloads/)이 컴퓨터에 설치되어 있는지 확인하세요. Python은 많은 데이터 과학 및 머신 러닝 작업에 사용됩니다. 대부분의 컴퓨터 시스템에는 이미 Python이 설치되어 있습니다. 일부 사용자에게 설정을 쉽게 해주는 [Python Coding Packs](https://code.visualstudio.com/learn/educators/installers?WT.mc_id=academic-77952-leestott)도 있습니다. + + 하지만 Python의 일부 사용법은 특정 버전을 요구하는 경우가 있으므로, [가상 환경](https://docs.python.org/3/library/venv.html)에서 작업하는 것이 유용합니다. + +2. **Visual Studio Code 설치**. 컴퓨터에 Visual Studio Code가 설치되어 있는지 확인하세요. 기본 설치를 위해 [Visual Studio Code 설치](https://code.visualstudio.com/) 지침을 따르세요. 이 강의에서는 Visual Studio Code에서 Python을 사용할 것이므로, [Python 개발을 위한 Visual Studio Code 설정](https://docs.microsoft.com/learn/modules/python-install-vscode?WT.mc_id=academic-77952-leestott) 방법을 익혀두는 것이 좋습니다. + + > 이 [Learn modules](https://docs.microsoft.com/users/jenlooper-2911/collections/mp1pagggd5qrq7?WT.mc_id=academic-77952-leestott) 컬렉션을 통해 Python에 익숙해지세요. + > + > [](https://youtu.be/yyQM70vi7V8 "Visual Studio Code로 Python 설정") + > + > 🎥 위 이미지를 클릭하여 Visual Studio Code 내에서 Python을 사용하는 비디오를 시청하세요. + +3. **Scikit-learn 설치**. [이 지침](https://scikit-learn.org/stable/install.html)을 따라 Scikit-learn을 설치하세요. Python 3을 사용해야 하므로 가상 환경을 사용하는 것이 좋습니다. M1 Mac에 이 라이브러리를 설치하는 경우, 위 링크된 페이지에 특별한 지침이 있습니다. + +4. **Jupyter Notebook 설치**. [Jupyter 패키지](https://pypi.org/project/jupyter/)를 설치해야 합니다. + +## ML 작성 환경 + +**노트북**을 사용하여 Python 코드를 개발하고 머신 러닝 모델을 만들 것입니다. 이 파일 유형은 데이터 과학자들에게 흔히 사용되며, `.ipynb` 확장자로 식별할 수 있습니다. + +노트북은 개발자가 코드를 작성하고 코드 주위에 주석을 추가하고 문서를 작성할 수 있는 대화형 환경을 제공합니다. 이는 실험적이거나 연구 지향적인 프로젝트에 매우 유용합니다. + +[](https://youtu.be/7E-jC8FLA2E "초보자를 위한 머신 러닝 - 회귀 모델을 구축하기 위한 Jupyter 노트북 설정") + +> 🎥 위 이미지를 클릭하여 이 연습을 진행하는 짧은 비디오를 시청하세요. + +### 연습 - 노트북 사용하기 + +이 폴더에서 _notebook.ipynb_ 파일을 찾을 수 있습니다. + +1. Visual Studio Code에서 _notebook.ipynb_ 파일을 엽니다. + + Python 3+로 Jupyter 서버가 시작됩니다. 노트북의 여러 부분에 `run`로 표시된 코드 조각이 있습니다. 재생 버튼 모양의 아이콘을 선택하여 코드 블록을 실행할 수 있습니다. + +2. `md` 아이콘을 선택하고 약간의 마크다운과 다음 텍스트 **# Welcome to your notebook**을 추가합니다. + + 다음으로, Python 코드를 추가합니다. + +3. 코드 블록에 **print('hello notebook')**을 입력합니다. +4. 화살표를 선택하여 코드를 실행합니다. + + 출력된 문장을 볼 수 있어야 합니다: + + ```output + hello notebook + ``` + + + +코드와 주석을 섞어서 노트북을 자체 문서화할 수 있습니다. + +✅ 웹 개발자의 작업 환경과 데이터 과학자의 작업 환경이 얼마나 다른지 잠시 생각해보세요. + +## Scikit-learn 시작하기 + +이제 로컬 환경에 Python이 설정되었고 Jupyter 노트북에 익숙해졌으므로, Scikit-learn에도 익숙해져 봅시다. Scikit-learn은 머신 러닝 작업을 수행하는 데 도움을 주는 [광범위한 API](https://scikit-learn.org/stable/modules/classes.html#api-ref)를 제공합니다. + +그들의 [웹사이트](https://scikit-learn.org/stable/getting_started.html)에 따르면, "Scikit-learn은 지도 학습과 비지도 학습을 지원하는 오픈 소스 머신 러닝 라이브러리입니다. 또한 모델 적합, 데이터 전처리, 모델 선택 및 평가 등을 위한 다양한 도구를 제공합니다." + +이 강의에서는 Scikit-learn과 다른 도구들을 사용하여 '전통적인 머신 러닝' 작업을 수행할 머신 러닝 모델을 구축할 것입니다. 우리는 신경망과 딥러닝을 일부러 피했으며, 이는 곧 출시될 'AI for Beginners' 커리큘럼에서 다룰 예정입니다. + +Scikit-learn은 모델을 구축하고 평가하는 것을 간단하게 만듭니다. 주로 숫자 데이터를 사용하며 학습 도구로 사용할 수 있는 여러 가지 준비된 데이터셋을 포함하고 있습니다. 또한 학생들이 시도해볼 수 있는 사전 구축된 모델도 포함되어 있습니다. 기본 데이터를 사용하여 Scikit-learn으로 첫 번째 머신 러닝 모델을 구축하는 과정을 탐구해 봅시다. + +## 연습 - 첫 번째 Scikit-learn 노트북 + +> 이 튜토리얼은 Scikit-learn 웹사이트의 [선형 회귀 예제](https://scikit-learn.org/stable/auto_examples/linear_model/plot_ols.html#sphx-glr-auto-examples-linear-model-plot-ols-py)에서 영감을 받았습니다. + +[](https://youtu.be/2xkXL5EUpS0 "초보자를 위한 머신 러닝 - Python에서 첫 번째 선형 회귀 프로젝트") + +> 🎥 위 이미지를 클릭하여 이 연습을 진행하는 짧은 비디오를 시청하세요. + +이 강의와 관련된 _notebook.ipynb_ 파일에서 '쓰레기통' 아이콘을 눌러 모든 셀을 지웁니다. + +이 섹션에서는 학습 목적으로 Scikit-learn에 내장된 작은 당뇨병 데이터셋을 사용할 것입니다. 당뇨병 환자를 위한 치료를 테스트하려고 한다고 가정해 봅시다. 머신 러닝 모델은 변수 조합을 기반으로 어떤 환자가 치료에 더 잘 반응할지 결정하는 데 도움을 줄 수 있습니다. 시각화된 매우 기본적인 회귀 모델조차도 이론적인 임상 시험을 조직하는 데 도움이 될 수 있는 변수에 대한 정보를 보여줄 수 있습니다. + +✅ 다양한 회귀 방법이 있으며, 선택하는 방법은 찾고자 하는 답에 따라 다릅니다. 주어진 나이의 사람의 예상 키를 예측하려면, **숫자 값**을 찾고 있으므로 선형 회귀를 사용합니다. 특정 요리가 비건인지 아닌지를 알아내고 싶다면, **카테고리 할당**을 찾고 있으므로 로지스틱 회귀를 사용합니다. 로지스틱 회귀에 대해서는 나중에 더 배우게 될 것입니다. 데이터를 통해 물어볼 수 있는 질문들에 대해 생각해 보고, 어떤 방법이 더 적합할지 생각해 보세요. + +이 작업을 시작해 봅시다. + +### 라이브러리 가져오기 + +이 작업을 위해 몇 가지 라이브러리를 가져오겠습니다: + +- **matplotlib**. [그래프 도구](https://matplotlib.org/)로 유용하며, 선 그래프를 만드는 데 사용할 것입니다. +- **numpy**. [numpy](https://numpy.org/doc/stable/user/whatisnumpy.html)는 Python에서 숫자 데이터를 처리하는 데 유용한 라이브러리입니다. +- **sklearn**. 이는 [Scikit-learn](https://scikit-learn.org/stable/user_guide.html) 라이브러리입니다. + +작업을 도와줄 라이브러리를 가져옵니다. + +1. 다음 코드를 입력하여 라이브러리를 가져옵니다: + + ```python + import matplotlib.pyplot as plt + import numpy as np + from sklearn import datasets, linear_model, model_selection + ``` + + 위에서는 `matplotlib`, `numpy` and you are importing `datasets`, `linear_model` and `model_selection` from `sklearn`. `model_selection` is used for splitting data into training and test sets. + +### The diabetes dataset + +The built-in [diabetes dataset](https://scikit-learn.org/stable/datasets/toy_dataset.html#diabetes-dataset) includes 442 samples of data around diabetes, with 10 feature variables, some of which include: + +- age: age in years +- bmi: body mass index +- bp: average blood pressure +- s1 tc: T-Cells (a type of white blood cells) + +✅ This dataset includes the concept of 'sex' as a feature variable important to research around diabetes. Many medical datasets include this type of binary classification. Think a bit about how categorizations such as this might exclude certain parts of a population from treatments. + +Now, load up the X and y data. + +> 🎓 Remember, this is supervised learning, and we need a named 'y' target. + +In a new code cell, load the diabetes dataset by calling `load_diabetes()`. The input `return_X_y=True` signals that `X` will be a data matrix, and `y`가 회귀 대상이 될 것입니다. + +1. 데이터 매트릭스의 모양과 첫 번째 요소를 보여주는 print 명령을 추가합니다: + + ```python + X, y = datasets.load_diabetes(return_X_y=True) + print(X.shape) + print(X[0]) + ``` + + 응답으로 받는 것은 튜플입니다. 튜플의 두 번째 값을 각각 `X` and `y`에 할당하는 것입니다. [튜플에 대해 더 알아보기](https://wikipedia.org/wiki/Tuple). + + 이 데이터는 442개의 항목으로 구성되어 있으며, 각 배열은 10개의 요소로 구성되어 있음을 알 수 있습니다: + + ```text + (442, 10) + [ 0.03807591 0.05068012 0.06169621 0.02187235 -0.0442235 -0.03482076 + -0.04340085 -0.00259226 0.01990842 -0.01764613] + ``` + + ✅ 데이터와 회귀 대상 간의 관계에 대해 잠시 생각해 보세요. 선형 회귀는 특성 X와 대상 변수 y 간의 관계를 예측합니다. 문서에서 당뇨병 데이터셋의 [대상](https://scikit-learn.org/stable/datasets/toy_dataset.html#diabetes-dataset)을 찾을 수 있습니까? 이 데이터셋은 주어진 대상에 대해 무엇을 나타내고 있습니까? + +2. 다음으로, 데이터셋의 3번째 열을 선택하여 플롯할 부분을 선택합니다. `:` operator to select all rows, and then selecting the 3rd column using the index (2). You can also reshape the data to be a 2D array - as required for plotting - by using `reshape(n_rows, n_columns)`를 사용하여 이 작업을 수행할 수 있습니다. 파라미터 중 하나가 -1이면, 해당 차원이 자동으로 계산됩니다. + + ```python + X = X[:, 2] + X = X.reshape((-1,1)) + ``` + + ✅ 언제든지 데이터를 출력하여 모양을 확인하세요. + +3. 이제 플롯할 준비가 되었으므로, 머신이 이 데이터셋의 숫자 간의 논리적 분할을 결정하는 데 도움이 되는지 확인할 수 있습니다. 이를 위해 데이터(X)와 대상(y)을 테스트 및 훈련 세트로 분할해야 합니다. Scikit-learn에는 이를 수행하는 간단한 방법이 있습니다. 주어진 지점에서 테스트 데이터를 분할할 수 있습니다. + + ```python + X_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=0.33) + ``` + +4. 이제 모델을 훈련할 준비가 되었습니다! 선형 회귀 모델을 로드하고 `model.fit()`을 사용하여 X 및 y 훈련 세트로 훈련합니다: + + ```python + model = linear_model.LinearRegression() + model.fit(X_train, y_train) + ``` + + ✅ `model.fit()` is a function you'll see in many ML libraries such as TensorFlow + +5. Then, create a prediction using test data, using the function `predict()`를 사용하여 데이터 그룹 간의 선을 그릴 것입니다. + + ```python + y_pred = model.predict(X_test) + ``` + +6. 이제 데이터를 플롯으로 표시할 시간입니다. Matplotlib은 이 작업에 매우 유용한 도구입니다. 모든 X 및 y 테스트 데이터를 산점도로 만들고, 모델의 데이터 그룹 사이에서 가장 적절한 위치에 선을 그리기 위해 예측을 사용합니다. + + ```python + plt.scatter(X_test, y_test, color='black') + plt.plot(X_test, y_pred, color='blue', linewidth=3) + plt.xlabel('Scaled BMIs') + plt.ylabel('Disease Progression') + plt.title('A Graph Plot Showing Diabetes Progression Against BMI') + plt.show() + ``` + +  + + ✅ 여기서 무슨 일이 일어나고 있는지 잠시 생각해 보세요. 많은 작은 데이터 점들 사이에 직선이 그려져 있지만, 정확히 무엇을 하고 있습니까? 이 선을 사용하여 새로운, 보이지 않는 데이터 포인트가 플롯의 y축과 관련하여 어디에 맞아야 하는지 예측할 수 있는 방법을 볼 수 있습니까? 이 모델의 실용적인 사용을 말로 설명해 보세요. + +축하합니다, 첫 번째 선형 회귀 모델을 구축하고, 이를 사용하여 예측을 생성하고, 플롯에 표시했습니다! + +--- +## 🚀도전 + +이 데이터셋의 다른 변수를 플롯해 보세요. 힌트: 이 줄을 편집하세요: `X = X[:,2]`. 이 데이터셋의 목표를 고려할 때, 당뇨병의 진행에 대해 무엇을 발견할 수 있습니까? +## [강의 후 퀴즈](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/10/) + +## 복습 및 자습 + +이 튜토리얼에서는 단순 선형 회귀를 사용했으며, 단변량 또는 다변량 선형 회귀를 사용하지 않았습니다. 이 방법들 간의 차이점에 대해 조금 읽어보거나, [이 비디오](https://www.coursera.org/lecture/quantifying-relationships-regression-models/linear-vs-nonlinear-categorical-variables-ai2Ef)를 시청해 보세요. + +회귀의 개념에 대해 더 읽어보고, 이 기법으로 어떤 종류의 질문에 답할 수 있는지 생각해 보세요. 이 [튜토리얼](https://docs.microsoft.com/learn/modules/train-evaluate-regression-models?WT.mc_id=academic-77952-leestott)을 통해 이해를 깊게 하세요. + +## 과제 + +[다른 데이터셋](assignment.md) + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있지만, 자동 번역에는 오류나 부정확성이 있을 수 있습니다. 원본 문서의 원어를 권위 있는 자료로 간주해야 합니다. 중요한 정보에 대해서는 전문 인간 번역을 권장합니다. 이 번역의 사용으로 인해 발생하는 오해나 오역에 대해 당사는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/2-Regression/1-Tools/assignment.md b/translations/ko/2-Regression/1-Tools/assignment.md new file mode 100644 index 000000000..b404180ca --- /dev/null +++ b/translations/ko/2-Regression/1-Tools/assignment.md @@ -0,0 +1,16 @@ +# Scikit-learn을 사용한 회귀 분석 + +## 지침 + +Scikit-learn의 [Linnerud 데이터셋](https://scikit-learn.org/stable/modules/generated/sklearn.datasets.load_linnerud.html#sklearn.datasets.load_linnerud)을 살펴보세요. 이 데이터셋에는 여러 [타겟](https://scikit-learn.org/stable/datasets/toy_dataset.html#linnerrud-dataset)이 있습니다: '이 데이터셋은 피트니스 클럽에서 20명의 중년 남성으로부터 수집된 세 가지 운동 (데이터) 및 세 가지 생리학적 (타겟) 변수를 포함합니다.' + +자신의 말로 허리 둘레와 수행된 윗몸 일으키기 횟수 간의 관계를 나타내는 회귀 모델을 만드는 방법을 설명하세요. 이 데이터셋의 다른 데이터 포인트에 대해서도 동일하게 해보세요. + +## 채점 기준 + +| 기준 | 우수한 수준 | 적절한 수준 | 개선이 필요함 | +| ----------------------------- | ------------------------------------ | ----------------------------- | -------------------------- | +| 설명 문단 제출 | 잘 작성된 문단이 제출됨 | 몇 문장만 제출됨 | 설명이 제공되지 않음 | + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 우리는 정확성을 위해 노력하지만 자동 번역에는 오류나 부정확성이 있을 수 있습니다. 원본 문서의 원어가 권위 있는 출처로 간주되어야 합니다. 중요한 정보에 대해서는 전문적인 인간 번역을 권장합니다. 이 번역의 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/2-Regression/1-Tools/solution/Julia/README.md b/translations/ko/2-Regression/1-Tools/solution/Julia/README.md new file mode 100644 index 000000000..09c854c61 --- /dev/null +++ b/translations/ko/2-Regression/1-Tools/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 우리는 정확성을 위해 노력하지만, 자동 번역에는 오류나 부정확성이 포함될 수 있음을 유의하시기 바랍니다. 원본 문서는 해당 언어로 작성된 문서를 권위 있는 출처로 간주해야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 오역에 대해 당사는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/2-Regression/2-Data/README.md b/translations/ko/2-Regression/2-Data/README.md new file mode 100644 index 000000000..fc7979d31 --- /dev/null +++ b/translations/ko/2-Regression/2-Data/README.md @@ -0,0 +1,215 @@ +# Scikit-learn을 사용하여 회귀 모델 구축: 데이터 준비 및 시각화 + + + +인포그래픽 제작: [Dasani Madipalli](https://twitter.com/dasani_decoded) + +## [사전 강의 퀴즈](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/11/) + +> ### [이 강의는 R로도 제공됩니다!](../../../../2-Regression/2-Data/solution/R/lesson_2.html) + +## 소개 + +이제 Scikit-learn을 사용하여 머신러닝 모델을 구축하기 위한 도구를 설정했으므로 데이터를 통해 질문을 시작할 준비가 되었습니다. 데이터를 다루고 ML 솔루션을 적용할 때, 데이터셋의 잠재력을 올바르게 해제하기 위해 올바른 질문을 하는 방법을 이해하는 것이 매우 중요합니다. + +이 강의에서 배우게 될 내용: + +- 모델 구축을 위해 데이터를 준비하는 방법. +- Matplotlib을 사용하여 데이터를 시각화하는 방법. + +## 데이터에 올바른 질문하기 + +답을 얻고자 하는 질문은 어떤 유형의 ML 알고리즘을 사용할지를 결정합니다. 그리고 얻은 답변의 품질은 데이터의 특성에 크게 의존합니다. + +이 강의에서 제공된 [데이터](https://github.com/microsoft/ML-For-Beginners/blob/main/2-Regression/data/US-pumpkins.csv)를 살펴보세요. 이 .csv 파일을 VS Code에서 열 수 있습니다. 빠르게 훑어보면 공백과 문자열 및 숫자 데이터의 혼합이 있음을 바로 알 수 있습니다. 또한 'Package'라는 이상한 열이 있는데, 여기에는 'sacks', 'bins' 등의 값이 혼합되어 있습니다. 사실, 이 데이터는 약간 엉망입니다. + +[](https://youtu.be/5qGjczWTrDQ "ML for beginners - How to Analyze and Clean a Dataset") + +> 🎥 위 이미지를 클릭하면 이 강의를 위해 데이터를 준비하는 과정을 보여주는 짧은 비디오를 볼 수 있습니다. + +사실, 완전히 준비된 데이터셋을 즉시 사용할 수 있도록 제공받는 경우는 매우 드뭅니다. 이 강의에서는 표준 Python 라이브러리를 사용하여 원시 데이터셋을 준비하는 방법을 배울 것입니다. 또한 데이터를 시각화하는 다양한 기술을 배울 것입니다. + +## 사례 연구: '호박 시장' + +이 폴더의 루트 `data` 폴더에는 [US-pumpkins.csv](https://github.com/microsoft/ML-For-Beginners/blob/main/2-Regression/data/US-pumpkins.csv)라는 .csv 파일이 있습니다. 이 파일에는 도시별로 그룹화된 호박 시장에 대한 1757개의 데이터가 포함되어 있습니다. 이 데이터는 미국 농무부에서 배포한 [Specialty Crops Terminal Markets Standard Reports](https://www.marketnews.usda.gov/mnp/fv-report-config-step1?type=termPrice)에서 추출한 원시 데이터입니다. + +### 데이터 준비 + +이 데이터는 공공 도메인에 있습니다. USDA 웹사이트에서 도시별로 여러 개의 파일로 다운로드할 수 있습니다. 너무 많은 파일을 피하기 위해, 모든 도시 데이터를 하나의 스프레드시트로 결합했습니다. 따라서 데이터를 약간 _준비_ 했습니다. 이제 데이터를 좀 더 자세히 살펴보겠습니다. + +### 호박 데이터 - 초기 결론 + +이 데이터에 대해 무엇을 알 수 있나요? 이미 문자열, 숫자, 공백 및 이상한 값이 혼합되어 있음을 보았습니다. + +회귀 기법을 사용하여 이 데이터에 어떤 질문을 할 수 있을까요? 예를 들어 "주어진 달에 판매되는 호박의 가격을 예측하세요"라는 질문을 생각해볼 수 있습니다. 데이터를 다시 살펴보면, 이 작업에 필요한 데이터 구조를 만들기 위해 몇 가지 변경이 필요합니다. + +## 연습 - 호박 데이터 분석 + +[판다스(Pandas)](https://pandas.pydata.org/)를 사용하여 이 호박 데이터를 분석하고 준비해 봅시다. Pandas는 데이터를 다루기에 매우 유용한 도구입니다. + +### 먼저, 누락된 날짜 확인 + +먼저 누락된 날짜를 확인해야 합니다: + +1. 날짜를 월 형식으로 변환합니다(이 날짜는 미국 날짜 형식이므로 `MM/DD/YYYY` 형식입니다). +2. 월을 새 열에 추출합니다. + +Visual Studio Code에서 _notebook.ipynb_ 파일을 열고 스프레드시트를 새로운 Pandas 데이터프레임에 가져옵니다. + +1. `head()` 함수를 사용하여 처음 다섯 개의 행을 봅니다. + + ```python + import pandas as pd + pumpkins = pd.read_csv('../data/US-pumpkins.csv') + pumpkins.head() + ``` + + ✅ 마지막 다섯 개의 행을 보려면 어떤 함수를 사용하시겠습니까? + +1. 현재 데이터프레임에 누락된 데이터가 있는지 확인합니다: + + ```python + pumpkins.isnull().sum() + ``` + + 누락된 데이터가 있지만, 현재 작업에는 중요하지 않을 수 있습니다. + +1. 데이터프레임을 더 쉽게 다루기 위해 필요한 열만 선택합니다. 아래의 경우 `loc` function which extracts from the original dataframe a group of rows (passed as first parameter) and columns (passed as second parameter). The expression `:`는 "모든 행"을 의미합니다. + + ```python + columns_to_select = ['Package', 'Low Price', 'High Price', 'Date'] + pumpkins = pumpkins.loc[:, columns_to_select] + ``` + +### 두 번째, 호박의 평균 가격 결정 + +주어진 달에 호박의 평균 가격을 결정하는 방법을 생각해 보세요. 이 작업을 위해 어떤 열을 선택하시겠습니까? 힌트: 세 개의 열이 필요합니다. + +해결책: `Low Price` and `High Price` 열의 평균을 구하여 새 Price 열을 채우고, Date 열을 월만 표시하도록 변환합니다. 다행히도 위의 확인에 따르면 날짜나 가격에 누락된 데이터는 없습니다. + +1. 평균을 계산하려면 다음 코드를 추가합니다: + + ```python + price = (pumpkins['Low Price'] + pumpkins['High Price']) / 2 + + month = pd.DatetimeIndex(pumpkins['Date']).month + + ``` + + ✅ `print(month)`을 사용하여 원하는 데이터를 출력해 볼 수 있습니다. + +2. 변환된 데이터를 새로운 Pandas 데이터프레임에 복사합니다: + + ```python + new_pumpkins = pd.DataFrame({'Month': month, 'Package': pumpkins['Package'], 'Low Price': pumpkins['Low Price'],'High Price': pumpkins['High Price'], 'Price': price}) + ``` + + 데이터프레임을 출력하면 새로운 회귀 모델을 구축할 수 있는 깔끔하고 정돈된 데이터셋을 볼 수 있습니다. + +### 잠깐! 이상한 점이 있습니다 + +`Package` column, pumpkins are sold in many different configurations. Some are sold in '1 1/9 bushel' measures, and some in '1/2 bushel' measures, some per pumpkin, some per pound, and some in big boxes with varying widths. + +> Pumpkins seem very hard to weigh consistently + +Digging into the original data, it's interesting that anything with `Unit of Sale` equalling 'EACH' or 'PER BIN' also have the `Package` type per inch, per bin, or 'each'. Pumpkins seem to be very hard to weigh consistently, so let's filter them by selecting only pumpkins with the string 'bushel' in their `Package` 열을 살펴보면 이상한 점이 있습니다. + +1. 초기 .csv 가져오기 아래에 필터를 추가합니다: + + ```python + pumpkins = pumpkins[pumpkins['Package'].str.contains('bushel', case=True, regex=True)] + ``` + + 이제 데이터를 출력하면, 버셸 단위로 판매되는 호박의 약 415개의 행만 얻을 수 있습니다. + +### 잠깐! 할 일이 하나 더 있습니다 + +버셸 양이 행마다 다르다는 것을 눈치채셨나요? 가격을 표준화하여 버셸 단위로 가격을 표시해야 합니다. 따라서 이를 표준화하기 위해 약간의 수학을 사용해야 합니다. + +1. new_pumpkins 데이터프레임을 생성한 블록 뒤에 다음 줄을 추가합니다: + + ```python + new_pumpkins.loc[new_pumpkins['Package'].str.contains('1 1/9'), 'Price'] = price/(1 + 1/9) + + new_pumpkins.loc[new_pumpkins['Package'].str.contains('1/2'), 'Price'] = price/(1/2) + ``` + +✅ [The Spruce Eats](https://www.thespruceeats.com/how-much-is-a-bushel-1389308)에 따르면, 버셸의 무게는 생산물의 종류에 따라 다릅니다. 이는 부피 측정 단위입니다. "예를 들어, 토마토 한 버셸은 56파운드로 측정됩니다... 잎과 채소는 더 적은 무게로 더 많은 공간을 차지하므로, 시금치 한 버셸은 20파운드에 불과합니다." 이는 매우 복잡합니다! 버셸에서 파운드로의 변환을 신경 쓰지 말고, 대신 버셸 단위로 가격을 표시합시다. 그러나 호박의 버셸을 연구하면서 데이터의 특성을 이해하는 것이 얼마나 중요한지 알 수 있습니다! + +이제 버셸 측정 단위를 기준으로 단위당 가격을 분석할 수 있습니다. 데이터를 한 번 더 출력하면 표준화된 것을 볼 수 있습니다. + +✅ 반 버셸로 판매되는 호박이 매우 비싸다는 것을 눈치채셨나요? 그 이유를 알 수 있나요? 힌트: 작은 호박은 큰 호박보다 훨씬 비쌉니다. 이는 버셸당 많은 공간을 차지하지 않는 큰 파이 호박보다 작은 호박이 훨씬 더 많이 있기 때문입니다. + +## 시각화 전략 + +데이터 과학자의 역할 중 하나는 자신이 작업하는 데이터의 품질과 특성을 보여주는 것입니다. 이를 위해 종종 흥미로운 시각화, 즉 플롯, 그래프, 차트를 생성하여 데이터의 다양한 측면을 보여줍니다. 이렇게 함으로써 시각적으로 관계와 격차를 쉽게 파악할 수 있습니다. + +[](https://youtu.be/SbUkxH6IJo0 "ML for beginners - How to Visualize Data with Matplotlib") + +> 🎥 위 이미지를 클릭하면 이 강의를 위해 데이터를 시각화하는 과정을 보여주는 짧은 비디오를 볼 수 있습니다. + +시각화는 또한 데이터에 가장 적합한 머신러닝 기법을 결정하는 데 도움이 될 수 있습니다. 예를 들어, 선을 따르는 것처럼 보이는 산점도는 데이터가 선형 회귀 연습에 적합하다는 것을 나타냅니다. + +Jupyter 노트북에서 잘 작동하는 데이터 시각화 라이브러리 중 하나는 [Matplotlib](https://matplotlib.org/)입니다 (이전 강의에서도 보았습니다). + +> 데이터 시각화에 대한 더 많은 경험을 쌓으려면 [이 튜토리얼](https://docs.microsoft.com/learn/modules/explore-analyze-data-with-python?WT.mc_id=academic-77952-leestott)을 참조하세요. + +## 연습 - Matplotlib 실험 + +방금 만든 새로운 데이터프레임을 표시하기 위해 몇 가지 기본 플롯을 만들어 보세요. 기본 선 그래프는 무엇을 보여줄까요? + +1. 파일 상단의 Pandas 가져오기 아래에 Matplotlib을 가져옵니다: + + ```python + import matplotlib.pyplot as plt + ``` + +1. 전체 노트북을 다시 실행하여 새로 고칩니다. +1. 노트북 하단에 데이터를 박스로 플롯하는 셀을 추가합니다: + + ```python + price = new_pumpkins.Price + month = new_pumpkins.Month + plt.scatter(price, month) + plt.show() + ``` + +  + + 이 플롯이 유용한가요? 무엇이 놀랍나요? + + 이 플롯은 주어진 달의 데이터 분포를 점으로 표시할 뿐이므로 특별히 유용하지 않습니다. + +### 유용하게 만들기 + +유용한 데이터를 표시하려면 데이터를 그룹화해야 합니다. y축에 달을 표시하고 데이터 분포를 보여주는 플롯을 만들어 봅시다. + +1. 그룹화된 막대 차트를 생성하는 셀을 추가합니다: + + ```python + new_pumpkins.groupby(['Month'])['Price'].mean().plot(kind='bar') + plt.ylabel("Pumpkin Price") + ``` + +  + + 이 데이터 시각화는 더 유용합니다! 9월과 10월에 호박의 가격이 가장 높다는 것을 나타내는 것 같습니다. 이는 예상과 일치하나요? 그 이유는 무엇인가요? + +--- + +## 🚀도전 과제 + +Matplotlib이 제공하는 다양한 시각화 유형을 탐색해 보세요. 회귀 문제에 가장 적합한 유형은 무엇인가요? + +## [강의 후 퀴즈](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/12/) + +## 복습 및 자습 + +데이터를 시각화하는 다양한 방법을 살펴보세요. 사용할 수 있는 다양한 라이브러리를 목록화하고, 주어진 작업 유형에 가장 적합한 라이브러리를 기록하세요. 예를 들어 2D 시각화와 3D 시각화의 차이점을 조사해 보세요. 무엇을 발견하셨나요? + +## 과제 + +[시각화 탐구](assignment.md) + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하지만 자동 번역에는 오류나 부정확성이 있을 수 있습니다. 원본 문서의 원어가 권위 있는 출처로 간주되어야 합니다. 중요한 정보에 대해서는 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 오역에 대해서는 책임지지 않습니다. \ No newline at end of file diff --git a/translations/ko/2-Regression/2-Data/assignment.md b/translations/ko/2-Regression/2-Data/assignment.md new file mode 100644 index 000000000..f8394f3a8 --- /dev/null +++ b/translations/ko/2-Regression/2-Data/assignment.md @@ -0,0 +1,11 @@ +# 시각화 탐구 + +데이터 시각화를 위한 여러 가지 라이브러리가 있습니다. 이 수업의 Pumpkin 데이터를 사용하여 샘플 노트북에서 matplotlib과 seaborn을 사용해 몇 가지 시각화를 만들어 보세요. 어떤 라이브러리가 더 사용하기 쉬운가요? +## 평가 기준 + +| 기준 | 모범적 | 적절한 | 개선 필요 | +| -------- | --------- | -------- | ----------------- | +| | 두 가지 탐구/시각화가 포함된 노트북이 제출됨 | 한 가지 탐구/시각화가 포함된 노트북이 제출됨 | 노트북이 제출되지 않음 | + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있지만, 자동 번역에는 오류나 부정확한 내용이 포함될 수 있습니다. 원본 문서의 원어를 권위 있는 자료로 간주해야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인한 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/2-Regression/2-Data/solution/Julia/README.md b/translations/ko/2-Regression/2-Data/solution/Julia/README.md new file mode 100644 index 000000000..a4b790306 --- /dev/null +++ b/translations/ko/2-Regression/2-Data/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있지만, 자동 번역에는 오류나 부정확성이 있을 수 있음을 유의하시기 바랍니다. 원본 문서는 원어로 작성된 문서를 권위 있는 자료로 간주해야 합니다. 중요한 정보에 대해서는 전문 인간 번역을 권장합니다. 이 번역의 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 우리는 책임지지 않습니다. \ No newline at end of file diff --git a/translations/ko/2-Regression/3-Linear/README.md b/translations/ko/2-Regression/3-Linear/README.md new file mode 100644 index 000000000..2fc08454d --- /dev/null +++ b/translations/ko/2-Regression/3-Linear/README.md @@ -0,0 +1,370 @@ +# Scikit-learn을 사용한 회귀 모델 구축: 네 가지 회귀 방법 + + +> 인포그래픽 by [Dasani Madipalli](https://twitter.com/dasani_decoded) +## [강의 전 퀴즈](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/13/) + +> ### [이 강의는 R로도 제공됩니다!](../../../../2-Regression/3-Linear/solution/R/lesson_3.html) +### 소개 + +지금까지 호박 가격 데이터셋을 사용하여 회귀가 무엇인지 탐구하고, Matplotlib을 사용하여 시각화하는 방법을 배웠습니다. + +이제 머신러닝을 위한 회귀에 대해 더 깊이 탐구할 준비가 되었습니다. 시각화는 데이터를 이해하는 데 도움이 되지만, 머신러닝의 진정한 힘은 _모델 훈련_에서 나옵니다. 모델은 과거 데이터를 바탕으로 데이터 종속성을 자동으로 캡처하며, 이를 통해 모델이 보지 못한 새로운 데이터의 결과를 예측할 수 있습니다. + +이번 강의에서는 _기본 선형 회귀_와 _다항 회귀_의 두 가지 회귀 유형과 이 기술들의 수학적 기초에 대해 배울 것입니다. 이 모델들은 다양한 입력 데이터를 바탕으로 호박 가격을 예측할 수 있게 해줍니다. + +[](https://youtu.be/CRxFT8oTDMg "초보자를 위한 머신러닝 - 선형 회귀 이해하기") + +> 🎥 위 이미지를 클릭하여 선형 회귀에 대한 짧은 비디오 개요를 확인하세요. + +> 이 커리큘럼 전반에 걸쳐 최소한의 수학 지식을 가정하고, 다른 분야에서 온 학생들도 이해할 수 있도록 접근성을 높이기 위해 노트, 🧮 호출, 다이어그램 및 기타 학습 도구를 사용합니다. + +### 선행 조건 + +현재까지 우리가 다루고 있는 호박 데이터의 구조에 익숙해야 합니다. 이 강의의 _notebook.ipynb_ 파일에 사전 로드 및 사전 정리된 데이터를 찾을 수 있습니다. 파일에서 호박 가격은 새로운 데이터 프레임에 부셸 단위로 표시됩니다. Visual Studio Code에서 이 노트북을 커널에서 실행할 수 있는지 확인하세요. + +### 준비 + +이 데이터를 로드하여 질문을 할 수 있도록 상기하십시오. + +- 호박을 사기에 가장 좋은 시기는 언제인가요? +- 미니어처 호박 한 상자의 가격은 얼마일까요? +- 반 부셸 바구니로 사야 하나요, 아니면 1 1/9 부셸 상자로 사야 하나요? +이 데이터를 계속 탐구해 봅시다. + +이전 강의에서 Pandas 데이터 프레임을 생성하고 원래 데이터셋의 일부로 채워 부셸 단위로 가격을 표준화했습니다. 하지만 그렇게 함으로써 약 400개의 데이터 포인트만 수집할 수 있었고, 그것도 가을 달만 해당되었습니다. + +이번 강의의 노트북에 사전 로드된 데이터를 확인해 보세요. 데이터는 사전 로드되어 있으며 초기 산점도는 월별 데이터를 보여줍니다. 데이터를 더 정리하면 데이터의 특성에 대해 더 자세히 알 수 있을지도 모릅니다. + +## 선형 회귀선 + +1강에서 배운 것처럼, 선형 회귀 연습의 목표는 다음을 위해 선을 그릴 수 있는 것입니다: + +- **변수 관계 표시**. 변수 간의 관계를 보여줍니다. +- **예측 수행**. 새로운 데이터 포인트가 그 선과의 관계에서 어디에 위치할지 정확하게 예측합니다. + +이 유형의 선을 그리는 것은 **최소 제곱 회귀**에서 일반적입니다. '최소 제곱'이라는 용어는 회귀선 주변의 모든 데이터 포인트가 제곱되고 더해진다는 것을 의미합니다. 이상적으로는 최종 합계가 가능한 한 작아야 합니다. 왜냐하면 우리는 낮은 오류 수, 즉 `least-squares`을 원하기 때문입니다. + +우리는 모든 데이터 포인트로부터의 누적 거리가 가장 적은 선을 모델링하고자 합니다. 또한 방향보다는 크기에 관심이 있기 때문에 항을 더하기 전에 제곱합니다. + +> **🧮 수학을 보여줘** +> +> 이 선은 _최적 적합선_이라고 불리며, [방정식](https://en.wikipedia.org/wiki/Simple_linear_regression)으로 표현될 수 있습니다: +> +> ``` +> Y = a + bX +> ``` +> +> `X` is the 'explanatory variable'. `Y` is the 'dependent variable'. The slope of the line is `b` and `a` is the y-intercept, which refers to the value of `Y` when `X = 0`. +> +> +> +> First, calculate the slope `b`. Infographic by [Jen Looper](https://twitter.com/jenlooper) +> +> In other words, and referring to our pumpkin data's original question: "predict the price of a pumpkin per bushel by month", `X` would refer to the price and `Y` would refer to the month of sale. +> +> +> +> Calculate the value of Y. If you're paying around $4, it must be April! Infographic by [Jen Looper](https://twitter.com/jenlooper) +> +> The math that calculates the line must demonstrate the slope of the line, which is also dependent on the intercept, or where `Y` is situated when `X = 0`. +> +> You can observe the method of calculation for these values on the [Math is Fun](https://www.mathsisfun.com/data/least-squares-regression.html) web site. Also visit [this Least-squares calculator](https://www.mathsisfun.com/data/least-squares-calculator.html) to watch how the numbers' values impact the line. + +## Correlation + +One more term to understand is the **Correlation Coefficient** between given X and Y variables. Using a scatterplot, you can quickly visualize this coefficient. A plot with datapoints scattered in a neat line have high correlation, but a plot with datapoints scattered everywhere between X and Y have a low correlation. + +A good linear regression model will be one that has a high (nearer to 1 than 0) Correlation Coefficient using the Least-Squares Regression method with a line of regression. + +✅ Run the notebook accompanying this lesson and look at the Month to Price scatterplot. Does the data associating Month to Price for pumpkin sales seem to have high or low correlation, according to your visual interpretation of the scatterplot? Does that change if you use more fine-grained measure instead of `Month`, eg. *day of the year* (i.e. number of days since the beginning of the year)? + +In the code below, we will assume that we have cleaned up the data, and obtained a data frame called `new_pumpkins`, similar to the following: + +ID | Month | DayOfYear | Variety | City | Package | Low Price | High Price | Price +---|-------|-----------|---------|------|---------|-----------|------------|------- +70 | 9 | 267 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 15.0 | 15.0 | 13.636364 +71 | 9 | 267 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 18.0 | 18.0 | 16.363636 +72 | 10 | 274 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 18.0 | 18.0 | 16.363636 +73 | 10 | 274 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 17.0 | 17.0 | 15.454545 +74 | 10 | 281 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 15.0 | 15.0 | 13.636364 + +> The code to clean the data is available in [`notebook.ipynb`](../../../../2-Regression/3-Linear/notebook.ipynb). We have performed the same cleaning steps as in the previous lesson, and have calculated `DayOfYear` 열을 다음 식을 사용하여 계산할 수 있습니다: + +```python +day_of_year = pd.to_datetime(pumpkins['Date']).apply(lambda dt: (dt-datetime(dt.year,1,1)).days) +``` + +이제 선형 회귀의 수학적 배경을 이해했으니, 호박 패키지의 최적의 가격을 예측할 수 있는 회귀 모델을 만들어 봅시다. 휴일 호박 밭을 위해 호박을 사는 사람은 이 정보를 통해 호박 패키지 구매를 최적화할 수 있습니다. + +## 상관 관계 찾기 + +[](https://youtu.be/uoRq-lW2eQo "초보자를 위한 머신러닝 - 상관 관계 찾기: 선형 회귀의 핵심") + +> 🎥 위 이미지를 클릭하여 상관 관계에 대한 짧은 비디오 개요를 확인하세요. + +이전 강의에서 다양한 달의 평균 가격이 다음과 같다는 것을 보았을 것입니다: + +
+
+이는 어느 정도 상관 관계가 있음을 시사하며, `Month` and `Price`, or between `DayOfYear` and `Price`. Here is the scatter plot that shows the latter relationship:
+
+
+
+Let's see if there is a correlation using the `corr` 함수를 사용하여 상관 관계를 확인해 볼 수 있습니다:
+
+```python
+print(new_pumpkins['Month'].corr(new_pumpkins['Price']))
+print(new_pumpkins['DayOfYear'].corr(new_pumpkins['Price']))
+```
+
+상관 관계는 -0.15로 상당히 작아 보입니다. `Month` and -0.17 by the `DayOfMonth`, but there could be another important relationship. It looks like there are different clusters of prices corresponding to different pumpkin varieties. To confirm this hypothesis, let's plot each pumpkin category using a different color. By passing an `ax` parameter to the `scatter` 플로팅 함수를 사용하여 모든 포인트를 동일한 그래프에 플로팅할 수 있습니다:
+
+```python
+ax=None
+colors = ['red','blue','green','yellow']
+for i,var in enumerate(new_pumpkins['Variety'].unique()):
+ df = new_pumpkins[new_pumpkins['Variety']==var]
+ ax = df.plot.scatter('DayOfYear','Price',ax=ax,c=colors[i],label=var)
+```
+
+
+
+우리의 조사에 따르면 품종이 실제 판매 날짜보다 전체 가격에 더 큰 영향을 미치는 것으로 보입니다. 이는 막대 그래프로 확인할 수 있습니다:
+
+```python
+new_pumpkins.groupby('Variety')['Price'].mean().plot(kind='bar')
+```
+
+
+
+잠시 동안 '파이 타입'이라는 한 가지 호박 품종에만 집중하여 날짜가 가격에 미치는 영향을 확인해 봅시다:
+
+```python
+pie_pumpkins = new_pumpkins[new_pumpkins['Variety']=='PIE TYPE']
+pie_pumpkins.plot.scatter('DayOfYear','Price')
+```
+
+
+이제 `Price` and `DayOfYear` using `corr` function, we will get something like `-0.27` 사이의 상관 관계를 계산하면 예측 모델을 훈련시키는 것이 의미가 있음을 알 수 있습니다.
+
+> 선형 회귀 모델을 훈련시키기 전에 데이터가 깨끗한지 확인하는 것이 중요합니다. 선형 회귀는 누락된 값과 잘 작동하지 않으므로 모든 빈 셀을 제거하는 것이 좋습니다:
+
+```python
+pie_pumpkins.dropna(inplace=True)
+pie_pumpkins.info()
+```
+
+다른 접근 방식은 해당 열의 평균 값으로 빈 값을 채우는 것입니다.
+
+## 단순 선형 회귀
+
+[](https://youtu.be/e4c_UP2fSjg "초보자를 위한 머신러닝 - Scikit-learn을 사용한 선형 및 다항 회귀")
+
+> 🎥 위 이미지를 클릭하여 선형 및 다항 회귀에 대한 짧은 비디오 개요를 확인하세요.
+
+우리의 선형 회귀 모델을 훈련시키기 위해 **Scikit-learn** 라이브러리를 사용할 것입니다.
+
+```python
+from sklearn.linear_model import LinearRegression
+from sklearn.metrics import mean_squared_error
+from sklearn.model_selection import train_test_split
+```
+
+먼저 입력 값(특징)과 예상 출력(레이블)을 별도의 numpy 배열로 분리합니다:
+
+```python
+X = pie_pumpkins['DayOfYear'].to_numpy().reshape(-1,1)
+y = pie_pumpkins['Price']
+```
+
+> 선형 회귀 패키지가 입력 데이터를 올바르게 이해할 수 있도록 입력 데이터에 `reshape`를 수행해야 했습니다. 선형 회귀는 각 배열 행이 입력 특징 벡터에 해당하는 2D 배열을 입력으로 기대합니다. 우리의 경우, 하나의 입력만 있기 때문에 N×1 형상의 배열이 필요합니다. 여기서 N은 데이터셋 크기입니다.
+
+그런 다음 데이터를 훈련 및 테스트 데이터셋으로 분할하여 훈련 후 모델을 검증할 수 있습니다:
+
+```python
+X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+```
+
+마지막으로 실제 선형 회귀 모델을 훈련시키는 것은 단 두 줄의 코드로 가능합니다. `LinearRegression` object, and fit it to our data using the `fit` 메서드를 정의합니다:
+
+```python
+lin_reg = LinearRegression()
+lin_reg.fit(X_train,y_train)
+```
+
+`LinearRegression` object after `fit`-ting contains all the coefficients of the regression, which can be accessed using `.coef_` property. In our case, there is just one coefficient, which should be around `-0.017`. It means that prices seem to drop a bit with time, but not too much, around 2 cents per day. We can also access the intersection point of the regression with Y-axis using `lin_reg.intercept_` - it will be around `21`은 연초의 가격을 나타냅니다.
+
+모델의 정확성을 확인하려면 테스트 데이터셋에서 가격을 예측한 다음, 예측 값과 예상 값이 얼마나 가까운지 측정할 수 있습니다. 이는 모든 예상 값과 예측 값의 제곱 차이의 평균인 평균 제곱 오차(MSE) 메트릭을 사용하여 수행할 수 있습니다.
+
+```python
+pred = lin_reg.predict(X_test)
+
+mse = np.sqrt(mean_squared_error(y_test,pred))
+print(f'Mean error: {mse:3.3} ({mse/np.mean(pred)*100:3.3}%)')
+```
+
+우리의 오류는 약 2 포인트로, 약 17%입니다. 그다지 좋지 않습니다. 모델 품질의 또 다른 지표는 **결정 계수**로, 다음과 같이 얻을 수 있습니다:
+
+```python
+score = lin_reg.score(X_train,y_train)
+print('Model determination: ', score)
+```
+값이 0이면 모델이 입력 데이터를 고려하지 않고 *최악의 선형 예측기*로 작동하며, 이는 단순히 결과의 평균 값입니다. 값이 1이면 모든 예상 출력을 완벽하게 예측할 수 있음을 의미합니다. 우리의 경우 결정 계수는 약 0.06으로 상당히 낮습니다.
+
+테스트 데이터와 회귀선을 함께 플로팅하여 우리의 경우 회귀가 어떻게 작동하는지 더 잘 볼 수 있습니다:
+
+```python
+plt.scatter(X_test,y_test)
+plt.plot(X_test,pred)
+```
+
+
+
+## 다항 회귀
+
+다른 유형의 선형 회귀는 다항 회귀입니다. 변수 간에 선형 관계가 있을 때가 있지만 - 호박의 부피가 클수록 가격이 높아지는 경우 - 때로는 이러한 관계를 평면이나 직선으로 그릴 수 없습니다.
+
+✅ [다항 회귀를 사용할 수 있는 데이터의 더 많은 예시](https://online.stat.psu.edu/stat501/lesson/9/9.8)를 확인해 보세요.
+
+날짜와 가격 간의 관계를 다시 한 번 살펴보세요. 이 산점도가 반드시 직선으로 분석되어야 할 것처럼 보이나요? 가격이 변동할 수 있지 않나요? 이 경우 다항 회귀를 시도해 볼 수 있습니다.
+
+✅ 다항식은 하나 이상의 변수와 계수로 구성될 수 있는 수학적 표현입니다.
+
+다항 회귀는 비선형 데이터를 더 잘 맞추기 위해 곡선을 만듭니다. 우리의 경우, 입력 데이터에 제곱 `DayOfYear` 변수를 포함하면, 연도의 특정 시점에 최소값을 가지는 포물선 곡선으로 데이터를 맞출 수 있습니다.
+
+Scikit-learn에는 데이터 처리의 다양한 단계를 함께 결합할 수 있는 유용한 [파이프라인 API](https://scikit-learn.org/stable/modules/generated/sklearn.pipeline.make_pipeline.html?highlight=pipeline#sklearn.pipeline.make_pipeline)가 포함되어 있습니다. **파이프라인**은 **추정기**의 체인입니다. 우리의 경우, 모델에 다항 특징을 먼저 추가하고, 그 다음 회귀를 훈련시키는 파이프라인을 만들 것입니다:
+
+```python
+from sklearn.preprocessing import PolynomialFeatures
+from sklearn.pipeline import make_pipeline
+
+pipeline = make_pipeline(PolynomialFeatures(2), LinearRegression())
+
+pipeline.fit(X_train,y_train)
+```
+
+`PolynomialFeatures(2)` means that we will include all second-degree polynomials from the input data. In our case it will just mean `DayOfYear`2, but given two input variables X and Y, this will add X2, XY and Y2. We may also use higher degree polynomials if we want.
+
+Pipelines can be used in the same manner as the original `LinearRegression` object, i.e. we can `fit` the pipeline, and then use `predict` to get the prediction results. Here is the graph showing test data, and the approximation curve:
+
+
+
+Using Polynomial Regression, we can get slightly lower MSE and higher determination, but not significantly. We need to take into account other features!
+
+> You can see that the minimal pumpkin prices are observed somewhere around Halloween. How can you explain this?
+
+🎃 Congratulations, you just created a model that can help predict the price of pie pumpkins. You can probably repeat the same procedure for all pumpkin types, but that would be tedious. Let's learn now how to take pumpkin variety into account in our model!
+
+## Categorical Features
+
+In the ideal world, we want to be able to predict prices for different pumpkin varieties using the same model. However, the `Variety` column is somewhat different from columns like `Month`, because it contains non-numeric values. Such columns are called **categorical**.
+
+[](https://youtu.be/DYGliioIAE0 "ML for beginners - Categorical Feature Predictions with Linear Regression")
+
+> 🎥 Click the image above for a short video overview of using categorical features.
+
+Here you can see how average price depends on variety:
+
+
+
+To take variety into account, we first need to convert it to numeric form, or **encode** it. There are several way we can do it:
+
+* Simple **numeric encoding** will build a table of different varieties, and then replace the variety name by an index in that table. This is not the best idea for linear regression, because linear regression takes the actual numeric value of the index, and adds it to the result, multiplying by some coefficient. In our case, the relationship between the index number and the price is clearly non-linear, even if we make sure that indices are ordered in some specific way.
+* **One-hot encoding** will replace the `Variety` column by 4 different columns, one for each variety. Each column will contain `1` if the corresponding row is of a given variety, and `0` 그렇지 않으면. 이는 선형 회귀에서 네 개의 계수가 있으며, 각 호박 품종에 대해 하나씩, 해당 품종의 "시작 가격" (또는 "추가 가격")을 담당합니다.
+
+다음 코드는 품종을 원-핫 인코딩하는 방법을 보여줍니다:
+
+```python
+pd.get_dummies(new_pumpkins['Variety'])
+```
+
+ ID | FAIRYTALE | MINIATURE | MIXED HEIRLOOM VARIETIES | PIE TYPE
+----|-----------|-----------|--------------------------|----------
+70 | 0 | 0 | 0 | 1
+71 | 0 | 0 | 0 | 1
+... | ... | ... | ... | ...
+1738 | 0 | 1 | 0 | 0
+1739 | 0 | 1 | 0 | 0
+1740 | 0 | 1 | 0 | 0
+1741 | 0 | 1 | 0 | 0
+1742 | 0 | 1 | 0 | 0
+
+원-핫 인코딩된 품종을 사용하여 선형 회귀를 훈련시키려면 `X` and `y` 데이터를 올바르게 초기화하기만 하면 됩니다:
+
+```python
+X = pd.get_dummies(new_pumpkins['Variety'])
+y = new_pumpkins['Price']
+```
+
+나머지 코드는 선형 회귀를 훈련시키는 데 사용한 것과 동일합니다. 시도해 보면 평균 제곱 오차는 비슷하지만 결정 계수는 훨씬 높아집니다 (~77%). 더 정확한 예측을 위해서는 `Month` or `DayOfYear`. To get one large array of features, we can use `join`과 같은 숫자 특징뿐만 아니라 더 많은 범주형 특징을 고려할 수 있습니다:
+
+```python
+X = pd.get_dummies(new_pumpkins['Variety']) \
+ .join(new_pumpkins['Month']) \
+ .join(pd.get_dummies(new_pumpkins['City'])) \
+ .join(pd.get_dummies(new_pumpkins['Package']))
+y = new_pumpkins['Price']
+```
+
+여기에서는 `City` and `Package` 유형도 고려하여 MSE 2.84 (10%)와 결정 계수 0.94를 얻습니다!
+
+## 모든 것을 종합하여
+
+최고의 모델을 만들기 위해 위의 예제에서 사용한 결합된 (원-핫 인코딩된 범주형 + 숫자) 데이터를 사용하여 다항 회귀와 결합할 수 있습니다. 다음은 편의를 위해 전체 코드입니다:
+
+```python
+# set up training data
+X = pd.get_dummies(new_pumpkins['Variety']) \
+ .join(new_pumpkins['Month']) \
+ .join(pd.get_dummies(new_pumpkins['City'])) \
+ .join(pd.get_dummies(new_pumpkins['Package']))
+y = new_pumpkins['Price']
+
+# make train-test split
+X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+
+# setup and train the pipeline
+pipeline = make_pipeline(PolynomialFeatures(2), LinearRegression())
+pipeline.fit(X_train,y_train)
+
+# predict results for test data
+pred = pipeline.predict(X_test)
+
+# calculate MSE and determination
+mse = np.sqrt(mean_squared_error(y_test,pred))
+print(f'Mean error: {mse:3.3} ({mse/np.mean(pred)*100:3.3}%)')
+
+score = pipeline.score(X_train,y_train)
+print('Model determination: ', score)
+```
+
+이것은 거의 97%의 최고의 결정 계수를 제공하며, MSE=2.23 (~8% 예측 오류)을 제공합니다.
+
+| 모델 | MSE | 결정 계수 |
+|-------|-----|---------------|
+| `DayOfYear` Linear | 2.77 (17.2%) | 0.07 |
+| `DayOfYear` Polynomial | 2.73 (17.0%) | 0.08 |
+| `Variety` 선형 | 5.24 (19.7%) | 0.77 |
+| 모든 특징 선형 | 2.84 (10.5%) | 0.94 |
+| 모든 특징 다항 | 2.23 (8.25%) | 0.97 |
+
+🏆 잘하셨습니다! 한 강의에서 네 가지 회귀 모델을 만들었으며, 모델 품질을 97%까지 향상시켰습니다. 회귀에 대한 마지막 섹션에서는 범주를 결정하기 위해 로지스틱 회귀에 대해 배울 것입니다.
+
+---
+## 🚀도전
+
+이 노트북에서 여러 다른 변수를 테스트하여 상관 관계가 모델 정확도와 어떻게 대응하는지 확인하세요.
+
+## [강의 후 퀴즈](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/14/)
+
+## 복습 및 자습
+
+이번 강의에서는 선형 회귀에 대해 배웠습니다. 다른 중요한 회귀 유형도 있습니다. Stepwise, Ridge, Lasso 및 Elasticnet 기술에 대해 읽어보세요. 더 배우기 위해 좋은 과정은 [스탠포드 통계학 학습 과정](https://online.stanford.edu/courses/sohs-ystatslearning-statistical-learning)입니다.
+
+## 과제
+
+[모델 구축](assignment.md)
+
+**면책 조항**:
+이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하지만, 자동 번역에는 오류나 부정확성이 있을 수 있음을 유의하시기 바랍니다. 원어로 작성된 원본 문서를 권위 있는 자료로 간주해야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 우리는 책임을 지지 않습니다.
\ No newline at end of file
diff --git a/translations/ko/2-Regression/3-Linear/assignment.md b/translations/ko/2-Regression/3-Linear/assignment.md
new file mode 100644
index 000000000..d18b9b92c
--- /dev/null
+++ b/translations/ko/2-Regression/3-Linear/assignment.md
@@ -0,0 +1,14 @@
+# 회귀 모델 만들기
+
+## 지침
+
+이 수업에서는 선형 회귀와 다항 회귀를 사용하여 모델을 구축하는 방법을 배웠습니다. 이 지식을 사용하여 데이터셋을 찾거나 Scikit-learn의 내장된 세트를 사용하여 새로운 모델을 구축하세요. 왜 해당 기법을 선택했는지 노트북에 설명하고, 모델의 정확성을 보여주세요. 만약 정확하지 않다면, 그 이유를 설명하세요.
+
+## 평가 기준
+
+| 기준 | 모범적 | 적절함 | 개선 필요 |
+| ------- | --------------------------------------------------------- | -------------------------- | -------------------------------- |
+| | 완벽하게 문서화된 솔루션을 포함한 완전한 노트북을 제시함 | 솔루션이 불완전함 | 솔루션에 결함이나 버그가 있음 |
+
+**면책 조항**:
+이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하지만, 자동 번역에는 오류나 부정확성이 있을 수 있습니다. 원어로 작성된 원본 문서를 권위 있는 자료로 간주해야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 오역에 대해 당사는 책임을 지지 않습니다.
\ No newline at end of file
diff --git a/translations/ko/2-Regression/3-Linear/solution/Julia/README.md b/translations/ko/2-Regression/3-Linear/solution/Julia/README.md
new file mode 100644
index 000000000..545fb34d1
--- /dev/null
+++ b/translations/ko/2-Regression/3-Linear/solution/Julia/README.md
@@ -0,0 +1,4 @@
+
+
+**면책 조항**:
+이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 우리는 정확성을 위해 노력하지만, 자동 번역에는 오류나 부정확성이 포함될 수 있습니다. 원본 문서는 해당 언어로 작성된 문서를 권위 있는 출처로 간주해야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역을 사용함으로 인해 발생하는 오해나 오역에 대해 당사는 책임을 지지 않습니다.
\ No newline at end of file
diff --git a/translations/ko/2-Regression/4-Logistic/README.md b/translations/ko/2-Regression/4-Logistic/README.md
new file mode 100644
index 000000000..23e4dd65d
--- /dev/null
+++ b/translations/ko/2-Regression/4-Logistic/README.md
@@ -0,0 +1,370 @@
+# 카테고리 예측을 위한 로지스틱 회귀
+
+
+
+## [강의 전 퀴즈](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/15/)
+
+> ### [이 강의는 R에서도 사용할 수 있습니다!](../../../../2-Regression/4-Logistic/solution/R/lesson_4.html)
+
+## 소개
+
+이제 고전적인 머신러닝 기법 중 하나인 회귀에 대한 마지막 강의로, 로지스틱 회귀를 살펴보겠습니다. 이 기법을 사용하여 이진 카테고리를 예측하는 패턴을 발견할 수 있습니다. 이 사탕이 초콜릿인가 아닌가? 이 질병이 전염성이 있는가 없는가? 이 고객이 이 제품을 선택할 것인가 아닌가?
+
+이 강의에서는 다음을 배우게 됩니다:
+
+- 데이터 시각화를 위한 새로운 라이브러리
+- 로지스틱 회귀 기법
+
+✅ 이 [학습 모듈](https://docs.microsoft.com/learn/modules/train-evaluate-classification-models?WT.mc_id=academic-77952-leestott)을 통해 이 회귀 기법에 대한 이해를 심화하세요.
+
+## 전제 조건
+
+호박 데이터를 다루면서, 이제 우리가 작업할 수 있는 이진 카테고리 하나가 있다는 것을 알게 되었습니다: `Color`.
+
+이제 몇 가지 변수를 통해 _주어진 호박의 색상이 무엇일지_ (주황색 🎃 또는 흰색 👻) 예측하는 로지스틱 회귀 모델을 만들어 보겠습니다.
+
+> 왜 회귀에 관한 강의에서 이진 분류에 대해 이야기하고 있을까요? 단지 언어적 편의를 위해서입니다. 로지스틱 회귀는 [실제로는 분류 방법](https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression)이지만, 선형 기반입니다. 다음 강의 그룹에서 데이터를 분류하는 다른 방법에 대해 배워보세요.
+
+## 질문 정의하기
+
+우리의 목적을 위해, 이를 '흰색' 또는 '흰색이 아님'으로 표현하겠습니다. 데이터셋에 '줄무늬' 카테고리도 있지만, 인스턴스가 거의 없어서 사용하지 않겠습니다. 어쨌든 데이터셋에서 null 값을 제거하면 사라집니다.
+
+> 🎃 재미있는 사실, 우리는 때때로 흰색 호박을 '유령' 호박이라고 부릅니다. 조각하기가 쉽지 않아서 주황색 호박만큼 인기가 많지 않지만, 멋지게 생겼습니다! 그래서 질문을 '유령' 또는 '유령이 아님'으로 다시 표현할 수도 있습니다. 👻
+
+## 로지스틱 회귀에 대하여
+
+로지스틱 회귀는 이전에 배운 선형 회귀와 몇 가지 중요한 면에서 다릅니다.
+
+[](https://youtu.be/KpeCT6nEpBY "초보자를 위한 머신러닝 - 로지스틱 회귀 이해하기")
+
+> 🎥 위 이미지를 클릭하여 로지스틱 회귀에 대한 짧은 비디오 개요를 확인하세요.
+
+### 이진 분류
+
+로지스틱 회귀는 선형 회귀와 동일한 기능을 제공하지 않습니다. 전자는 이진 카테고리("흰색 또는 흰색이 아님")에 대한 예측을 제공하는 반면, 후자는 예를 들어 호박의 출처와 수확 시기를 기준으로 _가격이 얼마나 오를지_와 같은 연속적인 값을 예측할 수 있습니다.
+
+
+> 인포그래픽 by [Dasani Madipalli](https://twitter.com/dasani_decoded)
+
+### 다른 분류들
+
+다른 유형의 로지스틱 회귀도 있습니다. 다항 로지스틱 회귀와 서열 로지스틱 회귀가 있습니다:
+
+- **다항 로지스틱 회귀**, 여러 카테고리가 있는 경우 - "주황색, 흰색, 줄무늬".
+- **서열 로지스틱 회귀**, 순서가 있는 카테고리로, 결과를 논리적으로 정렬해야 하는 경우 유용합니다. 예를 들어, 호박을 크기(미니, 소, 중, 대, 특대, 초대형)로 정렬하는 경우.
+
+
+
+### 변수들이 반드시 상관관계가 있을 필요는 없음
+
+선형 회귀가 상관관계가 더 높은 변수들과 더 잘 작동했던 것을 기억하시나요? 로지스틱 회귀는 반대입니다 - 변수들이 일치할 필요가 없습니다. 이는 상관관계가 약한 이 데이터에 적합합니다.
+
+### 많은 깨끗한 데이터가 필요함
+
+로지스틱 회귀는 더 많은 데이터를 사용할수록 더 정확한 결과를 제공합니다. 우리의 작은 데이터셋은 이 작업에 최적화되어 있지 않으므로 유의하세요.
+
+[](https://youtu.be/B2X4H9vcXTs "초보자를 위한 머신러닝 - 로지스틱 회귀를 위한 데이터 분석 및 준비")
+
+> 🎥 위 이미지를 클릭하여 로지스틱 회귀를 위한 데이터 준비에 대한 짧은 비디오 개요를 확인하세요.
+
+✅ 로지스틱 회귀에 적합한 데이터 유형을 생각해 보세요.
+
+## 연습 - 데이터 정리하기
+
+먼저 데이터를 조금 정리하고, null 값을 제거하고 일부 열만 선택합니다:
+
+1. 다음 코드를 추가하세요:
+
+ ```python
+
+ columns_to_select = ['City Name','Package','Variety', 'Origin','Item Size', 'Color']
+ pumpkins = full_pumpkins.loc[:, columns_to_select]
+
+ pumpkins.dropna(inplace=True)
+ ```
+
+ 새로운 데이터프레임을 항상 확인할 수 있습니다:
+
+ ```python
+ pumpkins.info
+ ```
+
+### 시각화 - 카테고리 플롯
+
+이제 [시작 노트북](../../../../2-Regression/4-Logistic/notebook.ipynb)을 다시 열고 호박 데이터를 불러와서 몇 가지 변수를 포함하는 데이터셋을 유지하도록 정리했습니다. 이번에는 다른 라이브러리를 사용하여 데이터프레임을 시각화해 봅시다: [Seaborn](https://seaborn.pydata.org/index.html), 이는 이전에 사용한 Matplotlib 위에 구축되었습니다.
+
+Seaborn은 데이터를 시각화하는 멋진 방법을 제공합니다. 예를 들어, 각 `Variety`와 `Color`의 데이터 분포를 카테고리 플롯으로 비교할 수 있습니다.
+
+1. `catplot` function, using our pumpkin data `pumpkins`를 사용하여 각 호박 카테고리(주황색 또는 흰색)에 대한 색상 매핑을 지정하여 플롯을 만드세요:
+
+ ```python
+ import seaborn as sns
+
+ palette = {
+ 'ORANGE': 'orange',
+ 'WHITE': 'wheat',
+ }
+
+ sns.catplot(
+ data=pumpkins, y="Variety", hue="Color", kind="count",
+ palette=palette,
+ )
+ ```
+
+ 
+
+ 데이터를 관찰하여 Color 데이터가 Variety와 어떻게 관련되는지 확인할 수 있습니다.
+
+ ✅ 이 카테고리 플롯을 통해 어떤 흥미로운 탐색을 상상할 수 있습니까?
+
+### 데이터 전처리: 특성 및 라벨 인코딩
+호박 데이터셋의 모든 열은 문자열 값을 포함합니다. 카테고리 데이터를 다루는 것은 사람에게는 직관적이지만 기계에게는 그렇지 않습니다. 머신러닝 알고리즘은 숫자와 잘 작동합니다. 따라서 인코딩은 데이터 전처리 단계에서 매우 중요한 단계입니다. 이는 카테고리 데이터를 숫자 데이터로 변환하여 정보를 잃지 않도록 합니다. 좋은 인코딩은 좋은 모델을 구축하는 데 도움이 됩니다.
+
+특성 인코딩에는 두 가지 주요 유형의 인코더가 있습니다:
+
+1. 순서형 인코더: 이는 순서형 변수에 적합합니다. 순서형 변수는 데이터가 논리적 순서를 따르는 카테고리 변수입니다. 예를 들어, 데이터셋의 `Item Size` 열입니다. 각 카테고리가 열의 순서에 따라 숫자로 표현되도록 매핑을 만듭니다.
+
+ ```python
+ from sklearn.preprocessing import OrdinalEncoder
+
+ item_size_categories = [['sml', 'med', 'med-lge', 'lge', 'xlge', 'jbo', 'exjbo']]
+ ordinal_features = ['Item Size']
+ ordinal_encoder = OrdinalEncoder(categories=item_size_categories)
+ ```
+
+2. 카테고리 인코더: 이는 명목 변수에 적합합니다. 명목 변수는 데이터가 논리적 순서를 따르지 않는 카테고리 변수입니다. 데이터셋에서 `Item Size`를 제외한 모든 특성입니다. 이는 원-핫 인코딩으로, 각 카테고리가 이진 열로 표현됩니다: 인코딩된 변수는 호박이 해당 Variety에 속하면 1, 그렇지 않으면 0입니다.
+
+ ```python
+ from sklearn.preprocessing import OneHotEncoder
+
+ categorical_features = ['City Name', 'Package', 'Variety', 'Origin']
+ categorical_encoder = OneHotEncoder(sparse_output=False)
+ ```
+그런 다음, `ColumnTransformer`를 사용하여 여러 인코더를 하나의 단계로 결합하고 적절한 열에 적용합니다.
+
+```python
+ from sklearn.compose import ColumnTransformer
+
+ ct = ColumnTransformer(transformers=[
+ ('ord', ordinal_encoder, ordinal_features),
+ ('cat', categorical_encoder, categorical_features)
+ ])
+
+ ct.set_output(transform='pandas')
+ encoded_features = ct.fit_transform(pumpkins)
+```
+한편, 라벨을 인코딩하기 위해, scikit-learn의 `LabelEncoder` 클래스를 사용합니다. 이는 라벨을 0에서 n_classes-1(여기서는 0과 1) 사이의 값만 포함하도록 정규화하는 유틸리티 클래스입니다.
+
+```python
+ from sklearn.preprocessing import LabelEncoder
+
+ label_encoder = LabelEncoder()
+ encoded_label = label_encoder.fit_transform(pumpkins['Color'])
+```
+특성과 라벨을 인코딩한 후, 이를 새로운 데이터프레임 `encoded_pumpkins`에 병합할 수 있습니다.
+
+```python
+ encoded_pumpkins = encoded_features.assign(Color=encoded_label)
+```
+✅ `Item Size` column?
+
+### Analyse relationships between variables
+
+Now that we have pre-processed our data, we can analyse the relationships between the features and the label to grasp an idea of how well the model will be able to predict the label given the features.
+The best way to perform this kind of analysis is plotting the data. We'll be using again the Seaborn `catplot` function, to visualize the relationships between `Item Size`, `Variety`와 `Color`의 카테고리 플롯에 대해 순서형 인코더를 사용하는 장점은 무엇입니까? 데이터를 더 잘 플롯하기 위해 인코딩된 `Item Size` column and the unencoded `Variety` 열을 사용할 것입니다.
+
+```python
+ palette = {
+ 'ORANGE': 'orange',
+ 'WHITE': 'wheat',
+ }
+ pumpkins['Item Size'] = encoded_pumpkins['ord__Item Size']
+
+ g = sns.catplot(
+ data=pumpkins,
+ x="Item Size", y="Color", row='Variety',
+ kind="box", orient="h",
+ sharex=False, margin_titles=True,
+ height=1.8, aspect=4, palette=palette,
+ )
+ g.set(xlabel="Item Size", ylabel="").set(xlim=(0,6))
+ g.set_titles(row_template="{row_name}")
+```
+
+
+### 스웜 플롯 사용하기
+
+Color는 이진 카테고리(흰색 또는 흰색이 아님)이므로, 시각화를 위해 '특화된 접근 방식'이 필요합니다. 이 카테고리와 다른 변수 간의 관계를 시각화하는 다른 방법이 있습니다.
+
+Seaborn 플롯을 사용하여 변수를 나란히 시각화할 수 있습니다.
+
+1. 값의 분포를 보여주는 '스웜' 플롯을 시도해 보세요:
+
+ ```python
+ palette = {
+ 0: 'orange',
+ 1: 'wheat'
+ }
+ sns.swarmplot(x="Color", y="ord__Item Size", data=encoded_pumpkins, palette=palette)
+ ```
+
+ 
+
+**주의**: 위의 코드는 경고를 발생시킬 수 있습니다. Seaborn이 스웜 플롯에 많은 데이터 포인트를 나타내지 못하기 때문입니다. 가능한 해결책은 'size' 매개변수를 사용하여 마커의 크기를 줄이는 것입니다. 하지만 이는 플롯의 가독성에 영향을 미칠 수 있습니다.
+
+> **🧮 수학을 보여주세요**
+>
+> 로지스틱 회귀는 [시그모이드 함수](https://wikipedia.org/wiki/Sigmoid_function)를 사용하여 '최대 가능성' 개념에 의존합니다. 플롯에서 '시그모이드 함수'는 'S' 모양처럼 보입니다. 이는 값을 0과 1 사이로 매핑합니다. 곡선은 '로지스틱 곡선'이라고도 합니다. 공식은 다음과 같습니다:
+>
+> 
+>
+> 여기서 시그모이드의 중간점은 x의 0 지점에 위치하고, L은 곡선의 최대 값이며, k는 곡선의 가파름을 나타냅니다. 함수의 결과가 0.5보다 크면 해당 라벨은 이진 선택의 '1'로 분류됩니다. 그렇지 않으면 '0'으로 분류됩니다.
+
+## 모델 구축하기
+
+이진 분류를 찾기 위한 모델을 구축하는 것은 Scikit-learn에서 놀랍도록 간단합니다.
+
+[](https://youtu.be/MmZS2otPrQ8 "초보자를 위한 머신러닝 - 데이터 분류를 위한 로지스틱 회귀")
+
+> 🎥 위 이미지를 클릭하여 선형 회귀 모델 구축에 대한 짧은 비디오 개요를 확인하세요.
+
+1. 분류 모델에 사용할 변수를 선택하고 `train_test_split()`을 호출하여 학습 및 테스트 세트를 분할하세요:
+
+ ```python
+ from sklearn.model_selection import train_test_split
+
+ X = encoded_pumpkins[encoded_pumpkins.columns.difference(['Color'])]
+ y = encoded_pumpkins['Color']
+
+ X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+
+ ```
+
+2. 이제 학습 데이터를 사용하여 `fit()`을 호출하여 모델을 학습시키고 결과를 출력할 수 있습니다:
+
+ ```python
+ from sklearn.metrics import f1_score, classification_report
+ from sklearn.linear_model import LogisticRegression
+
+ model = LogisticRegression()
+ model.fit(X_train, y_train)
+ predictions = model.predict(X_test)
+
+ print(classification_report(y_test, predictions))
+ print('Predicted labels: ', predictions)
+ print('F1-score: ', f1_score(y_test, predictions))
+ ```
+
+ 모델의 점수를 확인하세요. 약 1000개의 데이터 행만 있는 것을 고려하면 나쁘지 않습니다:
+
+ ```output
+ precision recall f1-score support
+
+ 0 0.94 0.98 0.96 166
+ 1 0.85 0.67 0.75 33
+
+ accuracy 0.92 199
+ macro avg 0.89 0.82 0.85 199
+ weighted avg 0.92 0.92 0.92 199
+
+ Predicted labels: [0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 0
+ 0 0 0 0 0 1 0 1 0 0 1 0 0 0 0 0 1 0 1 0 1 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0
+ 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 1 0 0 0 0 0 0 0 1 0
+ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 1 1 0
+ 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1
+ 0 0 0 1 0 0 0 0 0 0 0 0 1 1]
+ F1-score: 0.7457627118644068
+ ```
+
+## 혼동 행렬을 통한 더 나은 이해
+
+위에서 출력한 항목을 통해 점수 보고서를 얻을 수 있지만, [혼동 행렬](https://scikit-learn.org/stable/modules/model_evaluation.html#confusion-matrix)을 사용하여 모델의 성능을 더 쉽게 이해할 수 있습니다.
+
+> 🎓 '[혼동 행렬](https://wikipedia.org/wiki/Confusion_matrix)'(또는 '오류 행렬')은 모델의 실제 vs. 거짓 긍정 및 부정을 나타내어 예측의 정확성을 측정하는 테이블입니다.
+
+1. 혼동 행렬을 사용하려면 `confusion_matrix()`를 호출하세요:
+
+ ```python
+ from sklearn.metrics import confusion_matrix
+ confusion_matrix(y_test, predictions)
+ ```
+
+ 모델의 혼동 행렬을 확인하세요:
+
+ ```output
+ array([[162, 4],
+ [ 11, 22]])
+ ```
+
+Scikit-learn에서 혼동 행렬의 행(축 0)은 실제 라벨이고 열(축 1)은 예측된 라벨입니다.
+
+| | 0 | 1 |
+| :---: | :---: | :---: |
+| 0 | TN | FP |
+| 1 | FN | TP |
+
+여기서 무슨 일이 일어나고 있는지 봅시다. 모델이 두 개의 이진 카테고리, '흰색'과 '흰색이 아님' 사이에서 호박을 분류하도록 요청받았다고 가정해 봅시다.
+
+- 모델이 호박을 흰색이 아니라고 예측하고 실제로도 '흰색이 아님' 카테고리에 속하면 이를 참 부정이라고 부릅니다. 이는 왼쪽 상단 숫자로 표시됩니다.
+- 모델이 호박을 흰색이라고 예측하고 실제로는 '흰색이 아님' 카테고리에 속하면 이를 거짓 부정이라고 부릅니다. 이는 왼쪽 하단 숫자로 표시됩니다.
+- 모델이 호박을 흰색이 아니라고 예측하고 실제로는 '흰색' 카테고리에 속하면 이를 거짓 긍정이라고 부릅니다. 이는 오른쪽 상단 숫자로 표시됩니다.
+- 모델이 호박을 흰색이라고 예측하고 실제로도 '흰색' 카테고리에 속하면 이를 참 긍정이라고 부릅니다. 이는 오른쪽 하단 숫자로 표시됩니다.
+
+참 긍정과 참 부정의 숫자가 많고 거짓 긍정과 거짓 부정의 숫자가 적을수록 모델이 더 잘 작동한다고 할 수 있습니다.
+
+혼동 행렬이 정확도와 재현율과 어떻게 관련이 있는지 봅시다. 위에서 출력된 분류 보고서는 정확도(0.85)와 재현율(0.67)을 보여줍니다.
+
+정확도 = tp / (tp + fp) = 22 / (22 + 4) = 0.8461538461538461
+
+재현율 = tp / (tp + fn) = 22 / (22 + 11) = 0.6666666666666666
+
+✅ Q: 혼동 행렬에 따르면 모델의 성능은 어땠나요? A: 나쁘지 않습니다. 참 부정의 숫자가 많지만 거짓 부정도 몇 개 있습니다.
+
+혼동 행렬의 TP/TN과 FP/FN 매핑을 통해 앞서 봤던 용어를 다시 살펴봅시다:
+
+🎓 정확도: TP/(TP + FP) 검색된 인스턴스 중 관련 인스턴스의 비율 (예: 잘 라벨된 라벨)
+
+🎓 재현율: TP/(TP + FN) 검색된 관련 인스턴스의 비율, 잘 라벨된지 여부와 관계없이
+
+🎓 f1-score: (2 * 정확도 * 재현율)/(정확도 + 재현율) 정확도와 재현율의 가중 평균, 최상은 1, 최악은 0
+
+🎓 지원: 검색된 각 라벨의 발생 수
+
+🎓 정확도: (TP + TN)/(TP + TN + FP + FN) 샘플에 대해 정확하게 예측된 라벨의 비율.
+
+🎓 매크로 평균: 라벨 불균형을 고려하지 않고 각 라벨에 대한 비가중 평균 메트릭 계산.
+
+🎓 가중 평균: 각 라벨에 대한 비율을 고려하여 라벨 불균형을 고려하여 지원에 따라 가중치를 부여한 평균 메트릭 계산.
+
+✅ 거짓 부정의 수를 줄이려면 어떤 메트릭을 주시해야 할지 생각해 보세요.
+
+## 이 모델의 ROC 곡선 시각화
+
+[](https://youtu.be/GApO575jTA0 "초보자를 위한 머신러닝 - ROC 곡선을 통한 로지스틱 회귀 성능 분석")
+
+> 🎥 위 이미지를 클릭하여 ROC 곡선에 대한 짧은 비디오 개요를 확인하세요.
+
+이제 'ROC' 곡선을 시각화해 봅시다:
+
+```python
+from sklearn.metrics import roc_curve, roc_auc_score
+import matplotlib
+import matplotlib.pyplot as plt
+%matplotlib inline
+
+y_scores = model.predict_proba(X_test)
+fpr, tpr, thresholds = roc_curve(y_test, y_scores[:,1])
+
+fig = plt.figure(figsize=(6, 6))
+plt.plot([0, 1], [0, 1], 'k--')
+plt.plot(fpr, tpr)
+plt.xlabel('False Positive Rate')
+plt.ylabel('True Positive Rate')
+plt.title('ROC Curve')
+plt.show()
+```
+
+Matplotlib을 사용하여 모델의 [수신 운영 특성](https://scikit-learn.org/stable/auto_examples/model_selection/plot_roc
+
+**면책 조항**:
+이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있지만 자동 번역에는 오류나 부정확성이 있을 수 있습니다. 원본 문서를 해당 언어로 작성된 상태에서 권위 있는 출처로 간주해야 합니다. 중요한 정보의 경우, 전문 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 오역에 대해 당사는 책임을 지지 않습니다.
\ No newline at end of file
diff --git a/translations/ko/2-Regression/4-Logistic/assignment.md b/translations/ko/2-Regression/4-Logistic/assignment.md
new file mode 100644
index 000000000..540d7ed49
--- /dev/null
+++ b/translations/ko/2-Regression/4-Logistic/assignment.md
@@ -0,0 +1,14 @@
+# 회귀 재시도
+
+## 지침
+
+강의에서 호박 데이터의 일부를 사용했습니다. 이제 원래 데이터를 다시 사용하여 모든 데이터를 정리하고 표준화하여 로지스틱 회귀 모델을 구축해 보세요.
+
+## 평가 기준
+
+| 기준 | 우수함 | 적절함 | 개선 필요 |
+| --------- | --------------------------------------------------------------------- | ----------------------------------------------------------- | -------------------------------------------------------- |
+| | 잘 설명되고 성능이 좋은 모델이 포함된 노트북을 제출함 | 최소한의 성능을 발휘하는 모델이 포함된 노트북을 제출함 | 성능이 떨어지는 모델이 포함된 노트북을 제출하거나 없음 |
+
+**면책 조항**:
+이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있지만, 자동 번역에는 오류나 부정확성이 포함될 수 있습니다. 원어로 작성된 원본 문서를 권위 있는 자료로 간주해야 합니다. 중요한 정보의 경우, 전문 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 오역에 대해 당사는 책임을 지지 않습니다.
\ No newline at end of file
diff --git a/translations/ko/2-Regression/4-Logistic/solution/Julia/README.md b/translations/ko/2-Regression/4-Logistic/solution/Julia/README.md
new file mode 100644
index 000000000..d7e19ebfa
--- /dev/null
+++ b/translations/ko/2-Regression/4-Logistic/solution/Julia/README.md
@@ -0,0 +1,4 @@
+
+
+**면책 조항**:
+이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하지만, 자동 번역에는 오류나 부정확한 내용이 포함될 수 있습니다. 원본 문서의 모국어 버전을 권위 있는 자료로 간주해야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역의 사용으로 인해 발생하는 오해나 오역에 대해서는 책임을 지지 않습니다.
\ No newline at end of file
diff --git a/translations/ko/2-Regression/README.md b/translations/ko/2-Regression/README.md
new file mode 100644
index 000000000..15c6dd7f9
--- /dev/null
+++ b/translations/ko/2-Regression/README.md
@@ -0,0 +1,43 @@
+# 머신 러닝을 위한 회귀 모델
+## 지역 주제: 북미의 호박 가격을 위한 회귀 모델 🎃
+
+북미에서는 호박을 할로윈 때 무서운 얼굴로 조각하는 경우가 많습니다. 이 매력적인 채소에 대해 더 알아봅시다!
+
+
+> 사진 출처: Beth Teutschmann on Unsplash
+
+## 학습 내용
+
+[](https://youtu.be/5QnJtDad4iQ "Regression Introduction video - Click to Watch!")
+> 🎥 위 이미지를 클릭하면 이 강의의 간단한 소개 영상을 볼 수 있습니다
+
+이 섹션의 강의는 머신 러닝의 맥락에서 회귀의 유형을 다룹니다. 회귀 모델은 변수 간의 _관계_를 결정하는 데 도움을 줄 수 있습니다. 이 유형의 모델은 길이, 온도, 나이와 같은 값을 예측할 수 있으며, 데이터 포인트를 분석하면서 변수 간의 관계를 밝혀냅니다.
+
+이 시리즈의 강의에서는 선형 회귀와 로지스틱 회귀의 차이점과 어느 상황에서 어느 것을 선호해야 하는지 알아볼 것입니다.
+
+[](https://youtu.be/XA3OaoW86R8 "ML for beginners - Introduction to Regression models for Machine Learning")
+
+> 🎥 위 이미지를 클릭하면 회귀 모델을 소개하는 짧은 영상을 볼 수 있습니다.
+
+이 강의 그룹에서는 머신 러닝 작업을 시작하기 위한 설정 방법, 특히 데이터 과학자들이 주로 사용하는 노트북을 관리하기 위한 Visual Studio Code 설정 방법을 배웁니다. Scikit-learn이라는 머신 러닝 라이브러리를 발견하고, 이 장에서는 회귀 모델에 초점을 맞춘 첫 번째 모델을 구축할 것입니다.
+
+> 회귀 모델 작업을 배우는 데 도움이 되는 유용한 로우코드 도구들이 있습니다. [Azure ML을 사용해 보세요](https://docs.microsoft.com/learn/modules/create-regression-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott)
+
+### 강의 목록
+
+1. [필수 도구들](1-Tools/README.md)
+2. [데이터 관리](2-Data/README.md)
+3. [선형 및 다항 회귀](3-Linear/README.md)
+4. [로지스틱 회귀](4-Logistic/README.md)
+
+---
+### 크레딧
+
+"회귀를 이용한 머신 러닝"은 [Jen Looper](https://twitter.com/jenlooper)가 ♥️를 담아 작성했습니다.
+
+♥️ 퀴즈 기여자들: [Muhammad Sakib Khan Inan](https://twitter.com/Sakibinan) 및 [Ornella Altunyan](https://twitter.com/ornelladotcom)
+
+호박 데이터셋은 [Kaggle의 이 프로젝트](https://www.kaggle.com/usda/a-year-of-pumpkin-prices)에서 제안되었으며, 데이터는 미국 농무부에서 배포한 [특수 작물 터미널 시장 표준 보고서](https://www.marketnews.usda.gov/mnp/fv-report-config-step1?type=termPrice)에서 가져왔습니다. 우리는 분포를 정규화하기 위해 품종에 따라 색상에 대한 몇 가지 포인트를 추가했습니다. 이 데이터는 공공 도메인에 있습니다.
+
+**면책 조항**:
+이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 우리는 정확성을 위해 노력하지만, 자동 번역에는 오류나 부정확성이 포함될 수 있음을 유의하시기 바랍니다. 원본 문서의 원어를 권위 있는 출처로 간주해야 합니다. 중요한 정보에 대해서는 전문적인 인간 번역을 권장합니다. 이 번역의 사용으로 인해 발생하는 오해나 오역에 대해 당사는 책임을 지지 않습니다.
\ No newline at end of file
diff --git a/translations/ko/3-Web-App/1-Web-App/README.md b/translations/ko/3-Web-App/1-Web-App/README.md
new file mode 100644
index 000000000..93e099be4
--- /dev/null
+++ b/translations/ko/3-Web-App/1-Web-App/README.md
@@ -0,0 +1,348 @@
+# 웹 앱을 만들어 ML 모델 사용하기
+
+이번 강의에서는 _지난 한 세기 동안의 UFO 목격_ 데이터 세트를 사용하여 ML 모델을 훈련할 것입니다. 이 데이터는 NUFORC의 데이터베이스에서 가져왔습니다.
+
+배울 내용:
+
+- 훈련된 모델을 '피클'하는 방법
+- Flask 앱에서 그 모델을 사용하는 방법
+
+노트북을 사용하여 데이터를 정리하고 모델을 훈련하는 방법을 계속 배우겠지만, 이를 한 단계 더 나아가 웹 앱에서 모델을 사용하는 방법도 탐구할 것입니다.
+
+이를 위해 Flask를 사용하여 웹 앱을 구축해야 합니다.
+
+## [강의 전 퀴즈](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/17/)
+
+## 앱 구축하기
+
+머신 러닝 모델을 사용하는 웹 앱을 구축하는 방법에는 여러 가지가 있습니다. 웹 아키텍처는 모델 훈련 방식에 영향을 미칠 수 있습니다. 데이터 과학 그룹이 훈련한 모델을 앱에서 사용해야 하는 상황을 상상해 보세요.
+
+### 고려 사항
+
+다음과 같은 여러 질문을 해야 합니다:
+
+- **웹 앱인가 모바일 앱인가?** 모바일 앱을 구축하거나 IoT 환경에서 모델을 사용해야 하는 경우, [TensorFlow Lite](https://www.tensorflow.org/lite/)를 사용하여 Android 또는 iOS 앱에서 모델을 사용할 수 있습니다.
+- **모델은 어디에 위치할 것인가?** 클라우드에 있을 것인가, 로컬에 있을 것인가?
+- **오프라인 지원.** 앱이 오프라인에서도 작동해야 하는가?
+- **모델을 훈련하는 데 사용된 기술은 무엇인가?** 선택한 기술이 사용해야 할 도구에 영향을 미칠 수 있습니다.
+ - **TensorFlow 사용.** 예를 들어 TensorFlow를 사용하여 모델을 훈련하는 경우, [TensorFlow.js](https://www.tensorflow.org/js/)를 사용하여 웹 앱에서 사용할 수 있도록 TensorFlow 모델을 변환할 수 있습니다.
+ - **PyTorch 사용.** [PyTorch](https://pytorch.org/)와 같은 라이브러리를 사용하여 모델을 구축하는 경우, [ONNX](https://onnx.ai/) (Open Neural Network Exchange) 형식으로 내보내 JavaScript 웹 앱에서 사용할 수 있는 [Onnx Runtime](https://www.onnxruntime.ai/)을 사용할 수 있습니다. 이 옵션은 Scikit-learn으로 훈련된 모델에 대해 추후 강의에서 탐구할 것입니다.
+ - **Lobe.ai 또는 Azure Custom Vision 사용.** [Lobe.ai](https://lobe.ai/) 또는 [Azure Custom Vision](https://azure.microsoft.com/services/cognitive-services/custom-vision-service/?WT.mc_id=academic-77952-leestott)과 같은 ML SaaS(Software as a Service) 시스템을 사용하여 모델을 훈련하는 경우, 이 소프트웨어는 모델을 다양한 플랫폼에 내보내는 방법을 제공합니다. 여기에는 온라인 애플리케이션에서 클라우드에서 쿼리할 수 있는 맞춤형 API를 구축하는 것도 포함됩니다.
+
+또한 웹 브라우저에서 직접 모델을 훈련할 수 있는 전체 Flask 웹 앱을 구축할 수도 있습니다. 이는 JavaScript 환경에서 TensorFlow.js를 사용하여 수행할 수 있습니다.
+
+우리의 목적을 위해, Python 기반 노트북을 사용하고 있으므로, 훈련된 모델을 이러한 노트북에서 Python으로 구축된 웹 앱에서 읽을 수 있는 형식으로 내보내는 단계를 탐구해 보겠습니다.
+
+## 도구
+
+이 작업을 위해 Flask와 Pickle 두 가지 도구가 필요합니다. 둘 다 Python에서 실행됩니다.
+
+✅ [Flask](https://palletsprojects.com/p/flask/)란? Flask는 그 창시자들에 의해 '마이크로 프레임워크'로 정의되며, Python을 사용하여 웹 페이지를 구축하는 템플릿 엔진을 포함한 웹 프레임워크의 기본 기능을 제공합니다. Flask로 구축하는 연습을 위해 [이 학습 모듈](https://docs.microsoft.com/learn/modules/python-flask-build-ai-web-app?WT.mc_id=academic-77952-leestott)을 살펴보세요.
+
+✅ [Pickle](https://docs.python.org/3/library/pickle.html)이란? Pickle 🥒은 Python 객체 구조를 직렬화하고 역직렬화하는 Python 모듈입니다. 모델을 '피클'할 때, 구조를 웹에서 사용할 수 있도록 직렬화하거나 평탄화합니다. 주의하세요: 피클은 본질적으로 안전하지 않으므로 파일을 '언피클'하라는 메시지가 표시되면 주의해야 합니다. 피클된 파일의 접미사는 `.pkl`입니다.
+
+## 연습 - 데이터 정리하기
+
+이번 강의에서는 [NUFORC](https://nuforc.org) (National UFO Reporting Center)에서 수집한 80,000건의 UFO 목격 데이터를 사용합니다. 이 데이터에는 흥미로운 UFO 목격 설명이 포함되어 있습니다. 예를 들어:
+
+- **긴 설명 예시.** "한 남자가 밤에 풀밭에 빛나는 빔에서 나와 텍사스 인스트루먼트 주차장으로 달려갑니다".
+- **짧은 설명 예시.** "불빛이 우리를 쫓아왔습니다".
+
+[ufos.csv](../../../../3-Web-App/1-Web-App/data/ufos.csv) 스프레드시트에는 목격이 발생한 `city`, `state`, `country`에 대한 열과 객체의 `shape`, `latitude`, `longitude`가 포함되어 있습니다.
+
+이번 강의에 포함된 빈 [노트북](../../../../3-Web-App/1-Web-App/notebook.ipynb)에서:
+
+1. 이전 강의에서 했던 것처럼 `pandas`, `matplotlib`, `numpy`을 가져오고 ufos 스프레드시트를 가져옵니다. 샘플 데이터 세트를 확인할 수 있습니다:
+
+ ```python
+ import pandas as pd
+ import numpy as np
+
+ ufos = pd.read_csv('./data/ufos.csv')
+ ufos.head()
+ ```
+
+1. ufos 데이터를 새 제목으로 작은 데이터프레임으로 변환합니다. `Country` 필드의 고유 값을 확인합니다.
+
+ ```python
+ ufos = pd.DataFrame({'Seconds': ufos['duration (seconds)'], 'Country': ufos['country'],'Latitude': ufos['latitude'],'Longitude': ufos['longitude']})
+
+ ufos.Country.unique()
+ ```
+
+1. 이제 필요한 데이터 양을 줄이기 위해 null 값을 삭제하고 1-60초 사이의 목격만 가져옵니다:
+
+ ```python
+ ufos.dropna(inplace=True)
+
+ ufos = ufos[(ufos['Seconds'] >= 1) & (ufos['Seconds'] <= 60)]
+
+ ufos.info()
+ ```
+
+1. Scikit-learn의 `LabelEncoder` 라이브러리를 가져와 국가의 텍스트 값을 숫자로 변환합니다:
+
+ ✅ LabelEncoder는 데이터를 알파벳 순서로 인코딩합니다
+
+ ```python
+ from sklearn.preprocessing import LabelEncoder
+
+ ufos['Country'] = LabelEncoder().fit_transform(ufos['Country'])
+
+ ufos.head()
+ ```
+
+ 데이터는 다음과 같아야 합니다:
+
+ ```output
+ Seconds Country Latitude Longitude
+ 2 20.0 3 53.200000 -2.916667
+ 3 20.0 4 28.978333 -96.645833
+ 14 30.0 4 35.823889 -80.253611
+ 23 60.0 4 45.582778 -122.352222
+ 24 3.0 3 51.783333 -0.783333
+ ```
+
+## 연습 - 모델 구축하기
+
+이제 데이터를 훈련 및 테스트 그룹으로 나누어 모델을 훈련할 준비를 할 수 있습니다.
+
+1. 훈련할 세 가지 특징을 X 벡터로 선택하고, y 벡터는 `Country`. You want to be able to input `Seconds`, `Latitude` and `Longitude`를 선택하여 국가 ID를 반환합니다.
+
+ ```python
+ from sklearn.model_selection import train_test_split
+
+ Selected_features = ['Seconds','Latitude','Longitude']
+
+ X = ufos[Selected_features]
+ y = ufos['Country']
+
+ X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+ ```
+
+1. 로지스틱 회귀를 사용하여 모델을 훈련합니다:
+
+ ```python
+ from sklearn.metrics import accuracy_score, classification_report
+ from sklearn.linear_model import LogisticRegression
+ model = LogisticRegression()
+ model.fit(X_train, y_train)
+ predictions = model.predict(X_test)
+
+ print(classification_report(y_test, predictions))
+ print('Predicted labels: ', predictions)
+ print('Accuracy: ', accuracy_score(y_test, predictions))
+ ```
+
+정확도는 **약 95%**로 나쁘지 않습니다. 이는 `Country` and `Latitude/Longitude` correlate.
+
+The model you created isn't very revolutionary as you should be able to infer a `Country` from its `Latitude` and `Longitude` 때문입니다. 하지만, 정리한 원시 데이터에서 훈련하고, 내보낸 후 이 모델을 웹 앱에서 사용하는 연습을 하는 것은 좋은 경험입니다.
+
+## 연습 - 모델 '피클'하기
+
+이제 모델을 _피클_할 시간입니다! 몇 줄의 코드로 이를 수행할 수 있습니다. _피클_된 후에는 피클된 모델을 로드하고 초, 위도, 경도 값을 포함하는 샘플 데이터 배열에 대해 테스트합니다.
+
+```python
+import pickle
+model_filename = 'ufo-model.pkl'
+pickle.dump(model, open(model_filename,'wb'))
+
+model = pickle.load(open('ufo-model.pkl','rb'))
+print(model.predict([[50,44,-12]]))
+```
+
+모델은 **'3'**을 반환합니다. 이는 영국의 국가 코드입니다. 놀랍군요! 👽
+
+## 연습 - Flask 앱 구축하기
+
+이제 모델을 호출하고 유사한 결과를 반환하는 Flask 앱을 구축할 수 있습니다. 더 시각적으로 보기 좋게 만들 것입니다.
+
+1. _notebook.ipynb_ 파일이 있는 위치에 **web-app** 폴더를 만듭니다. 여기에는 _ufo-model.pkl_ 파일이 있습니다.
+
+1. 그 폴더에 세 개의 폴더를 더 만듭니다: **static** 폴더와 그 안에 **css** 폴더, 그리고 **templates** 폴더. 이제 다음과 같은 파일과 디렉토리가 있어야 합니다:
+
+ ```output
+ web-app/
+ static/
+ css/
+ templates/
+ notebook.ipynb
+ ufo-model.pkl
+ ```
+
+ ✅ 완성된 앱의 모습을 보려면 솔루션 폴더를 참조하세요
+
+1. _web-app_ 폴더에서 첫 번째로 생성할 파일은 **requirements.txt** 파일입니다. JavaScript 앱의 _package.json_과 같이 이 파일은 앱에 필요한 종속성을 나열합니다. **requirements.txt**에 다음 줄을 추가합니다:
+
+ ```text
+ scikit-learn
+ pandas
+ numpy
+ flask
+ ```
+
+1. 이제 _web-app_으로 이동하여 이 파일을 실행합니다:
+
+ ```bash
+ cd web-app
+ ```
+
+1. 터미널에서 `pip install`을 입력하여 _requirements.txt_에 나열된 라이브러리를 설치합니다:
+
+ ```bash
+ pip install -r requirements.txt
+ ```
+
+1. 이제 앱을 완성하기 위해 세 개의 파일을 더 생성할 준비가 되었습니다:
+
+ 1. 루트에 **app.py**를 생성합니다.
+ 2. _templates_ 디렉토리에 **index.html**을 생성합니다.
+ 3. _static/css_ 디렉토리에 **styles.css**를 생성합니다.
+
+1. _styles.css_ 파일에 몇 가지 스타일을 추가합니다:
+
+ ```css
+ body {
+ width: 100%;
+ height: 100%;
+ font-family: 'Helvetica';
+ background: black;
+ color: #fff;
+ text-align: center;
+ letter-spacing: 1.4px;
+ font-size: 30px;
+ }
+
+ input {
+ min-width: 150px;
+ }
+
+ .grid {
+ width: 300px;
+ border: 1px solid #2d2d2d;
+ display: grid;
+ justify-content: center;
+ margin: 20px auto;
+ }
+
+ .box {
+ color: #fff;
+ background: #2d2d2d;
+ padding: 12px;
+ display: inline-block;
+ }
+ ```
+
+1. 다음으로 _index.html_ 파일을 작성합니다:
+
+ ```html
+
+
+
+
+ 🛸 UFO Appearance Prediction! 👽 + + + + ++ ++ + + + ``` + + 이 파일의 템플릿 구문을 살펴보세요. 예측 텍스트와 같은 변수가 제공될 때 `{{}}`. There's also a form that posts a prediction to the `/predict` route. + + Finally, you're ready to build the python file that drives the consumption of the model and the display of predictions: + +1. In `app.py`에 추가합니다: + + ```python + import numpy as np + from flask import Flask, request, render_template + import pickle + + app = Flask(__name__) + + model = pickle.load(open("./ufo-model.pkl", "rb")) + + + @app.route("/") + def home(): + return render_template("index.html") + + + @app.route("/predict", methods=["POST"]) + def predict(): + + int_features = [int(x) for x in request.form.values()] + final_features = [np.array(int_features)] + prediction = model.predict(final_features) + + output = prediction[0] + + countries = ["Australia", "Canada", "Germany", "UK", "US"] + + return render_template( + "index.html", prediction_text="Likely country: {}".format(countries[output]) + ) + + + if __name__ == "__main__": + app.run(debug=True) + ``` + + > 💡 팁: [`debug=True`](https://www.askpython.com/python-modules/flask/flask-debug-mode) while running the web app using Flask, any changes you make to your application will be reflected immediately without the need to restart the server. Beware! Don't enable this mode in a production app. + +If you run `python app.py` or `python3 app.py` - your web server starts up, locally, and you can fill out a short form to get an answer to your burning question about where UFOs have been sighted! + +Before doing that, take a look at the parts of `app.py`: + +1. First, dependencies are loaded and the app starts. +1. Then, the model is imported. +1. Then, index.html is rendered on the home route. + +On the `/predict` route, several things happen when the form is posted: + +1. The form variables are gathered and converted to a numpy array. They are then sent to the model and a prediction is returned. +2. The Countries that we want displayed are re-rendered as readable text from their predicted country code, and that value is sent back to index.html to be rendered in the template. + +Using a model this way, with Flask and a pickled model, is relatively straightforward. The hardest thing is to understand what shape the data is that must be sent to the model to get a prediction. That all depends on how the model was trained. This one has three data points to be input in order to get a prediction. + +In a professional setting, you can see how good communication is necessary between the folks who train the model and those who consume it in a web or mobile app. In our case, it's only one person, you! + +--- + +## 🚀 Challenge + +Instead of working in a notebook and importing the model to the Flask app, you could train the model right within the Flask app! Try converting your Python code in the notebook, perhaps after your data is cleaned, to train the model from within the app on a route called `train`. 이 방법을 추구할 때의 장단점은 무엇인가요? + +## [강의 후 퀴즈](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/18/) + +## 복습 및 자습 + +ML 모델을 사용하는 웹 앱을 구축하는 방법은 여러 가지가 있습니다. JavaScript 또는 Python을 사용하여 머신 러닝을 활용하는 웹 앱을 구축할 수 있는 방법을 목록으로 만들어 보세요. 아키텍처를 고려해 보세요: 모델이 앱에 있어야 하나요, 아니면 클라우드에 있어야 하나요? 후자의 경우, 어떻게 접근할 수 있나요? 적용된 ML 웹 솔루션의 아키텍처 모델을 그려보세요. + +## 과제 + +[다른 모델 시도해보기](assignment.md) + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있지만, 자동 번역에는 오류나 부정확성이 있을 수 있습니다. 원어로 작성된 원본 문서를 권위 있는 자료로 간주해야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역의 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/3-Web-App/1-Web-App/assignment.md b/translations/ko/3-Web-App/1-Web-App/assignment.md new file mode 100644 index 000000000..66e6bc91d --- /dev/null +++ b/translations/ko/3-Web-App/1-Web-App/assignment.md @@ -0,0 +1,14 @@ +# 다른 모델 시도하기 + +## 지침 + +이제 훈련된 회귀 모델을 사용하여 하나의 웹 앱을 구축했으므로, 이전 회귀 수업에서 사용한 모델 중 하나를 사용하여 이 웹 앱을 다시 만들어보세요. 스타일을 유지하거나 호박 데이터를 반영하도록 다르게 디자인할 수 있습니다. 모델의 훈련 방법을 반영하도록 입력을 변경하는 것을 잊지 마세요. + +## 평가 기준 + +| 기준 | 모범적 | 적절함 | 개선 필요 | +| -------------------------- | ------------------------------------------------------ | ------------------------------------------------------ | -------------------------------------- | +| 웹 앱 동작 여부 | 웹 앱이 예상대로 실행되고 클라우드에 배포됨 | 웹 앱에 결함이 있거나 예상치 못한 결과를 보임 | 웹 앱이 제대로 작동하지 않음 | + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하지만, 자동 번역에는 오류나 부정확성이 있을 수 있습니다. 원본 문서의 모국어 버전이 권위 있는 소스로 간주되어야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/3-Web-App/README.md b/translations/ko/3-Web-App/README.md new file mode 100644 index 000000000..2b236db15 --- /dev/null +++ b/translations/ko/3-Web-App/README.md @@ -0,0 +1,24 @@ +# 웹 앱을 구축하여 ML 모델 사용하기 + +이 커리큘럼의 이 섹션에서는 적용된 머신러닝 주제에 대해 소개합니다: Scikit-learn 모델을 파일로 저장하여 웹 애플리케이션 내에서 예측에 사용할 수 있는 방법입니다. 모델을 저장한 후에는 Flask로 구축된 웹 앱에서 이를 사용하는 방법을 배우게 됩니다. 먼저 UFO 목격에 관한 데이터를 사용하여 모델을 생성합니다! 그런 다음, 위도와 경도 값을 입력하여 어느 나라에서 UFO를 목격했는지 예측할 수 있는 웹 앱을 구축합니다. + + + +Michael Herren의 사진, Unsplash에서 제공 + +## 레슨 + +1. [웹 앱 구축하기](1-Web-App/README.md) + +## 크레딧 + +"웹 앱 구축하기"는 [Jen Looper](https://twitter.com/jenlooper)의 ♥️와 함께 작성되었습니다. + +♥️ 퀴즈는 Rohan Raj가 작성했습니다. + +데이터셋은 [Kaggle](https://www.kaggle.com/NUFORC/ufo-sightings)에서 제공되었습니다. + +웹 앱 아키텍처는 부분적으로 [이 기사](https://towardsdatascience.com/how-to-easily-deploy-machine-learning-models-using-flask-b95af8fe34d4)와 Abhinav Sagar의 [이 저장소](https://github.com/abhinavsagar/machine-learning-deployment)의 제안을 참고했습니다. + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하지만, 자동 번역에는 오류나 부정확성이 있을 수 있습니다. 원본 문서의 모국어 버전이 권위 있는 소스로 간주되어야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/4-Classification/1-Introduction/README.md b/translations/ko/4-Classification/1-Introduction/README.md new file mode 100644 index 000000000..2890d9ba4 --- /dev/null +++ b/translations/ko/4-Classification/1-Introduction/README.md @@ -0,0 +1,302 @@ +# 분류 소개 + +이 네 가지 강의에서, 여러분은 고전적인 머신 러닝의 근본적인 초점인 _분류_를 탐구할 것입니다. 아시아와 인도의 모든 훌륭한 요리에 관한 데이터셋을 사용하여 다양한 분류 알고리즘을 다룰 것입니다. 배가 고프시길 바랍니다! + + + +> 이 강의에서 범아시아 요리를 축하하세요! 이미지 제공: [Jen Looper](https://twitter.com/jenlooper) + +분류는 회귀 기법과 많은 공통점을 가진 [지도 학습](https://wikipedia.org/wiki/Supervised_learning)의 한 형태입니다. 머신 러닝이 데이터셋을 사용하여 값이나 이름을 예측하는 것이라면, 분류는 일반적으로 _이진 분류_와 _다중 클래스 분류_의 두 그룹으로 나뉩니다. + +[](https://youtu.be/eg8DJYwdMyg "분류 소개") + +> 🎥 위 이미지를 클릭하면 MIT의 John Guttag이 분류를 소개하는 비디오로 이동합니다. + +기억하세요: + +- **선형 회귀**는 변수 간의 관계를 예측하고 새로운 데이터 포인트가 그 선과의 관계에서 어디에 위치할지 정확하게 예측하는 데 도움을 줍니다. 예를 들어, _9월과 12월에 호박 가격이 얼마일지_ 예측할 수 있습니다. +- **로지스틱 회귀**는 "이진 카테고리"를 발견하는 데 도움을 줍니다: 이 가격대에서 _이 호박이 주황색인지 아닌지_? + +분류는 데이터 포인트의 레이블이나 클래스를 결정하는 다양한 알고리즘을 사용합니다. 이 요리 데이터를 사용하여 재료 그룹을 관찰함으로써 원산지 요리를 결정할 수 있는지 살펴보겠습니다. + +## [강의 전 퀴즈](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/19/) + +> ### [이 강의는 R로도 제공됩니다!](../../../../4-Classification/1-Introduction/solution/R/lesson_10.html) + +### 소개 + +분류는 머신 러닝 연구자와 데이터 과학자의 기본 활동 중 하나입니다. 이진 값의 기본 분류("이 이메일이 스팸인지 아닌지")부터 컴퓨터 비전을 사용한 복잡한 이미지 분류 및 세분화까지, 데이터를 클래스로 분류하고 질문하는 것은 항상 유용합니다. + +과정을 더 과학적으로 설명하자면, 분류 방법은 입력 변수와 출력 변수 간의 관계를 매핑할 수 있는 예측 모델을 생성합니다. + + + +> 분류 알고리즘이 처리할 이진 vs. 다중 클래스 문제. 인포그래픽 제공: [Jen Looper](https://twitter.com/jenlooper) + +데이터를 정리하고 시각화하며 ML 작업을 준비하기 전에, 데이터를 분류하는 데 머신 러닝을 활용할 수 있는 다양한 방법에 대해 알아봅시다. + +고전적인 머신 러닝을 사용한 분류는 [통계학](https://wikipedia.org/wiki/Statistical_classification)에서 유래하며, `smoker`, `weight`, `age`와 같은 특징을 사용하여 _X 질병 발병 가능성_을 결정합니다. 이전에 수행한 회귀 연습과 유사한 지도 학습 기법으로, 데이터는 라벨이 지정되고 ML 알고리즘은 이러한 라벨을 사용하여 데이터셋의 클래스(또는 '특징')를 분류하고 예측하여 그룹이나 결과에 할당합니다. + +✅ 요리에 관한 데이터셋을 상상해보세요. 다중 클래스 모델은 어떤 질문에 답할 수 있을까요? 이진 모델은 어떤 질문에 답할 수 있을까요? 특정 요리가 호로파를 사용할 가능성이 있는지 결정하고 싶다면 어떻게 할까요? 별모양의 아니스, 아티초크, 콜리플라워, 고추냉이가 가득한 식료품 가방을 선물로 받았을 때 전형적인 인도 요리를 만들 수 있을까요? + +[](https://youtu.be/GuTeDbaNoEU "Crazy mystery baskets") + +> 🎥 위 이미지를 클릭하면 'Chopped' 쇼의 '미스터리 바구니'에서 셰프들이 무작위로 선택된 재료로 요리를 만드는 전제의 비디오로 이동합니다. 분명히 ML 모델이 도움이 되었을 것입니다! + +## 안녕하세요 '분류기' + +이 요리 데이터셋에 대해 우리가 묻고 싶은 질문은 실제로 **다중 클래스 질문**입니다. 여러 잠재적인 국가 요리가 있기 때문입니다. 재료의 묶음을 주어졌을 때, 이 많은 클래스 중 어느 것에 데이터가 맞을까요? + +Scikit-learn은 문제를 해결하고자 하는 유형에 따라 데이터를 분류하는 데 사용할 수 있는 여러 알고리즘을 제공합니다. 다음 두 강의에서는 이러한 알고리즘 중 몇 가지에 대해 배울 것입니다. + +## 연습 - 데이터 정리 및 균형 맞추기 + +이 프로젝트를 시작하기 전에 첫 번째 작업은 데이터를 정리하고 **균형을 맞추는 것**입니다. 이 폴더의 루트에 있는 빈 _notebook.ipynb_ 파일로 시작하세요. + +첫 번째로 설치할 것은 [imblearn](https://imbalanced-learn.org/stable/)입니다. 이것은 데이터를 더 잘 균형 맞출 수 있게 해주는 Scikit-learn 패키지입니다(이 작업에 대해 곧 더 배울 것입니다). + +1. `imblearn`를 설치하려면 `pip install`를 실행하세요: + + ```python + pip install imblearn + ``` + +1. 데이터를 가져오고 시각화하는 데 필요한 패키지를 가져오고, `imblearn`에서 `SMOTE`를 가져오세요. + + ```python + import pandas as pd + import matplotlib.pyplot as plt + import matplotlib as mpl + import numpy as np + from imblearn.over_sampling import SMOTE + ``` + + 이제 데이터를 가져올 준비가 되었습니다. + +1. 데이터를 가져오는 다음 작업을 수행하세요: + + ```python + df = pd.read_csv('../data/cuisines.csv') + ``` + + `read_csv()` will read the content of the csv file _cusines.csv_ and place it in the variable `df`를 사용하세요. + +1. 데이터의 모양을 확인하세요: + + ```python + df.head() + ``` + + 처음 다섯 줄은 다음과 같습니다: + + ```output + | | Unnamed: 0 | cuisine | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | + | --- | ---------- | ------- | ------ | -------- | ----- | ---------- | ----- | ------------ | ------- | -------- | --- | ------- | ----------- | ---------- | ----------------------- | ---- | ---- | --- | ----- | ------ | -------- | + | 0 | 65 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 1 | 66 | indian | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 2 | 67 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 3 | 68 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 4 | 69 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | + ``` + +1. `info()`를 호출하여 이 데이터에 대한 정보를 얻으세요: + + ```python + df.info() + ``` + + 출력은 다음과 같습니다: + + ```output ++ ++ +According to the number of seconds, latitude and longitude, which country is likely to have reported seeing a UFO?
+ + + +{{ prediction_text }}
+ ++ RangeIndex: 2448 entries, 0 to 2447 + Columns: 385 entries, Unnamed: 0 to zucchini + dtypes: int64(384), object(1) + memory usage: 7.2+ MB + ``` + +## 연습 - 요리에 대해 배우기 + +이제 작업이 더 흥미로워집니다. 요리별 데이터 분포를 발견해 봅시다. + +1. `barh()`를 호출하여 데이터를 막대로 플로팅하세요: + + ```python + df.cuisine.value_counts().plot.barh() + ``` + +  + + 요리의 수는 유한하지만 데이터의 분포는 고르지 않습니다. 이를 수정할 수 있습니다! 그 전에 조금 더 탐색해 보세요. + +1. 요리별로 사용 가능한 데이터 양을 찾아 출력하세요: + + ```python + thai_df = df[(df.cuisine == "thai")] + japanese_df = df[(df.cuisine == "japanese")] + chinese_df = df[(df.cuisine == "chinese")] + indian_df = df[(df.cuisine == "indian")] + korean_df = df[(df.cuisine == "korean")] + + print(f'thai df: {thai_df.shape}') + print(f'japanese df: {japanese_df.shape}') + print(f'chinese df: {chinese_df.shape}') + print(f'indian df: {indian_df.shape}') + print(f'korean df: {korean_df.shape}') + ``` + + 출력은 다음과 같습니다: + + ```output + thai df: (289, 385) + japanese df: (320, 385) + chinese df: (442, 385) + indian df: (598, 385) + korean df: (799, 385) + ``` + +## 재료 발견하기 + +이제 데이터를 더 깊이 파고들어 요리별 전형적인 재료가 무엇인지 알아볼 수 있습니다. 요리 간 혼동을 일으키는 반복 데이터를 정리해야 하므로, 이 문제에 대해 배워봅시다. + +1. 재료 데이터프레임을 생성하는 `create_ingredient()` 함수를 Python에서 만드세요. 이 함수는 도움이 되지 않는 열을 제거하고 재료를 그 수에 따라 정렬하는 것으로 시작합니다: + + ```python + def create_ingredient_df(df): + ingredient_df = df.T.drop(['cuisine','Unnamed: 0']).sum(axis=1).to_frame('value') + ingredient_df = ingredient_df[(ingredient_df.T != 0).any()] + ingredient_df = ingredient_df.sort_values(by='value', ascending=False, + inplace=False) + return ingredient_df + ``` + + 이제 이 함수를 사용하여 요리별 상위 10개의 가장 인기 있는 재료에 대한 아이디어를 얻을 수 있습니다. + +1. `create_ingredient()` and plot it calling `barh()`를 호출하세요: + + ```python + thai_ingredient_df = create_ingredient_df(thai_df) + thai_ingredient_df.head(10).plot.barh() + ``` + +  + +1. 일본 요리에 대해 동일하게 수행하세요: + + ```python + japanese_ingredient_df = create_ingredient_df(japanese_df) + japanese_ingredient_df.head(10).plot.barh() + ``` + +  + +1. 중국 요리에 대해 동일하게 수행하세요: + + ```python + chinese_ingredient_df = create_ingredient_df(chinese_df) + chinese_ingredient_df.head(10).plot.barh() + ``` + +  + +1. 인도 요리를 플로팅하세요: + + ```python + indian_ingredient_df = create_ingredient_df(indian_df) + indian_ingredient_df.head(10).plot.barh() + ``` + +  + +1. 마지막으로 한국 요리를 플로팅하세요: + + ```python + korean_ingredient_df = create_ingredient_df(korean_df) + korean_ingredient_df.head(10).plot.barh() + ``` + +  + +1. 이제 `drop()`을 호출하여 서로 다른 요리 간 혼동을 일으키는 가장 일반적인 재료를 제거하세요: + + 모두가 쌀, 마늘, 생강을 좋아합니다! + + ```python + feature_df= df.drop(['cuisine','Unnamed: 0','rice','garlic','ginger'], axis=1) + labels_df = df.cuisine #.unique() + feature_df.head() + ``` + +## 데이터셋 균형 맞추기 + +이제 데이터를 정리했으니, [SMOTE](https://imbalanced-learn.org/dev/references/generated/imblearn.over_sampling.SMOTE.html) - "Synthetic Minority Over-sampling Technique" -를 사용하여 균형을 맞추세요. + +1. `fit_resample()`을 호출하세요. 이 전략은 보간을 통해 새로운 샘플을 생성합니다. + + ```python + oversample = SMOTE() + transformed_feature_df, transformed_label_df = oversample.fit_resample(feature_df, labels_df) + ``` + + 데이터를 균형 맞춤으로써 분류 시 더 나은 결과를 얻을 수 있습니다. 이진 분류를 생각해보세요. 대부분의 데이터가 하나의 클래스인 경우, ML 모델은 단순히 그 클래스에 대한 데이터가 더 많기 때문에 그 클래스를 더 자주 예측할 것입니다. 데이터를 균형 맞추면 왜곡된 데이터를 제거하는 데 도움이 됩니다. + +1. 이제 재료별 라벨 수를 확인할 수 있습니다: + + ```python + print(f'new label count: {transformed_label_df.value_counts()}') + print(f'old label count: {df.cuisine.value_counts()}') + ``` + + 출력은 다음과 같습니다: + + ```output + new label count: korean 799 + chinese 799 + indian 799 + japanese 799 + thai 799 + Name: cuisine, dtype: int64 + old label count: korean 799 + indian 598 + chinese 442 + japanese 320 + thai 289 + Name: cuisine, dtype: int64 + ``` + + 데이터는 깔끔하고 균형이 맞으며 매우 맛있습니다! + +1. 마지막 단계는 균형 잡힌 데이터(라벨과 특징 포함)를 새로운 데이터프레임에 저장하여 파일로 내보내는 것입니다: + + ```python + transformed_df = pd.concat([transformed_label_df,transformed_feature_df],axis=1, join='outer') + ``` + +1. `transformed_df.head()` and `transformed_df.info()`를 사용하여 데이터를 한 번 더 확인하세요. 이 데이터를 저장하여 향후 강의에서 사용할 수 있습니다: + + ```python + transformed_df.head() + transformed_df.info() + transformed_df.to_csv("../data/cleaned_cuisines.csv") + ``` + + 이 새로운 CSV는 이제 루트 데이터 폴더에서 찾을 수 있습니다. + +--- + +## 🚀도전 + +이 커리큘럼에는 여러 흥미로운 데이터셋이 포함되어 있습니다. `data` 폴더를 살펴보고 이진 또는 다중 클래스 분류에 적합한 데이터셋이 있는지 확인해 보세요. 이 데이터셋에 대해 어떤 질문을 할 수 있을까요? + +## [강의 후 퀴즈](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/20/) + +## 복습 및 자기 학습 + +SMOTE의 API를 탐색해 보세요. 어떤 사용 사례에 가장 적합할까요? 어떤 문제를 해결할 수 있을까요? + +## 과제 + +[분류 방법 탐색](assignment.md) + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 우리는 정확성을 위해 노력하지만, 자동 번역에는 오류나 부정확성이 포함될 수 있습니다. 원어로 작성된 원본 문서를 권위 있는 자료로 간주해야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/4-Classification/1-Introduction/assignment.md b/translations/ko/4-Classification/1-Introduction/assignment.md new file mode 100644 index 000000000..fd8a00d64 --- /dev/null +++ b/translations/ko/4-Classification/1-Introduction/assignment.md @@ -0,0 +1,14 @@ +# 분류 방법 탐색 + +## 지침 + +[Scikit-learn 문서](https://scikit-learn.org/stable/supervised_learning.html)에서 데이터를 분류하는 다양한 방법을 찾을 수 있습니다. 이 문서에서 작은 탐색을 해보세요: 목표는 분류 방법을 찾아 이 커리큘럼의 데이터셋, 물어볼 수 있는 질문, 그리고 분류 기법을 매칭하는 것입니다. 스프레드시트 또는 .doc 파일에 표를 만들어 데이터셋이 분류 알고리즘과 어떻게 작동하는지 설명하세요. + +## 평가 기준 + +| 기준 | 모범적 | 적절함 | 개선 필요 | +| ------- | --------------------------------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------- | +| | 5개의 알고리즘과 분류 기법을 개요하는 문서가 제시됩니다. 개요는 잘 설명되고 자세합니다. | 3개의 알고리즘과 분류 기법을 개요하는 문서가 제시됩니다. 개요는 잘 설명되고 자세합니다. | 3개 미만의 알고리즘과 분류 기법을 개요하는 문서가 제시되고 개요는 잘 설명되지 않았거나 자세하지 않습니다. | + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하지만, 자동 번역에는 오류나 부정확성이 포함될 수 있습니다. 원어로 작성된 원본 문서를 권위 있는 출처로 간주해야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/4-Classification/1-Introduction/solution/Julia/README.md b/translations/ko/4-Classification/1-Introduction/solution/Julia/README.md new file mode 100644 index 000000000..648e67cd5 --- /dev/null +++ b/translations/ko/4-Classification/1-Introduction/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하지만, 자동 번역에는 오류나 부정확성이 있을 수 있음을 유의하시기 바랍니다. 원어로 작성된 원본 문서가 권위 있는 자료로 간주되어야 합니다. 중요한 정보의 경우, 전문 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/4-Classification/2-Classifiers-1/README.md b/translations/ko/4-Classification/2-Classifiers-1/README.md new file mode 100644 index 000000000..e2f003a70 --- /dev/null +++ b/translations/ko/4-Classification/2-Classifiers-1/README.md @@ -0,0 +1,78 @@ +# 요리 분류기 1 + +이 강의에서는 지난 강의에서 저장한 균형 잡힌 깨끗한 요리 데이터셋을 사용하게 됩니다. + +이 데이터셋을 다양한 분류기와 함께 사용하여 _주어진 재료 그룹을 기반으로 특정 국가의 요리를 예측_합니다. 이 과정에서 분류 작업에 알고리즘을 활용할 수 있는 여러 가지 방법에 대해 더 배우게 될 것입니다. + +## [강의 전 퀴즈](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/21/) +# 준비 + +[Lesson 1](../1-Introduction/README.md)을 완료했다고 가정하고, 이 네 개의 강의에 대해 루트 `/data` 폴더에 _cleaned_cuisines.csv_ 파일이 있는지 확인하십시오. + +## 연습 - 국가 요리 예측 + +1. 이 강의의 _notebook.ipynb_ 폴더에서, 해당 파일과 함께 Pandas 라이브러리를 가져옵니다: + + ```python + import pandas as pd + cuisines_df = pd.read_csv("../data/cleaned_cuisines.csv") + cuisines_df.head() + ``` + + 데이터는 다음과 같습니다: + +| | Unnamed: 0 | cuisine | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | +| --- | ---------- | ------- | ------ | -------- | ----- | ---------- | ----- | ------------ | ------- | -------- | --- | ------- | ----------- | ---------- | ----------------------- | ---- | ---- | --- | ----- | ------ | -------- | +| 0 | 0 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 1 | 1 | indian | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 2 | 2 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 3 | 3 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 4 | 4 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | + + +1. 이제 몇 가지 라이브러리를 더 가져옵니다: + + ```python + from sklearn.linear_model import LogisticRegression + from sklearn.model_selection import train_test_split, cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report, precision_recall_curve + from sklearn.svm import SVC + import numpy as np + ``` + +1. X와 y 좌표를 훈련을 위해 두 개의 데이터프레임으로 나눕니다. `cuisine`은 라벨 데이터프레임이 될 수 있습니다: + + ```python + cuisines_label_df = cuisines_df['cuisine'] + cuisines_label_df.head() + ``` + + 다음과 같이 보일 것입니다: + + ```output + 0 indian + 1 indian + 2 indian + 3 indian + 4 indian + Name: cuisine, dtype: object + ``` + +1. `Unnamed: 0` column and the `cuisine` column, calling `drop()`을 제거합니다. 나머지 데이터를 훈련 가능한 특징으로 저장합니다: + + ```python + cuisines_feature_df = cuisines_df.drop(['Unnamed: 0', 'cuisine'], axis=1) + cuisines_feature_df.head() + ``` + + 당신의 특징은 다음과 같습니다: + +| | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | artemisia | artichoke | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | +| ---: | -----: | -------: | ----: | ---------: | ----: | -----------: | ------: | -------: | --------: | --------: | ---: | ------: | ----------: | ---------: | ----------------------: | ---: | ---: | ---: | ----: | -----: | -------: | +| 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 1 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 2 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 3 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있지만, 자동 번역에는 오류나 부정확성이 포함될 수 있습니다. 원본 문서의 원어를 권위 있는 출처로 간주해야 합니다. 중요한 정보의 경우, 전문 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/4-Classification/2-Classifiers-1/assignment.md b/translations/ko/4-Classification/2-Classifiers-1/assignment.md new file mode 100644 index 000000000..49e3fb5c4 --- /dev/null +++ b/translations/ko/4-Classification/2-Classifiers-1/assignment.md @@ -0,0 +1,12 @@ +# 솔버 연구 +## 지침 + +이 수업에서는 알고리즘을 머신 러닝 프로세스와 결합하여 정확한 모델을 만드는 다양한 솔버에 대해 배웠습니다. 수업에서 언급된 솔버들을 살펴보고 두 가지를 선택하세요. 자신의 말로 이 두 솔버를 비교하고 대조하세요. 이 솔버들은 어떤 문제를 해결하나요? 다양한 데이터 구조와는 어떻게 작동하나요? 왜 하나를 다른 것보다 선택하게 되나요? +## 평가 기준 + +| 기준 | 모범적 | 적절함 | 개선 필요 | +| -------- | ---------------------------------------------------------------------------------------------- | ------------------------------------------------ | ---------------------------- | +| | 두 개의 단락으로 각 솔버에 대해 신중하게 비교한 .doc 파일이 제출됨 | 하나의 단락만 있는 .doc 파일이 제출됨 | 과제가 불완전함 | + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하지만 자동 번역에는 오류나 부정확성이 있을 수 있음을 유의하시기 바랍니다. 원어로 작성된 원본 문서를 권위 있는 출처로 간주해야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/4-Classification/2-Classifiers-1/solution/Julia/README.md b/translations/ko/4-Classification/2-Classifiers-1/solution/Julia/README.md new file mode 100644 index 000000000..b3a1bb4b2 --- /dev/null +++ b/translations/ko/4-Classification/2-Classifiers-1/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하지만, 자동 번역에는 오류나 부정확성이 있을 수 있습니다. 원본 문서는 원어로 작성된 문서를 권위 있는 자료로 간주해야 합니다. 중요한 정보의 경우, 전문 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 우리는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/4-Classification/3-Classifiers-2/README.md b/translations/ko/4-Classification/3-Classifiers-2/README.md new file mode 100644 index 000000000..ffac41e72 --- /dev/null +++ b/translations/ko/4-Classification/3-Classifiers-2/README.md @@ -0,0 +1,238 @@ +# 요리 분류기 2 + +두 번째 분류 수업에서는 숫자 데이터를 분류하는 더 많은 방법을 탐구하게 됩니다. 또한, 하나의 분류기를 선택하는 것이 다른 분류기를 선택하는 것에 비해 어떤 영향을 미치는지에 대해 배우게 됩니다. + +## [강의 전 퀴즈](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/23/) + +### 전제 조건 + +이전 수업을 완료하고, 이 4-강의 폴더의 루트에 있는 `data` 폴더에 _cleaned_cuisines.csv_라는 정리된 데이터셋을 가지고 있다고 가정합니다. + +### 준비 + +_notebook.ipynb_ 파일에 정리된 데이터셋을 로드하고, 모델 빌딩 과정을 위해 X와 y 데이터프레임으로 나누어 두었습니다. + +## 분류 지도 + +이전에 Microsoft의 치트 시트를 사용하여 데이터를 분류할 때 사용할 수 있는 다양한 옵션에 대해 배웠습니다. Scikit-learn은 유사하지만 더 세부적인 치트 시트를 제공하여 분류기를 좁히는 데 도움을 줄 수 있습니다(다른 용어로는 추정자): + + +> Tip: [이 지도를 온라인에서 방문](https://scikit-learn.org/stable/tutorial/machine_learning_map/)하고 경로를 따라가며 문서를 읽어보세요. + +### 계획 + +데이터를 명확하게 이해한 후에는 이 지도가 매우 유용합니다. 경로를 따라가며 결정을 내릴 수 있습니다: + +- 샘플이 50개 이상 +- 카테고리를 예측하고자 함 +- 라벨이 있는 데이터 +- 샘플이 10만 개 미만 +- ✨ Linear SVC 선택 가능 +- 작동하지 않으면 숫자 데이터가 있으므로 + - ✨ KNeighbors Classifier 시도 가능 + - 이것도 작동하지 않으면 ✨ SVC와 ✨ Ensemble Classifiers 시도 + +이 경로를 따르는 것이 매우 유용합니다. + +## 연습 - 데이터 분할 + +이 경로를 따라가려면 사용할 라이브러리를 가져오는 것부터 시작해야 합니다. + +1. 필요한 라이브러리 가져오기: + + ```python + from sklearn.neighbors import KNeighborsClassifier + from sklearn.linear_model import LogisticRegression + from sklearn.svm import SVC + from sklearn.ensemble import RandomForestClassifier, AdaBoostClassifier + from sklearn.model_selection import train_test_split, cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report, precision_recall_curve + import numpy as np + ``` + +1. 훈련 데이터와 테스트 데이터를 분할하기: + + ```python + X_train, X_test, y_train, y_test = train_test_split(cuisines_feature_df, cuisines_label_df, test_size=0.3) + ``` + +## Linear SVC 분류기 + +Support-Vector clustering (SVC)은 ML 기술의 Support-Vector machines 가족에 속합니다(아래에서 더 알아보세요). 이 방법에서는 '커널'을 선택하여 라벨을 클러스터링할 수 있습니다. 'C' 매개변수는 '정규화'를 의미하며 매개변수의 영향을 조절합니다. 커널은 여러 가지 중 하나일 수 있습니다(https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html#sklearn.svm.SVC); 여기서는 'linear'로 설정하여 Linear SVC를 활용합니다. 확률은 기본적으로 'false'로 설정되어 있으며, 여기서는 확률 추정을 수집하기 위해 'true'로 설정합니다. 데이터를 섞어 확률을 얻기 위해 무작위 상태를 '0'으로 설정합니다. + +### 연습 - Linear SVC 적용하기 + +분류기 배열을 만들어 시작하세요. 테스트하면서 이 배열에 점진적으로 추가할 것입니다. + +1. Linear SVC로 시작하기: + + ```python + C = 10 + # Create different classifiers. + classifiers = { + 'Linear SVC': SVC(kernel='linear', C=C, probability=True,random_state=0) + } + ``` + +2. Linear SVC를 사용하여 모델을 훈련하고 보고서를 출력하기: + + ```python + n_classifiers = len(classifiers) + + for index, (name, classifier) in enumerate(classifiers.items()): + classifier.fit(X_train, np.ravel(y_train)) + + y_pred = classifier.predict(X_test) + accuracy = accuracy_score(y_test, y_pred) + print("Accuracy (train) for %s: %0.1f%% " % (name, accuracy * 100)) + print(classification_report(y_test,y_pred)) + ``` + + 결과가 꽤 좋습니다: + + ```output + Accuracy (train) for Linear SVC: 78.6% + precision recall f1-score support + + chinese 0.71 0.67 0.69 242 + indian 0.88 0.86 0.87 234 + japanese 0.79 0.74 0.76 254 + korean 0.85 0.81 0.83 242 + thai 0.71 0.86 0.78 227 + + accuracy 0.79 1199 + macro avg 0.79 0.79 0.79 1199 + weighted avg 0.79 0.79 0.79 1199 + ``` + +## K-Neighbors 분류기 + +K-Neighbors는 ML 방법의 "이웃" 가족에 속하며, 감독 학습과 비감독 학습 모두에 사용할 수 있습니다. 이 방법에서는 미리 정의된 수의 포인트를 생성하고 데이터를 이 포인트 주위에 모아서 데이터에 대한 일반화된 라벨을 예측할 수 있습니다. + +### 연습 - K-Neighbors 분류기 적용하기 + +이전 분류기는 좋았고 데이터와 잘 맞았지만, 더 나은 정확도를 얻을 수 있을지도 모릅니다. K-Neighbors 분류기를 시도해 보세요. + +1. 분류기 배열에 줄을 추가하기 (Linear SVC 항목 뒤에 쉼표 추가): + + ```python + 'KNN classifier': KNeighborsClassifier(C), + ``` + + 결과가 약간 나쁩니다: + + ```output + Accuracy (train) for KNN classifier: 73.8% + precision recall f1-score support + + chinese 0.64 0.67 0.66 242 + indian 0.86 0.78 0.82 234 + japanese 0.66 0.83 0.74 254 + korean 0.94 0.58 0.72 242 + thai 0.71 0.82 0.76 227 + + accuracy 0.74 1199 + macro avg 0.76 0.74 0.74 1199 + weighted avg 0.76 0.74 0.74 1199 + ``` + + ✅ [K-Neighbors](https://scikit-learn.org/stable/modules/neighbors.html#neighbors)에 대해 알아보세요 + +## Support Vector 분류기 + +Support-Vector 분류기는 ML 방법의 [Support-Vector Machine](https://wikipedia.org/wiki/Support-vector_machine) 가족에 속하며 분류 및 회귀 작업에 사용됩니다. SVM은 "훈련 예제를 공간의 포인트로 매핑"하여 두 카테고리 간의 거리를 최대화합니다. 이후 데이터는 이 공간에 매핑되어 카테고리를 예측할 수 있습니다. + +### 연습 - Support Vector 분류기 적용하기 + +Support Vector 분류기를 사용하여 조금 더 나은 정확도를 시도해 봅시다. + +1. K-Neighbors 항목 뒤에 쉼표를 추가한 후 이 줄을 추가하세요: + + ```python + 'SVC': SVC(), + ``` + + 결과가 꽤 좋습니다! + + ```output + Accuracy (train) for SVC: 83.2% + precision recall f1-score support + + chinese 0.79 0.74 0.76 242 + indian 0.88 0.90 0.89 234 + japanese 0.87 0.81 0.84 254 + korean 0.91 0.82 0.86 242 + thai 0.74 0.90 0.81 227 + + accuracy 0.83 1199 + macro avg 0.84 0.83 0.83 1199 + weighted avg 0.84 0.83 0.83 1199 + ``` + + ✅ [Support-Vectors](https://scikit-learn.org/stable/modules/svm.html#svm)에 대해 알아보세요 + +## 앙상블 분류기 + +이전 테스트가 꽤 좋았지만, 경로를 끝까지 따라가 봅시다. '앙상블 분류기', 특히 랜덤 포레스트와 AdaBoost를 시도해 봅시다: + +```python + 'RFST': RandomForestClassifier(n_estimators=100), + 'ADA': AdaBoostClassifier(n_estimators=100) +``` + +결과가 매우 좋습니다, 특히 랜덤 포레스트의 경우: + +```output +Accuracy (train) for RFST: 84.5% + precision recall f1-score support + + chinese 0.80 0.77 0.78 242 + indian 0.89 0.92 0.90 234 + japanese 0.86 0.84 0.85 254 + korean 0.88 0.83 0.85 242 + thai 0.80 0.87 0.83 227 + + accuracy 0.84 1199 + macro avg 0.85 0.85 0.84 1199 +weighted avg 0.85 0.84 0.84 1199 + +Accuracy (train) for ADA: 72.4% + precision recall f1-score support + + chinese 0.64 0.49 0.56 242 + indian 0.91 0.83 0.87 234 + japanese 0.68 0.69 0.69 254 + korean 0.73 0.79 0.76 242 + thai 0.67 0.83 0.74 227 + + accuracy 0.72 1199 + macro avg 0.73 0.73 0.72 1199 +weighted avg 0.73 0.72 0.72 1199 +``` + +✅ [앙상블 분류기](https://scikit-learn.org/stable/modules/ensemble.html)에 대해 알아보세요 + +이 기계 학습 방법은 "여러 기본 추정자의 예측을 결합"하여 모델의 품질을 향상시킵니다. 예제에서는 랜덤 트리와 AdaBoost를 사용했습니다. + +- [랜덤 포레스트](https://scikit-learn.org/stable/modules/ensemble.html#forest)는 평균화 방법으로, '결정 트리'의 '숲'을 생성하여 과적합을 피하기 위해 무작위성을 주입합니다. n_estimators 매개변수는 트리의 수를 설정합니다. + +- [AdaBoost](https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.AdaBoostClassifier.html)는 데이터셋에 분류기를 맞추고, 동일한 데이터셋에 그 분류기의 복사본을 맞춥니다. 잘못 분류된 항목의 가중치에 집중하고 다음 분류기에 대한 적합을 조정하여 수정합니다. + +--- + +## 🚀챌린지 + +이 기술들 각각에는 조정할 수 있는 많은 매개변수가 있습니다. 각 기술의 기본 매개변수를 조사하고, 이러한 매개변수를 조정하는 것이 모델의 품질에 어떤 의미가 있는지 생각해 보세요. + +## [강의 후 퀴즈](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/24/) + +## 복습 및 자습 + +이 수업에는 많은 용어가 있으므로, [이 목록](https://docs.microsoft.com/dotnet/machine-learning/resources/glossary?WT.mc_id=academic-77952-leestott)의 유용한 용어를 검토하는 시간을 가져보세요! + +## 과제 + +[매개변수 조정](assignment.md) + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하지만 자동 번역에는 오류나 부정확성이 포함될 수 있습니다. 원본 문서를 해당 언어로 작성된 문서를 권위 있는 자료로 간주해야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해서는 책임지지 않습니다. \ No newline at end of file diff --git a/translations/ko/4-Classification/3-Classifiers-2/assignment.md b/translations/ko/4-Classification/3-Classifiers-2/assignment.md new file mode 100644 index 000000000..b7d6db649 --- /dev/null +++ b/translations/ko/4-Classification/3-Classifiers-2/assignment.md @@ -0,0 +1,14 @@ +# Parameter Play + +## 지침 + +이 분류기들을 사용할 때 기본적으로 설정된 많은 매개변수가 있습니다. VS Code의 인텔리센스를 사용하면 이를 탐색할 수 있습니다. 이 수업에서 하나의 ML 분류 기법을 채택하고 다양한 매개변수 값을 조정하여 모델을 재훈련하세요. 일부 변경 사항이 모델 품질에 도움이 되는 이유와 다른 변경 사항이 모델 품질을 저하시킬 수 있는 이유를 설명하는 노트를 작성하세요. 답변은 상세히 작성하세요. + +## 평가 기준 + +| 기준 | 모범 사례 | 적절함 | 개선 필요 | +| -------- | ---------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------- | ----------------------------- | +| | 분류기가 완전히 구축되고 매개변수가 조정된 노트북이 텍스트 박스에 설명과 함께 제시됩니다 | 노트북이 부분적으로 제시되거나 설명이 부실합니다 | 노트북에 버그가 있거나 결함이 있습니다 | + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있지만 자동 번역에는 오류나 부정확성이 있을 수 있습니다. 원어로 작성된 원본 문서를 권위 있는 자료로 간주해야 합니다. 중요한 정보에 대해서는 전문적인 인간 번역을 권장합니다. 이 번역의 사용으로 인해 발생하는 오해나 잘못된 해석에 대해서는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/4-Classification/3-Classifiers-2/solution/Julia/README.md b/translations/ko/4-Classification/3-Classifiers-2/solution/Julia/README.md new file mode 100644 index 000000000..82fd0e6f1 --- /dev/null +++ b/translations/ko/4-Classification/3-Classifiers-2/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있지만, 자동 번역에는 오류나 부정확성이 있을 수 있습니다. 원본 문서의 원어 버전을 권위 있는 자료로 간주해야 합니다. 중요한 정보에 대해서는 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/4-Classification/4-Applied/README.md b/translations/ko/4-Classification/4-Applied/README.md new file mode 100644 index 000000000..ea770a55e --- /dev/null +++ b/translations/ko/4-Classification/4-Applied/README.md @@ -0,0 +1,318 @@ +# 음식 추천 웹 앱 만들기 + +이 강의에서는 이전 강의에서 배운 몇 가지 기술과 이 시리즈에서 사용된 맛있는 음식 데이터셋을 활용하여 분류 모델을 구축할 것입니다. 또한, 저장된 모델을 사용하기 위해 Onnx의 웹 런타임을 활용한 작은 웹 앱을 만들 것입니다. + +머신 러닝의 가장 유용한 실제 활용 중 하나는 추천 시스템을 구축하는 것입니다. 오늘 그 방향으로 첫 걸음을 내딛을 수 있습니다! + +[](https://youtu.be/17wdM9AHMfg "Applied ML") + +> 🎥 위 이미지를 클릭하면 비디오를 볼 수 있습니다: Jen Looper가 분류된 음식 데이터를 사용하여 웹 앱을 구축합니다 + +## [강의 전 퀴즈](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/25/) + +이 강의에서 배울 내용: + +- 모델을 구축하고 Onnx 모델로 저장하는 방법 +- Netron을 사용하여 모델을 검사하는 방법 +- 웹 앱에서 추론을 위해 모델을 사용하는 방법 + +## 모델 구축하기 + +적용된 ML 시스템을 구축하는 것은 비즈니스 시스템에서 이러한 기술을 활용하는 중요한 부분입니다. Onnx를 사용하여 웹 애플리케이션 내에서 모델을 사용할 수 있으며, 필요할 경우 오프라인에서도 사용할 수 있습니다. + +[이전 강의](../../3-Web-App/1-Web-App/README.md)에서 UFO 목격에 관한 회귀 모델을 만들고, 이를 "피클"하여 Flask 앱에서 사용했습니다. 이 아키텍처는 매우 유용하지만, 풀스택 파이썬 앱이며, JavaScript 애플리케이션을 사용해야 할 수도 있습니다. + +이 강의에서는 추론을 위한 기본 JavaScript 기반 시스템을 구축할 수 있습니다. 그러나 먼저 모델을 훈련하고 Onnx로 변환해야 합니다. + +## 실습 - 분류 모델 훈련 + +먼저, 우리가 사용한 정제된 음식 데이터셋을 사용하여 분류 모델을 훈련합니다. + +1. 유용한 라이브러리 가져오기: + + ```python + !pip install skl2onnx + import pandas as pd + ``` + + Scikit-learn 모델을 Onnx 형식으로 변환하는 데 도움이 되는 '[skl2onnx](https://onnx.ai/sklearn-onnx/)'가 필요합니다. + +1. 이전 강의에서 했던 것처럼 `read_csv()`를 사용하여 CSV 파일을 읽어 데이터를 처리합니다: + + ```python + data = pd.read_csv('../data/cleaned_cuisines.csv') + data.head() + ``` + +1. 첫 두 개의 불필요한 열을 제거하고 나머지 데이터를 'X'로 저장합니다: + + ```python + X = data.iloc[:,2:] + X.head() + ``` + +1. 라벨을 'y'로 저장합니다: + + ```python + y = data[['cuisine']] + y.head() + + ``` + +### 훈련 루틴 시작 + +우리는 정확도가 좋은 'SVC' 라이브러리를 사용할 것입니다. + +1. Scikit-learn에서 적절한 라이브러리를 가져옵니다: + + ```python + from sklearn.model_selection import train_test_split + from sklearn.svm import SVC + from sklearn.model_selection import cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report + ``` + +1. 훈련 세트와 테스트 세트를 분리합니다: + + ```python + X_train, X_test, y_train, y_test = train_test_split(X,y,test_size=0.3) + ``` + +1. 이전 강의에서 했던 것처럼 SVC 분류 모델을 구축합니다: + + ```python + model = SVC(kernel='linear', C=10, probability=True,random_state=0) + model.fit(X_train,y_train.values.ravel()) + ``` + +1. 이제 `predict()`를 호출하여 모델을 테스트합니다: + + ```python + y_pred = model.predict(X_test) + ``` + +1. 모델의 품질을 확인하기 위해 분류 보고서를 출력합니다: + + ```python + print(classification_report(y_test,y_pred)) + ``` + + 이전에 봤던 것처럼 정확도가 좋습니다: + + ```output + precision recall f1-score support + + chinese 0.72 0.69 0.70 257 + indian 0.91 0.87 0.89 243 + japanese 0.79 0.77 0.78 239 + korean 0.83 0.79 0.81 236 + thai 0.72 0.84 0.78 224 + + accuracy 0.79 1199 + macro avg 0.79 0.79 0.79 1199 + weighted avg 0.79 0.79 0.79 1199 + ``` + +### 모델을 Onnx로 변환하기 + +올바른 텐서 수를 사용하여 변환을 수행해야 합니다. 이 데이터셋에는 380개의 재료가 나열되어 있으므로 `FloatTensorType`에 그 숫자를 표기해야 합니다: + +1. 380의 텐서 숫자를 사용하여 변환합니다. + + ```python + from skl2onnx import convert_sklearn + from skl2onnx.common.data_types import FloatTensorType + + initial_type = [('float_input', FloatTensorType([None, 380]))] + options = {id(model): {'nocl': True, 'zipmap': False}} + ``` + +1. onx를 생성하고 **model.onnx** 파일로 저장합니다: + + ```python + onx = convert_sklearn(model, initial_types=initial_type, options=options) + with open("./model.onnx", "wb") as f: + f.write(onx.SerializeToString()) + ``` + + > 참고로, 변환 스크립트에서 [옵션](https://onnx.ai/sklearn-onnx/parameterized.html)을 전달할 수 있습니다. 이 경우 'nocl'을 True로 설정하고 'zipmap'을 False로 설정했습니다. 이것은 분류 모델이므로 ZipMap을 제거할 옵션이 있습니다. ZipMap은 필요 없는 딕셔너리 목록을 생성합니다. `nocl` refers to class information being included in the model. Reduce your model's size by setting `nocl` to 'True'. + +Running the entire notebook will now build an Onnx model and save it to this folder. + +## View your model + +Onnx models are not very visible in Visual Studio code, but there's a very good free software that many researchers use to visualize the model to ensure that it is properly built. Download [Netron](https://github.com/lutzroeder/Netron) and open your model.onnx file. You can see your simple model visualized, with its 380 inputs and classifier listed: + + + +Netron is a helpful tool to view your models. + +Now you are ready to use this neat model in a web app. Let's build an app that will come in handy when you look in your refrigerator and try to figure out which combination of your leftover ingredients you can use to cook a given cuisine, as determined by your model. + +## Build a recommender web application + +You can use your model directly in a web app. This architecture also allows you to run it locally and even offline if needed. Start by creating an `index.html` file in the same folder where you stored your `model.onnx` 파일입니다. + +1. 이 파일 _index.html_에 다음 마크업을 추가합니다: + + ```html + + + + + + ... + + + ``` + +1. 이제 `body` 태그 내에서 몇 가지 재료를 표시하는 체크박스 목록을 보여주는 약간의 마크업을 추가합니다: + + ```html +Cuisine Matcher +Check your refrigerator. What can you create?
++++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + +++ ++ ``` + + 각 체크박스에 값이 부여된 것을 확인하세요. 이는 데이터셋에 따라 재료가 있는 인덱스를 반영합니다. 예를 들어, 사과는 이 알파벳 순서 목록에서 다섯 번째 열에 있으므로 값은 '4'입니다. 인덱스는 0부터 시작합니다. 주어진 재료의 인덱스를 확인하려면 [ingredients spreadsheet](../../../../4-Classification/data/ingredient_indexes.csv)를 참조하세요. + + index.html 파일에서 작업을 계속하고, 최종 닫는 `` 뒤에 모델을 호출하는 스크립트 블록을 추가합니다. + +1. 먼저 [Onnx Runtime](https://www.onnxruntime.ai/)을 가져옵니다: + + ```html + + ``` + + > Onnx Runtime은 다양한 하드웨어 플랫폼에서 Onnx 모델을 실행할 수 있도록 최적화와 API를 제공합니다. + +1. 런타임이 설정되면 호출할 수 있습니다: + + ```html + + ``` + +이 코드에서 여러 가지 일이 발생합니다: + +1. 체크박스가 선택되었는지 여부에 따라 모델에 전송할 380개의 가능한 값(1 또는 0) 배열을 생성했습니다. +2. 체크박스 배열과 체크박스가 선택되었는지 여부를 결정하는 방법을 생성했습니다. +3. `init` function that is called when the application starts. When a checkbox is checked, the `ingredients` array is altered to reflect the chosen ingredient. +3. You created a `testCheckboxes` function that checks whether any checkbox was checked. +4. You use `startInference` function when the button is pressed and, if any checkbox is checked, you start inference. +5. The inference routine includes: + 1. Setting up an asynchronous load of the model + 2. Creating a Tensor structure to send to the model + 3. Creating 'feeds' that reflects the `float_input` input that you created when training your model (you can use Netron to verify that name) + 4. Sending these 'feeds' to the model and waiting for a response + +## Test your application + +Open a terminal session in Visual Studio Code in the folder where your index.html file resides. Ensure that you have [http-server](https://www.npmjs.com/package/http-server) installed globally, and type `http-server` 프롬프트에서 로컬호스트를 열어 웹 앱을 확인할 수 있습니다. 다양한 재료에 따라 추천되는 요리를 확인하세요: + + + +축하합니다! 몇 가지 필드로 구성된 '추천' 웹 앱을 만들었습니다. 이 시스템을 확장하는 데 시간을 투자해 보세요! +## 🚀도전 과제 + +웹 앱이 매우 미니멀하므로 [ingredient_indexes](../../../../4-Classification/data/ingredient_indexes.csv) 데이터의 재료와 인덱스를 사용하여 계속 확장해 보세요. 어떤 맛 조합이 특정 국가 요리를 만드는 데 도움이 되는지 알아보세요. + +## [강의 후 퀴즈](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/26/) + +## 복습 및 자습 + +이 강의에서는 음식 재료를 위한 추천 시스템을 만드는 유용성에 대해 간단히 다루었지만, 이 ML 응용 분야는 예시가 매우 풍부합니다. 이러한 시스템이 어떻게 구축되는지에 대해 더 읽어보세요: + +- https://www.sciencedirect.com/topics/computer-science/recommendation-engine +- https://www.technologyreview.com/2014/08/25/171547/the-ultimate-challenge-for-recommendation-engines/ +- https://www.technologyreview.com/2015/03/23/168831/everything-is-a-recommendation/ + +## 과제 + +[새로운 추천 시스템 만들기](assignment.md) + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있지만, 자동 번역에는 오류나 부정확성이 포함될 수 있습니다. 원본 문서가 해당 언어로 작성된 경우 이를 권위 있는 출처로 간주해야 합니다. 중요한 정보에 대해서는 전문적인 인간 번역을 권장합니다. 이 번역을 사용하여 발생하는 오해나 오역에 대해서는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/4-Classification/4-Applied/assignment.md b/translations/ko/4-Classification/4-Applied/assignment.md new file mode 100644 index 000000000..6439222aa --- /dev/null +++ b/translations/ko/4-Classification/4-Applied/assignment.md @@ -0,0 +1,14 @@ +# 추천 시스템 만들기 + +## 지침 + +이 강의에서 배운 내용을 바탕으로, Onnx Runtime과 변환된 Onnx 모델을 사용하여 JavaScript 기반의 웹 애플리케이션을 만드는 방법을 이제 알고 있습니다. 이 강의의 데이터나 다른 출처의 데이터를 사용하여 새로운 추천 시스템을 만들어 보세요 (출처를 명시해 주세요). 다양한 성격 특성을 고려한 반려동물 추천 시스템이나 사람의 기분에 따른 음악 장르 추천 시스템을 만들 수도 있습니다. 창의력을 발휘해 보세요! + +## 평가 기준 + +| 기준 | 모범적 사례 | 적절한 사례 | 개선이 필요한 사례 | +| -------- | ------------------------------------------------------------------------- | ------------------------------------- | ---------------------------------- | +| | 웹 애플리케이션과 노트북이 모두 잘 문서화되고 실행됨 | 둘 중 하나가 없거나 결함이 있음 | 둘 다 없거나 결함이 있음 | + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 우리는 정확성을 위해 노력하지만, 자동 번역에는 오류나 부정확성이 있을 수 있음을 유의하시기 바랍니다. 원어로 작성된 원본 문서가 권위 있는 자료로 간주되어야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/4-Classification/README.md b/translations/ko/4-Classification/README.md new file mode 100644 index 000000000..a7c26f637 --- /dev/null +++ b/translations/ko/4-Classification/README.md @@ -0,0 +1,30 @@ +# 분류 시작하기 + +## 지역 주제: 맛있는 아시아 및 인도 요리 🍜 + +아시아와 인도에서는 음식 전통이 매우 다양하고 정말 맛있습니다! 그들의 재료를 이해하기 위해 지역 요리에 대한 데이터를 살펴보겠습니다. + + +> 사진 제공 Lisheng Chang on Unsplash + +## 배우게 될 내용 + +이 섹션에서는 이전에 공부한 회귀 분석을 바탕으로 다른 분류기를 사용하여 데이터를 더 잘 이해하는 방법을 배울 것입니다. + +> 분류 모델 작업에 대해 배울 수 있는 유용한 저코드 도구가 있습니다. 이 작업을 위해 [Azure ML](https://docs.microsoft.com/learn/modules/create-classification-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott)을 시도해 보세요. + +## 강의 + +1. [분류 소개](1-Introduction/README.md) +2. [추가 분류기](2-Classifiers-1/README.md) +3. [다른 분류기](3-Classifiers-2/README.md) +4. [적용된 ML: 웹 앱 구축](4-Applied/README.md) + +## 저자 정보 + +"분류 시작하기"는 [Cassie Breviu](https://www.twitter.com/cassiebreviu)와 [Jen Looper](https://www.twitter.com/jenlooper)의 ♥️로 작성되었습니다. + +맛있는 요리 데이터셋은 [Kaggle](https://www.kaggle.com/hoandan/asian-and-indian-cuisines)에서 제공되었습니다. + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하지만, 자동 번역에는 오류나 부정확성이 있을 수 있음을 유의하시기 바랍니다. 원본 문서의 원어 버전이 권위 있는 출처로 간주되어야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역의 사용으로 인해 발생하는 오해나 오역에 대해 당사는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/5-Clustering/1-Visualize/README.md b/translations/ko/5-Clustering/1-Visualize/README.md new file mode 100644 index 000000000..d620ee968 --- /dev/null +++ b/translations/ko/5-Clustering/1-Visualize/README.md @@ -0,0 +1,216 @@ +# 클러스터링 소개 + +클러스터링은 데이터셋이 라벨이 없거나 입력이 사전 정의된 출력과 일치하지 않는다고 가정하는 [비지도 학습](https://wikipedia.org/wiki/Unsupervised_learning)의 한 유형입니다. 다양한 알고리즘을 사용하여 라벨이 없는 데이터를 정리하고 데이터에서 인식된 패턴에 따라 그룹을 제공합니다. + +[](https://youtu.be/ty2advRiWJM "No One Like You by PSquare") + +> 🎥 위 이미지를 클릭하면 비디오로 이동합니다. 클러스터링을 통해 머신 러닝을 공부하는 동안, 나이지리아 댄스홀 트랙을 즐겨보세요 - 이것은 PSquare의 2014년 고평가된 곡입니다. +## [강의 전 퀴즈](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/27/) +### 소개 + +[클러스터링](https://link.springer.com/referenceworkentry/10.1007%2F978-0-387-30164-8_124)은 데이터 탐색에 매우 유용합니다. 나이지리아 관객들이 음악을 소비하는 방식에서 트렌드와 패턴을 발견하는 데 도움이 되는지 알아봅시다. + +✅ 클러스터링의 사용에 대해 잠시 생각해보세요. 실제 생활에서 클러스터링은 빨래 더미가 있을 때 가족 구성원의 옷을 정리해야 할 때 발생합니다 🧦👕👖🩲. 데이터 과학에서는 사용자의 선호도를 분석하거나 라벨이 없는 데이터셋의 특성을 결정하려고 할 때 클러스터링이 발생합니다. 클러스터링은 일종의 혼란 속에서 질서를 찾는 데 도움을 줍니다, 마치 양말 서랍처럼요. + +[](https://youtu.be/esmzYhuFnds "Introduction to Clustering") + +> 🎥 위 이미지를 클릭하면 비디오로 이동합니다: MIT의 John Guttag이 클러스터링을 소개합니다. + +전문 환경에서는 클러스터링을 사용하여 시장 세분화, 예를 들어 어떤 연령대가 어떤 품목을 구매하는지 등을 결정할 수 있습니다. 또 다른 용도는 데이터셋에서 사기를 감지하기 위해 클러스터링을 사용할 수 있습니다. 또는 의료 스캔에서 종양을 결정하는 데 클러스터링을 사용할 수 있습니다. + +✅ 은행, 전자 상거래 또는 비즈니스 환경에서 '야생'에서 클러스터링을 어떻게 접했는지 잠시 생각해보세요. + +> 🎓 흥미롭게도 클러스터 분석은 1930년대 인류학과 심리학 분야에서 시작되었습니다. 어떻게 사용되었을지 상상해보세요. + +또는 검색 결과를 쇼핑 링크, 이미지 또는 리뷰 등으로 그룹화하는 데 사용할 수도 있습니다. 클러스터링은 큰 데이터셋을 줄이고 보다 세밀한 분석을 수행하고자 할 때 유용합니다. 따라서 이 기술은 다른 모델을 구축하기 전에 데이터를 학습하는 데 사용할 수 있습니다. + +✅ 데이터가 클러스터로 조직되면 클러스터 ID를 할당하고, 이 기술은 데이터셋의 프라이버시를 유지할 때 유용할 수 있습니다. 더 드러나는 식별 가능한 데이터 대신 클러스터 ID로 데이터 포인트를 참조할 수 있습니다. 클러스터 ID를 다른 클러스터 요소 대신 식별하는 이유는 무엇일까요? + +클러스터링 기술에 대한 이해를 심화하려면 이 [학습 모듈](https://docs.microsoft.com/learn/modules/train-evaluate-cluster-models?WT.mc_id=academic-77952-leestott)을 참조하세요. +## 클러스터링 시작하기 + +[Scikit-learn은 다양한](https://scikit-learn.org/stable/modules/clustering.html) 클러스터링 방법을 제공합니다. 선택하는 유형은 사용 사례에 따라 다릅니다. 문서에 따르면 각 방법에는 다양한 이점이 있습니다. Scikit-learn이 지원하는 방법과 적절한 사용 사례의 간단한 표는 다음과 같습니다: + +| 방법 이름 | 사용 사례 | +| :--------------------------- | :--------------------------------------------------------------------- | +| K-Means | 일반 목적, 귀납적 | +| Affinity propagation | 많은, 고르지 않은 클러스터, 귀납적 | +| Mean-shift | 많은, 고르지 않은 클러스터, 귀납적 | +| Spectral clustering | 적은, 고른 클러스터, 전이적 | +| Ward hierarchical clustering | 많은, 제약된 클러스터, 전이적 | +| Agglomerative clustering | 많은, 제약된, 비유클리드 거리, 전이적 | +| DBSCAN | 비평면 기하학, 고르지 않은 클러스터, 전이적 | +| OPTICS | 비평면 기하학, 가변 밀도의 고르지 않은 클러스터, 전이적 | +| Gaussian mixtures | 평면 기하학, 귀납적 | +| BIRCH | 이상값이 있는 큰 데이터셋, 귀납적 | + +> 🎓 클러스터를 만드는 방법은 데이터 포인트를 그룹으로 모으는 방식과 관련이 많습니다. 일부 용어를 살펴봅시다: +> +> 🎓 ['전이적' vs. '귀납적'](https://wikipedia.org/wiki/Transduction_(machine_learning)) +> +> 전이적 추론은 특정 테스트 케이스에 매핑되는 관찰된 훈련 사례에서 파생됩니다. 귀납적 추론은 일반적인 규칙에 매핑되는 훈련 사례에서 파생되며, 그런 다음 테스트 케이스에 적용됩니다. +> +> 예를 들어, 라벨이 부분적으로 있는 데이터셋이 있다고 상상해보세요. 일부는 '레코드', 일부는 'CD', 일부는 비어 있습니다. 당신의 작업은 빈 곳에 라벨을 제공하는 것입니다. 귀납적 접근 방식을 선택하면 '레코드'와 'CD'를 찾는 모델을 훈련하고 라벨이 없는 데이터에 그 라벨을 적용합니다. 이 접근 방식은 실제로 '카세트'인 것을 분류하는 데 어려움을 겪을 것입니다. 전이적 접근 방식은 이 알려지지 않은 데이터를 보다 효과적으로 처리하며, 유사한 항목을 함께 그룹화한 다음 그룹에 라벨을 적용합니다. 이 경우 클러스터는 '둥근 음악 물건'과 '사각 음악 물건'을 반영할 수 있습니다. +> +> 🎓 ['비평면' vs. '평면' 기하학](https://datascience.stackexchange.com/questions/52260/terminology-flat-geometry-in-the-context-of-clustering) +> +> 수학 용어에서 파생된 비평면 vs. 평면 기하학은 '평면'([유클리드](https://wikipedia.org/wiki/Euclidean_geometry)) 또는 '비평면'(비유클리드) 기하학적 방법으로 점 사이의 거리를 측정하는 것을 말합니다. +> +>'평면'은 유클리드 기하학을 의미하고, '비평면'은 비유클리드 기하학을 의미합니다. 기하학이 머신 러닝과 무슨 관련이 있을까요? 두 분야 모두 수학에 뿌리를 두고 있기 때문에 클러스터 내 점 사이의 거리를 측정하는 공통된 방법이 필요하며, 이는 데이터의 성격에 따라 '평면' 또는 '비평면' 방식으로 측정될 수 있습니다. [유클리드 거리](https://wikipedia.org/wiki/Euclidean_distance)는 두 점 사이의 선분 길이로 측정됩니다. [비유클리드 거리](https://wikipedia.org/wiki/Non-Euclidean_geometry)는 곡선을 따라 측정됩니다. 데이터가 시각화되었을 때 평면에 존재하지 않는 것처럼 보이면 이를 처리하기 위해 특수 알고리즘이 필요할 수 있습니다. +> + +> 인포그래픽 by [Dasani Madipalli](https://twitter.com/dasani_decoded) +> +> 🎓 ['거리'](https://web.stanford.edu/class/cs345a/slides/12-clustering.pdf) +> +> 클러스터는 점 사이의 거리를 나타내는 거리 행렬로 정의됩니다. 이 거리는 몇 가지 방법으로 측정될 수 있습니다. 유클리드 클러스터는 점 값의 평균으로 정의되며, '중심점' 또는 중심점을 포함합니다. 거리는 중심점까지의 거리로 측정됩니다. 비유클리드 거리는 '클러스트로이드'로 참조되며, 이는 다른 점에 가장 가까운 점입니다. 클러스트로이드는 여러 가지 방법으로 정의될 수 있습니다. +> +> 🎓 ['제약된'](https://wikipedia.org/wiki/Constrained_clustering) +> +> [제약된 클러스터링](https://web.cs.ucdavis.edu/~davidson/Publications/ICDMTutorial.pdf)은 이 비지도 방법에 '반지도 학습'을 도입합니다. 점 사이의 관계는 '연결할 수 없음' 또는 '연결해야 함'으로 표시되어 데이터셋에 일부 규칙이 강제됩니다. +> +>예를 들어, 알고리즘이 라벨이 없거나 반라벨이 있는 데이터 배치에서 자유롭게 작동하면 생성된 클러스터의 품질이 낮을 수 있습니다. 위 예에서 클러스터는 '둥근 음악 물건', '사각 음악 물건', '삼각형 물건' 및 '쿠키'를 그룹화할 수 있습니다. 일부 제약 조건이나 규칙("항목은 플라스틱으로 만들어져야 합니다", "항목은 음악을 재생할 수 있어야 합니다")이 주어지면 알고리즘이 더 나은 선택을 하도록 '제약'할 수 있습니다. +> +> 🎓 '밀도' +> +> '노이즈'가 많은 데이터는 '밀도가 높다'고 간주됩니다. 각 클러스터 내 점 사이의 거리는 더 밀집되거나 '혼잡한' 것으로 나타날 수 있으며, 따라서 이 데이터는 적절한 클러스터링 방법으로 분석해야 합니다. [이 기사](https://www.kdnuggets.com/2020/02/understanding-density-based-clustering.html)는 불균일한 클러스터 밀도가 있는 노이즈 데이터셋을 탐색하기 위해 K-Means 클러스터링과 HDBSCAN 알고리즘을 사용하는 차이점을 설명합니다. + +## 클러스터링 알고리즘 + +클러스터링 알고리즘은 100개 이상 있으며, 그 사용은 데이터의 특성에 따라 달라집니다. 주요 알고리즘을 몇 가지 논의해 봅시다: + +- **계층적 클러스터링**. 객체가 먼 객체보다 가까운 객체와의 근접성에 따라 분류되면, 클러스터는 다른 객체와의 거리로 인해 형성됩니다. Scikit-learn의 응집형 클러스터링은 계층적입니다. + +  + > 인포그래픽 by [Dasani Madipalli](https://twitter.com/dasani_decoded) + +- **중심점 클러스터링**. 이 인기 있는 알고리즘은 'k' 또는 형성할 클러스터 수를 선택한 후, 알고리즘이 클러스터의 중심점을 결정하고 그 주위에 데이터를 모읍니다. [K-means 클러스터링](https://wikipedia.org/wiki/K-means_clustering)은 중심점 클러스터링의 인기 있는 버전입니다. 중심점은 가장 가까운 평균에 의해 결정되므로 이름이 붙여졌습니다. 클러스터에서의 제곱 거리가 최소화됩니다. + +  + > 인포그래픽 by [Dasani Madipalli](https://twitter.com/dasani_decoded) + +- **분포 기반 클러스터링**. 통계 모델링에 기반한 분포 기반 클러스터링은 데이터 포인트가 클러스터에 속할 확률을 결정하고 이에 따라 할당합니다. 가우시안 혼합 방법이 이 유형에 속합니다. + +- **밀도 기반 클러스터링**. 데이터 포인트는 밀도, 즉 서로 주위에 그룹화된 정도에 따라 클러스터에 할당됩니다. 그룹에서 멀리 떨어진 데이터 포인트는 이상치 또는 노이즈로 간주됩니다. DBSCAN, Mean-shift 및 OPTICS는 이 유형의 클러스터링에 속합니다. + +- **그리드 기반 클러스터링**. 다차원 데이터셋의 경우, 그리드가 생성되고 데이터는 그리드의 셀 사이에 분할되어 클러스터가 생성됩니다. + +## 실습 - 데이터 클러스터링 + +클러스터링 기술은 적절한 시각화에 크게 도움을 받으므로, 음악 데이터를 시각화하는 것으로 시작합시다. 이 실습은 이 데이터의 특성에 가장 효과적으로 사용할 클러스터링 방법을 결정하는 데 도움이 됩니다. + +1. 이 폴더의 [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/1-Visualize/notebook.ipynb) 파일을 엽니다. + +1. 좋은 데이터 시각화를 위해 `Seaborn` 패키지를 가져옵니다. + + ```python + !pip install seaborn + ``` + +1. [_nigerian-songs.csv_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/data/nigerian-songs.csv)에서 노래 데이터를 추가합니다. 노래에 대한 일부 데이터를 포함하는 데이터프레임을 로드합니다. 라이브러리를 가져오고 데이터를 덤프하여 이 데이터를 탐색할 준비를 합니다: + + ```python + import matplotlib.pyplot as plt + import pandas as pd + + df = pd.read_csv("../data/nigerian-songs.csv") + df.head() + ``` + + 데이터의 첫 몇 줄을 확인합니다: + + | | name | album | artist | artist_top_genre | release_date | length | popularity | danceability | acousticness | energy | instrumentalness | liveness | loudness | speechiness | tempo | time_signature | + | --- | ------------------------ | ---------------------------- | ------------------- | ---------------- | ------------ | ------ | ---------- | ------------ | ------------ | ------ | ---------------- | -------- | -------- | ----------- | ------- | -------------- | + | 0 | Sparky | Mandy & The Jungle | Cruel Santino | alternative r&b | 2019 | 144000 | 48 | 0.666 | 0.851 | 0.42 | 0.534 | 0.11 | -6.699 | 0.0829 | 133.015 | 5 | + | 1 | shuga rush | EVERYTHING YOU HEARD IS TRUE | Odunsi (The Engine) | afropop | 2020 | 89488 | 30 | 0.71 | 0.0822 | 0.683 | 0.000169 | 0.101 | -5.64 | 0.36 | 129.993 | 3 | + | 2 | LITT! | LITT! | AYLØ | indie r&b | 2018 | 207758 | 40 | 0.836 | 0.272 | 0.564 | 0.000537 | 0.11 | -7.127 | 0.0424 | 130.005 | 4 | + | 3 | Confident / Feeling Cool | Enjoy Your Life | Lady Donli | nigerian pop | 2019 | 175135 | 14 | 0.894 | 0.798 | 0.611 | 0.000187 | 0.0964 | -4.961 | 0.113 | 111.087 | 4 | + | 4 | wanted you | rare. | Odunsi (The Engine) | afropop | 2018 | 152049 | 25 | 0.702 | 0.116 | 0.833 | 0.91 | 0.348 | -6.044 | 0.0447 | 105.115 | 4 | + +1. `info()`를 호출하여 데이터프레임에 대한 정보를 얻습니다: + + ```python + df.info() + ``` + + 출력은 다음과 같습니다: + + ```output ++ RangeIndex: 530 entries, 0 to 529 + Data columns (total 16 columns): + # Column Non-Null Count Dtype + --- ------ -------------- ----- + 0 name 530 non-null object + 1 album 530 non-null object + 2 artist 530 non-null object + 3 artist_top_genre 530 non-null object + 4 release_date 530 non-null int64 + 5 length 530 non-null int64 + 6 popularity 530 non-null int64 + 7 danceability 530 non-null float64 + 8 acousticness 530 non-null float64 + 9 energy 530 non-null float64 + 10 instrumentalness 530 non-null float64 + 11 liveness 530 non-null float64 + 12 loudness 530 non-null float64 + 13 speechiness 530 non-null float64 + 14 tempo 530 non-null float64 + 15 time_signature 530 non-null int64 + dtypes: float64(8), int64(4), object(4) + memory usage: 66.4+ KB + ``` + +1. `isnull()`을 호출하여 null 값을 이중 확인하고 합계가 0인지 확인합니다: + + ```python + df.isnull().sum() + ``` + + 좋아 보입니다: + + ```output + name 0 + album 0 + artist 0 + artist_top_genre 0 + release_date 0 + length 0 + popularity 0 + danceability 0 + acousticness 0 + energy 0 + instrumentalness 0 + liveness 0 + loudness 0 + speechiness 0 + tempo 0 + time_signature 0 + dtype: int64 + ``` + +1. 데이터를 설명합니다: + + ```python + df.describe() + ``` + + | | release_date | length | popularity | danceability | acousticness | energy | instrumentalness | liveness | loudness | speechiness | tempo | time_signature | + | ----- | ------------ | ----------- | ---------- | ------------ | ------------ | -------- | ---------------- | -------- | --------- | ----------- | ---------- | -------------- | + | count | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | + | mean | 2015.390566 | 222298.1698 | 17.507547 | 0.741619 | 0.265412 | 0.760623 | 0.016305 | 0.147308 | -4.953011 | 0.130748 | 116.487864 | 3.986792 | + | std | 3.131688 | 39696.82226 | 18.992212 | 0.117522 | 0.208342 | 0.148533 | 0.090321 | 0.123588 | 2.464186 | 0.092 +## [강의 후 퀴즈](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/28/) + +## 복습 및 자습 + +클러스터링 알고리즘을 적용하기 전에, 우리가 배운 것처럼 데이터셋의 특성을 이해하는 것이 좋습니다. 이 주제에 대해 더 읽어보세요 [여기](https://www.kdnuggets.com/2019/10/right-clustering-algorithm.html) + +[이 유용한 기사](https://www.freecodecamp.org/news/8-clustering-algorithms-in-machine-learning-that-all-data-scientists-should-know/)는 다양한 클러스터링 알고리즘이 다양한 데이터 형태에서 어떻게 동작하는지 안내합니다. + +## 과제 + +[클러스터링을 위한 다른 시각화 연구하기](assignment.md) + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있지만 자동 번역에는 오류나 부정확성이 있을 수 있습니다. 원어로 작성된 원본 문서를 권위 있는 자료로 간주해야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/5-Clustering/1-Visualize/assignment.md b/translations/ko/5-Clustering/1-Visualize/assignment.md new file mode 100644 index 000000000..12ae1b988 --- /dev/null +++ b/translations/ko/5-Clustering/1-Visualize/assignment.md @@ -0,0 +1,14 @@ +# 클러스터링을 위한 다른 시각화 연구 + +## 지침 + +이 강의에서는 데이터를 클러스터링하기 위해 시각화 기법을 사용하는 방법을 배웠습니다. 특히 산점도는 객체 그룹을 찾는 데 유용합니다. 산점도를 만드는 다양한 방법과 라이브러리를 조사하고, 조사한 내용을 노트북에 문서화하세요. 이 강의의 데이터, 다른 강의의 데이터 또는 직접 수집한 데이터를 사용할 수 있습니다 (그러나 노트북에 출처를 명시해 주세요). 산점도를 사용하여 데이터를 플로팅하고 발견한 내용을 설명하세요. + +## 평가 기준 + +| 기준 | 우수한 경우 | 적절한 경우 | 개선이 필요한 경우 | +| ------- | -------------------------------------------------------------- | -------------------------------------------------------------------------------------- | ----------------------------------- | +| | 다섯 개의 잘 문서화된 산점도가 포함된 노트북을 제출했습니다. | 다섯 개 미만의 산점도가 포함되고 문서화가 덜 된 노트북을 제출했습니다. | 불완전한 노트북을 제출했습니다. | + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하지만 자동 번역에는 오류나 부정확성이 포함될 수 있습니다. 원본 문서의 원어를 권위 있는 출처로 간주해야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역의 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/5-Clustering/1-Visualize/solution/Julia/README.md b/translations/ko/5-Clustering/1-Visualize/solution/Julia/README.md new file mode 100644 index 000000000..8876a7631 --- /dev/null +++ b/translations/ko/5-Clustering/1-Visualize/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있지만 자동 번역에는 오류나 부정확성이 포함될 수 있습니다. 원본 문서를 해당 언어로 작성된 상태로 권위 있는 출처로 간주해야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역을 사용하여 발생하는 오해나 오역에 대해 당사는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/5-Clustering/2-K-Means/README.md b/translations/ko/5-Clustering/2-K-Means/README.md new file mode 100644 index 000000000..098f18a2f --- /dev/null +++ b/translations/ko/5-Clustering/2-K-Means/README.md @@ -0,0 +1,250 @@ +# K-Means 클러스터링 + +## [Pre-lecture quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/29/) + +이 강의에서는 Scikit-learn과 이전에 가져온 나이지리아 음악 데이터셋을 사용하여 클러스터를 만드는 방법을 배웁니다. 우리는 클러스터링을 위한 K-Means의 기본 사항을 다룰 것입니다. 이전 강의에서 배운 것처럼, 클러스터를 다루는 방법에는 여러 가지가 있으며 사용 방법은 데이터에 따라 다릅니다. 가장 일반적인 클러스터링 기술인 K-Means를 시도해 보겠습니다. 시작해볼까요! + +배울 용어들: + +- 실루엣 점수 +- 엘보우 방법 +- 관성 +- 분산 + +## 소개 + +[K-Means 클러스터링](https://wikipedia.org/wiki/K-means_clustering)은 신호 처리 분야에서 파생된 방법입니다. 일련의 관찰을 사용하여 데이터를 'k' 클러스터로 나누고 분할하는 데 사용됩니다. 각 관찰은 주어진 데이터 포인트를 가장 가까운 '평균' 또는 클러스터의 중심점에 그룹화하는 역할을 합니다. + +클러스터는 점(또는 '씨앗')과 해당 영역을 포함하는 [보로노이 다이어그램](https://wikipedia.org/wiki/Voronoi_diagram)으로 시각화할 수 있습니다. + + + +> 인포그래픽 by [Jen Looper](https://twitter.com/jenlooper) + +K-Means 클러스터링 과정은 [세 단계로 실행됩니다](https://scikit-learn.org/stable/modules/clustering.html#k-means): + +1. 알고리즘은 데이터셋에서 샘플링하여 k-개의 중심점을 선택합니다. 이후 반복합니다: + 1. 각 샘플을 가장 가까운 중심점에 할당합니다. + 2. 이전 중심점에 할당된 모든 샘플의 평균 값을 취하여 새로운 중심점을 만듭니다. + 3. 그런 다음 새로운 중심점과 이전 중심점의 차이를 계산하고 중심점이 안정화될 때까지 반복합니다. + +K-Means를 사용할 때의 한 가지 단점은 'k', 즉 중심점의 수를 설정해야 한다는 것입니다. 다행히도 '엘보우 방법'은 'k'의 좋은 시작 값을 추정하는 데 도움이 됩니다. 곧 시도해 보겠습니다. + +## 전제 조건 + +이 강의의 [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/2-K-Means/notebook.ipynb) 파일에서 작업할 것입니다. 이 파일에는 이전 강의에서 수행한 데이터 가져오기 및 초기 정리가 포함되어 있습니다. + +## 연습 - 준비 + +노래 데이터를 다시 한 번 살펴보세요. + +1. 각 열에 대해 `boxplot()`를 호출하여 박스플롯을 생성합니다: + + ```python + plt.figure(figsize=(20,20), dpi=200) + + plt.subplot(4,3,1) + sns.boxplot(x = 'popularity', data = df) + + plt.subplot(4,3,2) + sns.boxplot(x = 'acousticness', data = df) + + plt.subplot(4,3,3) + sns.boxplot(x = 'energy', data = df) + + plt.subplot(4,3,4) + sns.boxplot(x = 'instrumentalness', data = df) + + plt.subplot(4,3,5) + sns.boxplot(x = 'liveness', data = df) + + plt.subplot(4,3,6) + sns.boxplot(x = 'loudness', data = df) + + plt.subplot(4,3,7) + sns.boxplot(x = 'speechiness', data = df) + + plt.subplot(4,3,8) + sns.boxplot(x = 'tempo', data = df) + + plt.subplot(4,3,9) + sns.boxplot(x = 'time_signature', data = df) + + plt.subplot(4,3,10) + sns.boxplot(x = 'danceability', data = df) + + plt.subplot(4,3,11) + sns.boxplot(x = 'length', data = df) + + plt.subplot(4,3,12) + sns.boxplot(x = 'release_date', data = df) + ``` + + 이 데이터는 약간 시끄럽습니다: 각 열을 박스플롯으로 관찰함으로써 이상치를 확인할 수 있습니다. + +  + +데이터셋을 통해 이러한 이상치를 제거할 수 있지만, 그렇게 하면 데이터가 매우 최소화될 것입니다. + +1. 이제 클러스터링 연습에 사용할 열을 선택하세요. 유사한 범위를 가진 열을 선택하고 `artist_top_genre` 열을 숫자 데이터로 인코딩하세요: + + ```python + from sklearn.preprocessing import LabelEncoder + le = LabelEncoder() + + X = df.loc[:, ('artist_top_genre','popularity','danceability','acousticness','loudness','energy')] + + y = df['artist_top_genre'] + + X['artist_top_genre'] = le.fit_transform(X['artist_top_genre']) + + y = le.transform(y) + ``` + +1. 이제 몇 개의 클러스터를 타겟으로 할지 선택해야 합니다. 데이터셋에서 3개의 노래 장르를 추출했으므로 3개를 시도해 보겠습니다: + + ```python + from sklearn.cluster import KMeans + + nclusters = 3 + seed = 0 + + km = KMeans(n_clusters=nclusters, random_state=seed) + km.fit(X) + + # Predict the cluster for each data point + + y_cluster_kmeans = km.predict(X) + y_cluster_kmeans + ``` + +데이터프레임의 각 행에 대해 예측된 클러스터(0, 1 또는 2)가 포함된 배열이 출력됩니다. + +1. 이 배열을 사용하여 '실루엣 점수'를 계산합니다: + + ```python + from sklearn import metrics + score = metrics.silhouette_score(X, y_cluster_kmeans) + score + ``` + +## 실루엣 점수 + +실루엣 점수가 1에 가까운지 확인하세요. 이 점수는 -1에서 1까지 변하며, 점수가 1이면 클러스터가 밀집되고 다른 클러스터와 잘 분리된 것을 의미합니다. 0에 가까운 값은 샘플이 이웃 클러스터의 결정 경계에 매우 가까운 중첩된 클러스터를 나타냅니다. [(출처)](https://dzone.com/articles/kmeans-silhouette-score-explained-with-python-exam) + +우리의 점수는 **.53**으로 중간에 위치합니다. 이는 데이터가 이 유형의 클러스터링에 특히 적합하지 않음을 나타내지만 계속 진행해 보겠습니다. + +### 연습 - 모델 구축 + +1. `KMeans`를 가져오고 클러스터링 과정을 시작합니다. + + ```python + from sklearn.cluster import KMeans + wcss = [] + + for i in range(1, 11): + kmeans = KMeans(n_clusters = i, init = 'k-means++', random_state = 42) + kmeans.fit(X) + wcss.append(kmeans.inertia_) + + ``` + + 여기에는 설명할 부분이 몇 가지 있습니다. + + > 🎓 range: 클러스터링 과정의 반복 횟수 + + > 🎓 random_state: "중심점 초기화를 위한 난수 생성 결정." [출처](https://scikit-learn.org/stable/modules/generated/sklearn.cluster.KMeans.html#sklearn.cluster.KMeans) + + > 🎓 WCSS: "클러스터 내 제곱합"은 클러스터 내의 모든 점이 클러스터 중심점에서 평균적으로 얼마나 떨어져 있는지를 측정합니다. [출처](https://medium.com/@ODSC/unsupervised-learning-evaluating-clusters-bd47eed175ce). + + > 🎓 관성: K-Means 알고리즘은 클러스터가 내부적으로 얼마나 일관된지를 측정하는 '관성'을 최소화하기 위해 중심점을 선택하려고 합니다. [출처](https://scikit-learn.org/stable/modules/clustering.html). 값은 각 반복에서 wcss 변수에 추가됩니다. + + > 🎓 k-means++: [Scikit-learn](https://scikit-learn.org/stable/modules/clustering.html#k-means)에서는 'k-means++' 최적화를 사용할 수 있습니다. 이는 중심점을 서로 멀리 떨어진 곳에 초기화하여 무작위 초기화보다 더 나은 결과를 얻을 수 있습니다. + +### 엘보우 방법 + +이전에 3개의 노래 장르를 타겟으로 했기 때문에 3개의 클러스터를 선택해야 한다고 추측했습니다. 하지만 정말 그럴까요? + +1. '엘보우 방법'을 사용하여 확인해 보세요. + + ```python + plt.figure(figsize=(10,5)) + sns.lineplot(x=range(1, 11), y=wcss, marker='o', color='red') + plt.title('Elbow') + plt.xlabel('Number of clusters') + plt.ylabel('WCSS') + plt.show() + ``` + + 이전 단계에서 생성한 `wcss` 변수를 사용하여 엘보우의 '굽힘'을 나타내는 차트를 생성합니다. 이는 최적의 클러스터 수를 나타냅니다. 아마도 **3**일 것입니다! + +  + +## 연습 - 클러스터 표시 + +1. 이번에는 3개의 클러스터를 설정하고 클러스터를 산점도로 표시합니다: + + ```python + from sklearn.cluster import KMeans + kmeans = KMeans(n_clusters = 3) + kmeans.fit(X) + labels = kmeans.predict(X) + plt.scatter(df['popularity'],df['danceability'],c = labels) + plt.xlabel('popularity') + plt.ylabel('danceability') + plt.show() + ``` + +1. 모델의 정확도를 확인합니다: + + ```python + labels = kmeans.labels_ + + correct_labels = sum(y == labels) + + print("Result: %d out of %d samples were correctly labeled." % (correct_labels, y.size)) + + print('Accuracy score: {0:0.2f}'. format(correct_labels/float(y.size))) + ``` + + 이 모델의 정확도는 그다지 좋지 않으며, 클러스터의 모양이 그 이유를 암시합니다. + +  + + 이 데이터는 너무 불균형하고, 상관관계가 적으며, 열 값 간의 분산이 너무 커서 잘 클러스터링되지 않습니다. 사실, 형성된 클러스터는 아마도 우리가 위에서 정의한 세 가지 장르 카테고리에 의해 크게 영향을 받거나 왜곡되었을 것입니다. 이것은 학습 과정이었습니다! + + Scikit-learn의 문서에서는 이 모델처럼 클러스터가 잘 구분되지 않는 모델은 '분산' 문제를 가지고 있다고 볼 수 있습니다: + +  + > 인포그래픽 from Scikit-learn + +## 분산 + +분산은 "평균에서 제곱된 차이의 평균"으로 정의됩니다 [(출처)](https://www.mathsisfun.com/data/standard-deviation.html). 이 클러스터링 문제의 맥락에서 이는 데이터셋의 숫자가 평균에서 너무 많이 벗어나는 경향이 있음을 의미합니다. + +✅ 이 문제를 해결할 수 있는 모든 방법을 생각해볼 좋은 순간입니다. 데이터를 조금 더 조정할까요? 다른 열을 사용할까요? 다른 알고리즘을 사용할까요? 힌트: 데이터를 [스케일링](https://www.mygreatlearning.com/blog/learning-data-science-with-k-means-clustering/)하여 정규화하고 다른 열을 테스트해 보세요. + +> 이 '[분산 계산기](https://www.calculatorsoup.com/calculators/statistics/variance-calculator.php)'를 사용하여 개념을 조금 더 이해해 보세요. + +--- + +## 🚀도전 과제 + +이 노트북을 사용하여 매개변수를 조정하는 데 시간을 할애하세요. 데이터를 더 정리(예: 이상치 제거)하여 모델의 정확도를 향상시킬 수 있나요? 특정 데이터 샘플에 더 많은 가중치를 부여할 수 있습니다. 더 나은 클러스터를 만들기 위해 무엇을 할 수 있을까요? + +힌트: 데이터를 스케일링해 보세요. 노트북에 데이터 열이 범위 면에서 서로 더 비슷하게 보이도록 표준 스케일링을 추가하는 주석 코드가 있습니다. 실루엣 점수가 낮아지더라도 엘보우 그래프의 '굽힘'이 부드러워집니다. 이는 데이터가 스케일링되지 않은 상태에서는 분산이 적은 데이터가 더 많은 가중치를 가지게 되기 때문입니다. 이 문제에 대해 더 읽어보세요 [여기](https://stats.stackexchange.com/questions/21222/are-mean-normalization-and-feature-scaling-needed-for-k-means-clustering/21226#21226). + +## [Post-lecture quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/30/) + +## 복습 및 자습 + +[K-Means 시뮬레이터](https://user.ceng.metu.edu.tr/~akifakkus/courses/ceng574/k-means/)를 살펴보세요. 이 도구를 사용하여 샘플 데이터 포인트를 시각화하고 중심점을 결정할 수 있습니다. 데이터의 무작위성, 클러스터 수 및 중심점 수를 편집할 수 있습니다. 이 도구가 데이터가 어떻게 그룹화될 수 있는지 이해하는 데 도움이 되나요? + +또한 [스탠포드의 K-Means 핸드아웃](https://stanford.edu/~cpiech/cs221/handouts/kmeans.html)을 살펴보세요. + +## 과제 + +[다른 클러스터링 방법 시도](assignment.md) + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있지만, 자동 번역에는 오류나 부정확성이 포함될 수 있습니다. 원본 문서의 본래 언어가 권위 있는 출처로 간주되어야 합니다. 중요한 정보에 대해서는 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 오역에 대해 당사는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/5-Clustering/2-K-Means/assignment.md b/translations/ko/5-Clustering/2-K-Means/assignment.md new file mode 100644 index 000000000..bc6fab037 --- /dev/null +++ b/translations/ko/5-Clustering/2-K-Means/assignment.md @@ -0,0 +1,13 @@ +# 다양한 클러스터링 방법 시도해보기 + +## 지침 + +이 강의에서는 K-Means 클러스터링에 대해 배웠습니다. 때때로 K-Means는 데이터에 적합하지 않을 수 있습니다. 이 강의나 다른 출처의 데이터를 사용하여 노트북을 만들어, K-Means를 사용하지 않는 다른 클러스터링 방법을 보여주세요. 무엇을 배웠나요? 출처를 명시하세요. +## 평가 기준 + +| 기준 | 우수 | 적절 | 개선 필요 | +| -------- | ------------------------------------------------------------- | ---------------------------------------------------------------- | -------------------------- | +| | 잘 문서화된 클러스터링 모델이 있는 노트북이 제시됨 | 문서화가 잘 안 되었거나 불완전한 노트북이 제시됨 | 불완전한 작업이 제출됨 | + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있지만 자동 번역에는 오류나 부정확성이 포함될 수 있습니다. 원본 문서는 해당 언어로 작성된 것이 권위 있는 자료로 간주되어야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/5-Clustering/2-K-Means/solution/Julia/README.md b/translations/ko/5-Clustering/2-K-Means/solution/Julia/README.md new file mode 100644 index 000000000..9dff5f2c8 --- /dev/null +++ b/translations/ko/5-Clustering/2-K-Means/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있지만 자동 번역에는 오류나 부정확성이 있을 수 있습니다. 원본 문서를 권위 있는 출처로 간주해야 합니다. 중요한 정보에 대해서는 전문 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/5-Clustering/README.md b/translations/ko/5-Clustering/README.md new file mode 100644 index 000000000..c5d04278f --- /dev/null +++ b/translations/ko/5-Clustering/README.md @@ -0,0 +1,31 @@ +# 머신 러닝을 위한 클러스터링 모델 + +클러스터링은 서로 유사한 객체들을 찾아내어 클러스터라고 불리는 그룹으로 묶는 머신 러닝 작업입니다. 클러스터링이 머신 러닝의 다른 접근 방식과 다른 점은 모든 것이 자동으로 이루어진다는 것입니다. 사실, 이는 지도 학습과는 정반대라고 할 수 있습니다. + +## 지역 주제: 나이지리아 청중의 음악 취향을 위한 클러스터링 모델 🎧 + +나이지리아의 다양한 청중은 다양한 음악 취향을 가지고 있습니다. [이 기사](https://towardsdatascience.com/country-wise-visual-analysis-of-music-taste-using-spotify-api-seaborn-in-python-77f5b749b421)에서 영감을 받아 Spotify에서 수집한 데이터를 사용하여 나이지리아에서 인기 있는 음악을 살펴보겠습니다. 이 데이터셋에는 다양한 노래의 '댄서빌리티' 점수, '어쿠스틱성', 음량, '스피치니스', 인기도 및 에너지에 대한 데이터가 포함되어 있습니다. 이 데이터에서 패턴을 발견하는 것은 흥미로울 것입니다! + + + +> 사진 출처: Marcela Laskoski on Unsplash + +이 일련의 수업에서 클러스터링 기법을 사용하여 데이터를 분석하는 새로운 방법을 발견할 것입니다. 클러스터링은 데이터셋에 레이블이 없는 경우 특히 유용합니다. 레이블이 있는 경우 이전 수업에서 배운 분류 기법이 더 유용할 수 있습니다. 그러나 레이블이 없는 데이터를 그룹화하려는 경우 클러스터링은 패턴을 발견하는 훌륭한 방법입니다. + +> 클러스터링 모델 작업에 대해 배우는 데 도움이 되는 유용한 로우 코드 도구가 있습니다. [Azure ML을 사용해 보세요](https://docs.microsoft.com/learn/modules/create-clustering-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott) + +## 수업 + +1. [클러스터링 소개](1-Visualize/README.md) +2. [K-Means 클러스터링](2-K-Means/README.md) + +## 크레딧 + +이 수업은 [Jen Looper](https://www.twitter.com/jenlooper)가 작성하고, [Rishit Dagli](https://rishit_dagli)와 [Muhammad Sakib Khan Inan](https://twitter.com/Sakibinan)의 유익한 리뷰로 완성되었습니다. + +[Nigerian Songs](https://www.kaggle.com/sootersaalu/nigerian-songs-spotify) 데이터셋은 Kaggle에서 Spotify에서 수집된 데이터를 기반으로 한 것입니다. + +이 수업을 만드는 데 도움이 된 유용한 K-Means 예제에는 이 [iris exploration](https://www.kaggle.com/bburns/iris-exploration-pca-k-means-and-gmm-clustering), 이 [introductory notebook](https://www.kaggle.com/prashant111/k-means-clustering-with-python), 그리고 이 [hypothetical NGO example](https://www.kaggle.com/ankandash/pca-k-means-clustering-hierarchical-clustering)이 포함됩니다. + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 우리는 정확성을 위해 노력하지만, 자동 번역에는 오류나 부정확성이 포함될 수 있습니다. 원어로 작성된 원본 문서를 권위 있는 자료로 간주해야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해서는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/6-NLP/1-Introduction-to-NLP/README.md b/translations/ko/6-NLP/1-Introduction-to-NLP/README.md new file mode 100644 index 000000000..d5f820eac --- /dev/null +++ b/translations/ko/6-NLP/1-Introduction-to-NLP/README.md @@ -0,0 +1,168 @@ +# 자연어 처리 소개 + +이 강의에서는 *계산 언어학*의 하위 분야인 *자연어 처리*의 간략한 역사와 중요한 개념을 다룹니다. + +## [강의 전 퀴즈](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/31/) + +## 소개 + +일반적으로 NLP라고 알려진 자연어 처리는 기계 학습이 적용되고 생산 소프트웨어에서 사용되는 가장 잘 알려진 분야 중 하나입니다. + +✅ 매일 사용하는 소프트웨어 중 일부에 NLP가 포함되어 있을 것 같은 소프트웨어를 생각해 보세요. 자주 사용하는 워드 프로세싱 프로그램이나 모바일 앱은 어떤가요? + +다음 내용을 배울 것입니다: + +- **언어의 개념**. 언어가 어떻게 발전했는지와 주요 연구 분야가 무엇인지. +- **정의와 개념**. 컴퓨터가 텍스트를 처리하는 방법, 구문 분석, 문법, 명사와 동사를 식별하는 방법 등에 대한 정의와 개념을 배울 것입니다. 이 강의에는 몇 가지 코딩 과제가 있으며, 다음 강의에서 코딩을 배우게 될 중요한 개념들이 소개됩니다. + +## 계산 언어학 + +계산 언어학은 수십 년에 걸쳐 연구되고 개발된 분야로, 컴퓨터가 언어와 함께 작업하고 심지어 이해하고 번역하고 의사소통할 수 있는 방법을 연구합니다. 자연어 처리(NLP)는 컴퓨터가 '자연어', 즉 인간 언어를 처리하는 방법에 중점을 둔 관련 분야입니다. + +### 예시 - 전화 받아쓰기 + +전화 대신 음성을 받아쓰거나 가상 비서에게 질문한 적이 있다면, 당신의 음성은 텍스트 형식으로 변환된 후 당신이 말한 언어로부터 *구문 분석*되었을 것입니다. 감지된 키워드는 전화나 비서가 이해하고 실행할 수 있는 형식으로 처리되었습니다. + + +> 실제 언어 이해는 어렵습니다! 이미지 출처: [Jen Looper](https://twitter.com/jenlooper) + +### 이 기술은 어떻게 가능할까요? + +이것은 누군가가 이를 수행하는 컴퓨터 프로그램을 작성했기 때문에 가능합니다. 몇 십 년 전, 몇몇 공상 과학 작가들은 사람들이 대부분 컴퓨터와 대화할 것이며 컴퓨터는 항상 그들의 의미를 정확히 이해할 것이라고 예측했습니다. 안타깝게도, 이는 많은 사람들이 상상한 것보다 더 어려운 문제로 밝혀졌으며, 오늘날에는 훨씬 더 잘 이해되는 문제이지만 문장의 의미를 이해하는 '완벽한' 자연어 처리를 달성하는 데에는 여전히 상당한 도전 과제가 있습니다. 특히 유머를 이해하거나 문장에서 풍자를 감지하는 것은 매우 어려운 문제입니다. + +이 시점에서 학교 수업에서 문장의 문법 부분을 다루었던 수업을 기억할 수도 있습니다. 일부 국가에서는 학생들이 문법과 언어학을 전용 과목으로 배우지만, 많은 국가에서는 이러한 주제가 언어를 배우는 과정의 일부로 포함됩니다: 초등학교에서 모국어를 배우거나(읽기와 쓰기 배우기) 중등학교나 고등학교에서 제2외국어를 배우는 과정에서. 명사와 동사 또는 부사와 형용사를 구분하는 전문가가 아니더라도 걱정하지 마세요! + +*단순 현재*와 *현재 진행형*의 차이점을 이해하는 데 어려움을 겪는다면, 당신은 혼자가 아닙니다. 이는 많은 사람들, 심지어 언어의 원어민에게도 도전적인 문제입니다. 좋은 소식은 컴퓨터가 공식 규칙을 적용하는 데 매우 능숙하다는 것이며, 인간처럼 문장을 *구문 분석*할 수 있는 코드를 작성하는 방법을 배우게 될 것입니다. 나중에 검토할 더 큰 도전 과제는 문장의 *의미*와 *감정*을 이해하는 것입니다. + +## 전제 조건 + +이 강의를 위해 주된 전제 조건은 이 강의의 언어를 읽고 이해할 수 있는 것입니다. 수학 문제나 방정식을 풀 필요는 없습니다. 원래 저자가 이 강의를 영어로 작성했지만, 다른 언어로 번역되었을 수도 있으므로 번역본을 읽고 있을 수도 있습니다. 여러 언어의 문법 규칙을 비교하기 위해 여러 언어가 사용된 예가 있습니다. 이러한 예는 번역되지 않지만, 설명 텍스트는 번역되므로 의미가 명확해야 합니다. + +코딩 과제에서는 Python을 사용하며 예제는 Python 3.8을 사용합니다. + +이 섹션에서는 다음이 필요하고 사용됩니다: + +- **Python 3 이해**. Python 3의 프로그래밍 언어 이해, 이 강의에서는 입력, 루프, 파일 읽기, 배열을 사용합니다. +- **Visual Studio Code + 확장**. Visual Studio Code와 Python 확장을 사용할 것입니다. 원하는 Python IDE를 사용할 수도 있습니다. +- **TextBlob**. [TextBlob](https://github.com/sloria/TextBlob)은 Python용 간단한 텍스트 처리 라이브러리입니다. TextBlob 사이트의 지침에 따라 시스템에 설치하세요(아래와 같이 말뭉치도 설치하세요): + + ```bash + pip install -U textblob + python -m textblob.download_corpora + ``` + +> 💡 팁: VS Code 환경에서 Python을 직접 실행할 수 있습니다. 자세한 내용은 [문서](https://code.visualstudio.com/docs/languages/python?WT.mc_id=academic-77952-leestott)를 확인하세요. + +## 기계와 대화하기 + +컴퓨터가 인간의 언어를 이해하려는 역사는 수십 년 전으로 거슬러 올라가며, 자연어 처리를 처음으로 고려한 과학자 중 한 명은 *앨런 튜링*이었습니다. + +### '튜링 테스트' + +튜링이 1950년대에 *인공지능*을 연구할 때, 인간과 컴퓨터(타이핑으로)에게 대화 테스트를 제공하여 대화 중인 인간이 다른 인간과 대화하고 있는지 컴퓨터와 대화하고 있는지 확신할 수 없는 상황을 고려했습니다. + +일정 길이의 대화 후에 인간이 컴퓨터의 답변인지 아닌지를 판단할 수 없다면, 컴퓨터가 *생각*한다고 할 수 있을까요? + +### 영감 - '모방 게임' + +이 아이디어는 *모방 게임*이라는 파티 게임에서 영감을 받았습니다. 이 게임에서 조사관은 방에 혼자 있고 다른 방에 있는 두 사람 중 각각이 남자인지 여자인지를 판단해야 합니다. 조사관은 메모를 보낼 수 있으며, 작성된 답변이 신비한 사람의 성별을 드러내는 질문을 생각해내야 합니다. 물론, 다른 방에 있는 플레이어들은 조사관을 혼란스럽게 하거나 오도하는 방식으로 질문에 답변하려고 하면서도 정직하게 답변하는 모습을 보이려고 합니다. + +### 엘리자 개발 + +1960년대에 MIT 과학자인 *조셉 바이젠바움*은 [*엘리자*](https://wikipedia.org/wiki/ELIZA)라는 컴퓨터 '치료사'를 개발하여 인간에게 질문을 하고 그들의 답변을 이해하는 듯한 모습을 보였습니다. 그러나 엘리자는 문장을 구문 분석하고 특정 문법 구조와 키워드를 식별하여 합리적인 답변을 제공할 수 있었지만, 문장을 *이해*한다고 할 수는 없었습니다. 엘리자가 "**나는** 슬프다" 형식의 문장을 받으면 "얼마나 오랫동안 **당신은** 슬펐나요"라는 답변을 만들기 위해 문장을 재구성하고 단어를 대체할 수 있었습니다. + +이는 엘리자가 진술을 이해하고 후속 질문을 하고 있는 듯한 인상을 주었지만, 실제로는 시제를 변경하고 몇 가지 단어를 추가한 것이었습니다. 엘리자가 답변할 키워드를 식별할 수 없으면, 대신 여러 다른 진술에 적용될 수 있는 임의의 답변을 제공했습니다. 예를 들어 사용자가 "**당신은** 자전거입니다"라고 작성하면, 엘리자는 "얼마나 오랫동안 **나는** 자전거였나요?"라는 답변을 제공할 수 있으며, 이는 더 합리적인 답변이 아닙니다. + +[](https://youtu.be/RMK9AphfLco "엘리자와 대화하기") + +> 🎥 위 이미지를 클릭하면 원래 엘리자 프로그램에 대한 비디오를 볼 수 있습니다 + +> 참고: 1966년에 발표된 [엘리자](https://cacm.acm.org/magazines/1966/1/13317-elizaa-computer-program-for-the-study-of-natural-language-communication-between-man-and-machine/abstract)의 원본 설명을 ACM 계정이 있으면 읽을 수 있습니다. 또는 [위키백과](https://wikipedia.org/wiki/ELIZA)에서 엘리자에 대해 읽어보세요. + +## 실습 - 기본 대화형 봇 코딩 + +엘리자와 같은 대화형 봇은 사용자 입력을 유도하고 이해하고 지능적으로 응답하는 것처럼 보이는 프로그램입니다. 엘리자와 달리, 우리의 봇은 지능적인 대화를 하는 것처럼 보이기 위해 여러 규칙을 가지지 않을 것입니다. 대신, 우리의 봇은 거의 모든 사소한 대화에서 작동할 수 있는 임의의 응답을 제공하여 대화를 계속할 수 있는 능력만을 가질 것입니다. + +### 계획 + +대화형 봇을 만들 때의 단계: + +1. 사용자가 봇과 상호작용하는 방법을 알려주는 지침을 출력합니다. +2. 루프를 시작합니다. + 1. 사용자 입력을 받습니다. + 2. 사용자가 종료를 요청했으면 종료합니다. + 3. 사용자 입력을 처리하고 응답을 결정합니다(이 경우 응답은 가능한 일반적인 응답 목록에서 임의로 선택됩니다). + 4. 응답을 출력합니다. +3. 2단계로 다시 돌아갑니다. + +### 봇 만들기 + +다음으로 봇을 만들어 보겠습니다. 몇 가지 문구를 정의하는 것부터 시작하겠습니다. + +1. 다음과 같은 임의의 응답을 사용하는 Python으로 직접 봇을 만드세요: + + ```python + random_responses = ["That is quite interesting, please tell me more.", + "I see. Do go on.", + "Why do you say that?", + "Funny weather we've been having, isn't it?", + "Let's change the subject.", + "Did you catch the game last night?"] + ``` + + 아래는 샘플 출력입니다(사용자 입력은 `>`로 시작하는 줄에 있습니다): + + ```output + Hello, I am Marvin, the simple robot. + You can end this conversation at any time by typing 'bye' + After typing each answer, press 'enter' + How are you today? + > I am good thanks + That is quite interesting, please tell me more. + > today I went for a walk + Did you catch the game last night? + > I did, but my team lost + Funny weather we've been having, isn't it? + > yes but I hope next week is better + Let's change the subject. + > ok, lets talk about music + Why do you say that? + > because I like music! + Why do you say that? + > bye + It was nice talking to you, goodbye! + ``` + + 작업에 대한 가능한 해결책은 [여기](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/1-Introduction-to-NLP/solution/bot.py)에서 확인할 수 있습니다. + + ✅ 멈추고 고려해보세요 + + 1. 임의의 응답이 봇이 실제로 사용자를 이해한다고 생각하게 만들 수 있을까요? + 2. 봇이 더 효과적이기 위해 어떤 기능이 필요할까요? + 3. 봇이 문장의 의미를 실제로 이해할 수 있다면, 대화 중 이전 문장의 의미를 '기억'해야 할까요? + +--- + +## 🚀도전 + +위의 "멈추고 고려해보세요" 요소 중 하나를 선택하고 이를 코드로 구현하거나 의사 코드로 종이에 해결책을 작성해보세요. + +다음 강의에서는 자연어를 구문 분석하고 기계 학습을 사용하는 여러 가지 접근 방식을 배울 것입니다. + +## [강의 후 퀴즈](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/32/) + +## 복습 및 자습 + +아래 참고 자료를 살펴보세요. + +### 참고 자료 + +1. Schubert, Lenhart, "Computational Linguistics", *The Stanford Encyclopedia of Philosophy* (Spring 2020 Edition), Edward N. Zalta (ed.), URL =
+
+Here γ is the so-called **discount factor** that determines to which extent you should prefer the current reward over the future reward and vice versa.
+
+## Learning Algorithm
+
+Given the equation above, we can now write pseudo-code for our learning algorithm:
+
+* Initialize Q-Table Q with equal numbers for all states and actions
+* Set learning rate α ← 1
+* Repeat simulation many times
+ 1. Start at random position
+ 1. Repeat
+ 1. Select an action *a* at state *s*
+ 2. Execute action by moving to a new state *s'*
+ 3. If we encounter end-of-game condition, or total reward is too small - exit simulation
+ 4. Compute reward *r* at the new state
+ 5. Update Q-Function according to Bellman equation: *Q(s,a)* ← *(1-α)Q(s,a)+α(r+γ maxa'Q(s',a'))*
+ 6. *s* ← *s'*
+ 7. Update the total reward and decrease α.
+
+## Exploit vs. explore
+
+In the algorithm above, we did not specify how exactly we should choose an action at step 2.1. If we are choosing the action randomly, we will randomly **explore** the environment, and we are quite likely to die often as well as explore areas where we would not normally go. An alternative approach would be to **exploit** the Q-Table values that we already know, and thus to choose the best action (with higher Q-Table value) at state *s*. This, however, will prevent us from exploring other states, and it's likely we might not find the optimal solution.
+
+Thus, the best approach is to strike a balance between exploration and exploitation. This can be done by choosing the action at state *s* with probabilities proportional to values in the Q-Table. In the beginning, when Q-Table values are all the same, it would correspond to a random selection, but as we learn more about our environment, we would be more likely to follow the optimal route while allowing the agent to choose the unexplored path once in a while.
+
+## Python implementation
+
+We are now ready to implement the learning algorithm. Before we do that, we also need some function that will convert arbitrary numbers in the Q-Table into a vector of probabilities for corresponding actions.
+
+1. Create a function `probs()`에 전달할 수 있습니다:
+
+ ```python
+ def probs(v,eps=1e-4):
+ v = v-v.min()+eps
+ v = v/v.sum()
+ return v
+ ```
+
+ 초기 상태에서 모든 벡터 구성 요소가 동일할 때 0으로 나누는 것을 피하기 위해 원래 벡터에 몇 개의 `eps`를 추가합니다.
+
+5000번의 실험을 통해 학습 알고리즘을 실행합니다. 이는 **에포크**라고도 합니다: (코드 블록 8)
+```python
+ for epoch in range(5000):
+
+ # Pick initial point
+ m.random_start()
+
+ # Start travelling
+ n=0
+ cum_reward = 0
+ while True:
+ x,y = m.human
+ v = probs(Q[x,y])
+ a = random.choices(list(actions),weights=v)[0]
+ dpos = actions[a]
+ m.move(dpos,check_correctness=False) # we allow player to move outside the board, which terminates episode
+ r = reward(m)
+ cum_reward += r
+ if r==end_reward or cum_reward < -1000:
+ lpath.append(n)
+ break
+ alpha = np.exp(-n / 10e5)
+ gamma = 0.5
+ ai = action_idx[a]
+ Q[x,y,ai] = (1 - alpha) * Q[x,y,ai] + alpha * (r + gamma * Q[x+dpos[0], y+dpos[1]].max())
+ n+=1
+```
+
+이 알고리즘을 실행한 후 Q-테이블은 각 단계에서 다양한 행동의 매력을 정의하는 값으로 업데이트되어야 합니다. Q-테이블을 시각화하여 각 셀에서 이동 방향을 가리키는 벡터를 그려볼 수 있습니다. 간단히 화살표 머리 대신 작은 원을 그립니다.
+
+## 정책 확인
+
+Q-테이블은 각 상태에서 각 행동의 "매력도"를 나열하므로 이를 사용하여 우리 세계에서 효율적인 탐색을 정의하는 것이 매우 쉽습니다. 가장 간단한 경우, Q-테이블 값이 가장 높은 행동을 선택할 수 있습니다: (코드 블록 9)
+
+```python
+def qpolicy_strict(m):
+ x,y = m.human
+ v = probs(Q[x,y])
+ a = list(actions)[np.argmax(v)]
+ return a
+
+walk(m,qpolicy_strict)
+```
+
+> 위 코드를 여러 번 시도해보면 가끔 "멈추는" 것을 발견할 수 있으며, 이 경우 노트북에서 STOP 버튼을 눌러 중단해야 합니다. 이는 최적의 Q-값 측면에서 두 상태가 서로를 가리키는 상황이 발생할 수 있기 때문에 에이전트가 무한히 그 상태 사이를 이동하게 되는 경우 발생합니다.
+
+## 🚀챌린지
+
+> **과제 1:** `walk` function to limit the maximum length of path by a certain number of steps (say, 100), and watch the code above return this value from time to time.
+
+> **Task 2:** Modify the `walk` function so that it does not go back to the places where it has already been previously. This will prevent `walk` from looping, however, the agent can still end up being "trapped" in a location from which it is unable to escape.
+
+## Navigation
+
+A better navigation policy would be the one that we used during training, which combines exploitation and exploration. In this policy, we will select each action with a certain probability, proportional to the values in the Q-Table. This strategy may still result in the agent returning back to a position it has already explored, but, as you can see from the code below, it results in a very short average path to the desired location (remember that `print_statistics`가 시뮬레이션을 100번 실행하도록 수정하세요: (코드 블록 10)
+
+```python
+def qpolicy(m):
+ x,y = m.human
+ v = probs(Q[x,y])
+ a = random.choices(list(actions),weights=v)[0]
+ return a
+
+print_statistics(qpolicy)
+```
+
+이 코드를 실행한 후에는 이전보다 훨씬 짧은 평균 경로 길이, 약 3-6 정도를 얻을 수 있어야 합니다.
+
+## 학습 과정 조사
+
+앞서 언급했듯이, 학습 과정은 문제 공간 구조에 대한 획득한 지식을 탐색하고 탐구하는 것 사이의 균형입니다. 학습 결과(목표에 도달하기 위한 짧은 경로를 찾는 에이전트의 능력)가 향상되었지만, 학습 과정 중 평균 경로 길이가 어떻게 변하는지 관찰하는 것도 흥미롭습니다:
+
+학습 내용을 요약하면 다음과 같습니다:
+
+- **평균 경로 길이 증가**. 처음에는 평균 경로 길이가 증가하는 것을 볼 수 있습니다. 이는 환경에 대해 아무것도 모를 때 나쁜 상태, 물 또는 늑대에 갇힐 가능성이 높기 때문입니다. 더 많이 배우고 이 지식을 사용하기 시작하면 환경을 더 오래 탐색할 수 있지만, 여전히 사과가 어디 있는지 잘 모릅니다.
+
+- **더 많이 배울수록 경로 길이 감소**. 충분히 배우면 에이전트가 목표를 달성하기 쉬워지고 경로 길이가 줄어들기 시작합니다. 그러나 여전히 탐색을 계속하고 있기 때문에 종종 최적의 경로에서 벗어나 새로운 옵션을 탐색하여 경로가 최적보다 길어집니다.
+
+- **길이가 갑자기 증가**. 이 그래프에서 볼 수 있듯이 어느 순간 경로 길이가 갑자기 증가합니다. 이는 과정의 확률적 특성을 나타내며, Q-테이블 계수를 새로운 값으로 덮어써서 "망칠" 수 있음을 나타냅니다. 이는 학습이 끝날 때쯤 학습률을 줄여 Q-테이블 값을 작은 값으로만 조정하는 방식으로 최소화해야 합니다.
+
+전체적으로 학습 과정의 성공과 품질은 학습률, 학습률 감소, 할인 계수와 같은 매개 변수에 크게 의존합니다. 이러한 매개 변수는 **하이퍼파라미터**라고 하며, **파라미터**와 구분됩니다. 파라미터는 훈련 중 최적화하는 값입니다(예: Q-테이블 계수). 최적의 하이퍼파라미터 값을 찾는 과정을 **하이퍼파라미터 최적화**라고 하며, 이는 별도의 주제를 다룰 가치가 있습니다.
+
+## [강의 후 퀴즈](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/46/)
+
+## 과제
+[더 현실적인 세계](assignment.md)
+
+**면책 조항**:
+이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있지만 자동 번역에는 오류나 부정확성이 포함될 수 있습니다. 원본 문서의 모국어 버전이 권위 있는 출처로 간주되어야 합니다. 중요한 정보의 경우 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 오역에 대해 당사는 책임을 지지 않습니다.
\ No newline at end of file
diff --git a/translations/ko/8-Reinforcement/1-QLearning/assignment.md b/translations/ko/8-Reinforcement/1-QLearning/assignment.md
new file mode 100644
index 000000000..a749d6063
--- /dev/null
+++ b/translations/ko/8-Reinforcement/1-QLearning/assignment.md
@@ -0,0 +1,30 @@
+# 더 현실적인 세계
+
+우리의 상황에서 Peter는 거의 지치거나 배고프지 않은 상태로 이동할 수 있었습니다. 더 현실적인 세계에서는 Peter가 때때로 앉아서 쉬어야 하고, 스스로를 먹여야 합니다. 다음 규칙을 구현하여 우리의 세계를 더 현실적으로 만들어 봅시다:
+
+1. 한 장소에서 다른 장소로 이동할 때 Peter는 **에너지**를 잃고 약간의 **피로**를 얻습니다.
+2. Peter는 사과를 먹음으로써 더 많은 에너지를 얻을 수 있습니다.
+3. Peter는 나무 아래나 잔디 위에서 쉬면서 피로를 없앨 수 있습니다 (즉, 나무나 잔디가 있는 보드 위치로 걸어가면 됩니다 - 녹색 필드).
+4. Peter는 늑대를 찾아서 죽여야 합니다.
+5. 늑대를 죽이기 위해서는 Peter가 일정 수준의 에너지와 피로를 가지고 있어야 하며, 그렇지 않으면 전투에서 패배하게 됩니다.
+
+## 지침
+
+해결책의 시작점으로 원래의 [notebook.ipynb](../../../../8-Reinforcement/1-QLearning/notebook.ipynb) 노트북을 사용하세요.
+
+위의 보상 함수를 게임 규칙에 따라 수정하고, 강화 학습 알고리즘을 실행하여 게임에서 승리하기 위한 최적의 전략을 학습한 다음, 무작위 보행과 알고리즘의 결과를 게임에서 이긴 횟수와 패배한 횟수 측면에서 비교하세요.
+
+> **Note**: 새로운 세계에서는 상태가 더 복잡해지며, 인간의 위치 외에도 피로도와 에너지 수준을 포함합니다. 상태를 튜플 (Board,energy,fatigue)로 표현하거나 상태에 대한 클래스를 정의할 수 있습니다 (또는 `Board`에서 파생시킬 수도 있습니다). 또는 [rlboard.py](../../../../8-Reinforcement/1-QLearning/rlboard.py) 내의 원래 `Board` 클래스를 수정할 수도 있습니다.
+
+해결책에서 무작위 보행 전략을 담당하는 코드를 유지하고, 알고리즘의 결과를 무작위 보행과 비교하세요.
+
+> **Note**: 특히 에포크 수를 조정해야 할 수도 있습니다. 게임의 성공(늑대와의 싸움)은 드문 사건이기 때문에 훨씬 더 긴 훈련 시간을 예상할 수 있습니다.
+
+## 평가 기준
+
+| 기준 | 우수 | 적절 | 개선 필요 |
+| ---- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ---------------------------------------------------------------------------------------------------------------------------------- |
+| | 새로운 세계 규칙의 정의, Q-러닝 알고리즘 및 몇 가지 텍스트 설명이 포함된 노트북이 제공됩니다. Q-러닝은 무작위 보행과 비교하여 결과를 크게 향상시킬 수 있습니다. | 노트북이 제공되고, Q-러닝이 구현되어 무작위 보행과 비교하여 결과를 개선하지만 크게 향상되지는 않음; 또는 노트북이 잘 문서화되지 않았고 코드가 잘 구조화되지 않음 | 세계의 규칙을 재정의하려는 시도가 있지만, Q-러닝 알고리즘이 작동하지 않거나 보상 함수가 완전히 정의되지 않음 |
+
+**면책 조항**:
+이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 우리는 정확성을 위해 노력하지만, 자동 번역에는 오류나 부정확성이 포함될 수 있습니다. 원본 문서가 해당 언어로 작성된 문서가 권위 있는 자료로 간주되어야 합니다. 중요한 정보에 대해서는 전문적인 인간 번역을 권장합니다. 이 번역의 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다.
\ No newline at end of file
diff --git a/translations/ko/8-Reinforcement/1-QLearning/solution/Julia/README.md b/translations/ko/8-Reinforcement/1-QLearning/solution/Julia/README.md
new file mode 100644
index 000000000..d255d06c5
--- /dev/null
+++ b/translations/ko/8-Reinforcement/1-QLearning/solution/Julia/README.md
@@ -0,0 +1,4 @@
+
+
+**면책 조항**:
+이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있지만, 자동 번역에는 오류나 부정확성이 있을 수 있음을 유의하시기 바랍니다. 원본 문서의 모국어 버전이 권위 있는 출처로 간주되어야 합니다. 중요한 정보의 경우, 전문 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 오역에 대해서는 책임을 지지 않습니다.
\ No newline at end of file
diff --git a/translations/ko/8-Reinforcement/1-QLearning/solution/R/README.md b/translations/ko/8-Reinforcement/1-QLearning/solution/R/README.md
new file mode 100644
index 000000000..0efb0d93d
--- /dev/null
+++ b/translations/ko/8-Reinforcement/1-QLearning/solution/R/README.md
@@ -0,0 +1,4 @@
+
+
+**면책 조항**:
+이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있지만, 자동 번역에는 오류나 부정확성이 있을 수 있음을 유의하시기 바랍니다. 원어로 작성된 원본 문서를 권위 있는 자료로 간주해야 합니다. 중요한 정보의 경우, 전문 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 오역에 대해 당사는 책임을 지지 않습니다.
\ No newline at end of file
diff --git a/translations/ko/8-Reinforcement/2-Gym/README.md b/translations/ko/8-Reinforcement/2-Gym/README.md
new file mode 100644
index 000000000..1d66a9fee
--- /dev/null
+++ b/translations/ko/8-Reinforcement/2-Gym/README.md
@@ -0,0 +1,324 @@
+## 사전 요구사항
+
+이 강의에서는 다양한 **환경**을 시뮬레이션하기 위해 **OpenAI Gym**이라는 라이브러리를 사용할 것입니다. 이 강의의 코드를 로컬에서 실행할 수 있습니다(예: Visual Studio Code에서). 이 경우 시뮬레이션이 새 창에서 열립니다. 온라인으로 코드를 실행할 때는 [여기](https://towardsdatascience.com/rendering-openai-gym-envs-on-binder-and-google-colab-536f99391cc7) 설명된 대로 약간의 수정이 필요할 수 있습니다.
+
+## OpenAI Gym
+
+이전 강의에서는 우리가 직접 정의한 `Board` 클래스가 게임의 규칙과 상태를 제공했습니다. 여기서는 **시뮬레이션 환경**을 사용하여 균형 잡기 막대의 물리학을 시뮬레이션할 것입니다. 강화 학습 알고리즘을 훈련하기 위한 가장 인기 있는 시뮬레이션 환경 중 하나는 [Gym](https://gym.openai.com/)으로, [OpenAI](https://openai.com/)에서 유지 관리합니다. 이 Gym을 사용하여 카트폴 시뮬레이션부터 Atari 게임까지 다양한 **환경**을 만들 수 있습니다.
+
+> **참고**: OpenAI Gym에서 사용할 수 있는 다른 환경은 [여기](https://gym.openai.com/envs/#classic_control)에서 확인할 수 있습니다.
+
+먼저, gym을 설치하고 필요한 라이브러리를 가져옵니다(코드 블록 1):
+
+```python
+import sys
+!{sys.executable} -m pip install gym
+
+import gym
+import matplotlib.pyplot as plt
+import numpy as np
+import random
+```
+
+## 연습 - 카트폴 환경 초기화
+
+카트폴 균형 문제를 다루기 위해 해당 환경을 초기화해야 합니다. 각 환경은 다음과 연관됩니다:
+
+- **관찰 공간**: 환경으로부터 받는 정보의 구조를 정의합니다. 카트폴 문제의 경우, 막대의 위치, 속도 및 기타 값을 받습니다.
+
+- **액션 공간**: 가능한 동작을 정의합니다. 우리의 경우, 액션 공간은 이산적이며, **왼쪽**과 **오른쪽**의 두 가지 동작으로 구성됩니다. (코드 블록 2)
+
+1. 초기화하려면 다음 코드를 입력하세요:
+
+ ```python
+ env = gym.make("CartPole-v1")
+ print(env.action_space)
+ print(env.observation_space)
+ print(env.action_space.sample())
+ ```
+
+환경이 어떻게 작동하는지 보기 위해 100단계의 짧은 시뮬레이션을 실행해 봅시다. 각 단계에서 `action_space`에서 무작위로 선택된 동작 중 하나를 제공합니다.
+
+1. 아래 코드를 실행하고 결과를 확인하세요.
+
+ ✅ 이 코드는 로컬 Python 설치에서 실행하는 것이 좋습니다! (코드 블록 3)
+
+ ```python
+ env.reset()
+
+ for i in range(100):
+ env.render()
+ env.step(env.action_space.sample())
+ env.close()
+ ```
+
+ 다음과 비슷한 이미지를 볼 수 있어야 합니다:
+
+ 
+
+1. 시뮬레이션 중에 어떻게 행동할지 결정하기 위해 관찰 값을 얻어야 합니다. 사실, step 함수는 현재의 관찰 값, 보상 함수 및 시뮬레이션을 계속할 가치가 있는지 여부를 나타내는 완료 플래그를 반환합니다: (코드 블록 4)
+
+ ```python
+ env.reset()
+
+ done = False
+ while not done:
+ env.render()
+ obs, rew, done, info = env.step(env.action_space.sample())
+ print(f"{obs} -> {rew}")
+ env.close()
+ ```
+
+ 노트북 출력에서 다음과 같은 것을 보게 될 것입니다:
+
+ ```text
+ [ 0.03403272 -0.24301182 0.02669811 0.2895829 ] -> 1.0
+ [ 0.02917248 -0.04828055 0.03248977 0.00543839] -> 1.0
+ [ 0.02820687 0.14636075 0.03259854 -0.27681916] -> 1.0
+ [ 0.03113408 0.34100283 0.02706215 -0.55904489] -> 1.0
+ [ 0.03795414 0.53573468 0.01588125 -0.84308041] -> 1.0
+ ...
+ [ 0.17299878 0.15868546 -0.20754175 -0.55975453] -> 1.0
+ [ 0.17617249 0.35602306 -0.21873684 -0.90998894] -> 1.0
+ ```
+
+ 시뮬레이션의 각 단계에서 반환되는 관찰 벡터는 다음 값을 포함합니다:
+ - 카트의 위치
+ - 카트의 속도
+ - 막대의 각도
+ - 막대의 회전 속도
+
+1. 이 숫자들의 최소값과 최대값을 가져옵니다: (코드 블록 5)
+
+ ```python
+ print(env.observation_space.low)
+ print(env.observation_space.high)
+ ```
+
+ 각 시뮬레이션 단계에서 보상 값이 항상 1인 것을 알 수 있습니다. 이는 우리의 목표가 가능한 한 오래 생존하는 것, 즉 막대를 가능한 한 오랫동안 수직에 가깝게 유지하는 것이기 때문입니다.
+
+ ✅ 사실, 카트폴 시뮬레이션은 100번의 연속적인 시도에서 평균 보상이 195에 도달하면 해결된 것으로 간주됩니다.
+
+## 상태 이산화
+
+Q-Learning에서는 각 상태에서 무엇을 해야 할지 정의하는 Q-Table을 작성해야 합니다. 이를 위해서는 상태가 **이산적**이어야 하며, 더 정확하게는 유한한 수의 이산 값을 포함해야 합니다. 따라서 관찰 값을 **이산화**하여 유한한 상태 집합으로 매핑해야 합니다.
+
+이를 수행하는 방법에는 몇 가지가 있습니다:
+
+- **구간으로 나누기**. 특정 값의 범위를 알고 있는 경우, 이 범위를 여러 **구간**으로 나눌 수 있으며, 그런 다음 값을 해당하는 구간 번호로 대체할 수 있습니다. 이는 numpy [`digitize`](https://numpy.org/doc/stable/reference/generated/numpy.digitize.html) 메서드를 사용하여 수행할 수 있습니다. 이 경우, 디지털화에 선택한 구간 수에 따라 상태 크기를 정확히 알 수 있습니다.
+
+✅ 값을 유한한 범위(예: -20에서 20)로 가져오기 위해 선형 보간을 사용할 수 있으며, 그런 다음 값을 반올림하여 정수로 변환할 수 있습니다. 이는 특히 입력 값의 정확한 범위를 모르는 경우 상태 크기에 대한 제어가 덜 됩니다. 예를 들어, 우리의 경우 4개의 값 중 2개는 상한/하한 값이 없으며, 이는 무한한 수의 상태를 초래할 수 있습니다.
+
+우리 예제에서는 두 번째 접근 방식을 사용할 것입니다. 나중에 알게 되겠지만, 정의되지 않은 상한/하한 값에도 불구하고, 이러한 값들은 특정 유한한 범위를 벗어나는 경우가 드뭅니다. 따라서 극단적인 값이 있는 상태는 매우 드뭅니다.
+
+1. 모델의 관찰 값을 받아 4개의 정수 값 튜플을 생성하는 함수는 다음과 같습니다: (코드 블록 6)
+
+ ```python
+ def discretize(x):
+ return tuple((x/np.array([0.25, 0.25, 0.01, 0.1])).astype(np.int))
+ ```
+
+1. 구간을 사용하는 다른 이산화 방법을 탐색해 봅시다: (코드 블록 7)
+
+ ```python
+ def create_bins(i,num):
+ return np.arange(num+1)*(i[1]-i[0])/num+i[0]
+
+ print("Sample bins for interval (-5,5) with 10 bins\n",create_bins((-5,5),10))
+
+ ints = [(-5,5),(-2,2),(-0.5,0.5),(-2,2)] # intervals of values for each parameter
+ nbins = [20,20,10,10] # number of bins for each parameter
+ bins = [create_bins(ints[i],nbins[i]) for i in range(4)]
+
+ def discretize_bins(x):
+ return tuple(np.digitize(x[i],bins[i]) for i in range(4))
+ ```
+
+1. 짧은 시뮬레이션을 실행하고 이러한 이산 환경 값을 관찰해 봅시다. `discretize` and `discretize_bins` 둘 다 시도해 보고 차이가 있는지 확인하세요.
+
+ ✅ discretize_bins는 0 기반의 구간 번호를 반환합니다. 따라서 입력 변수 값이 0에 가까운 경우 구간의 중간 값(10)에서 번호를 반환합니다. discretize에서는 출력 값의 범위에 신경 쓰지 않았으므로, 값이 이동하지 않으며 0이 0에 해당합니다. (코드 블록 8)
+
+ ```python
+ env.reset()
+
+ done = False
+ while not done:
+ #env.render()
+ obs, rew, done, info = env.step(env.action_space.sample())
+ #print(discretize_bins(obs))
+ print(discretize(obs))
+ env.close()
+ ```
+
+ ✅ 환경 실행을 보고 싶다면 env.render로 시작하는 줄의 주석을 해제하세요. 그렇지 않으면 백그라운드에서 실행할 수 있으며, 이는 더 빠릅니다. Q-Learning 과정 동안 이 "보이지 않는" 실행을 사용할 것입니다.
+
+## Q-Table 구조
+
+이전 강의에서는 상태가 0에서 8까지의 간단한 숫자 쌍이었기 때문에 Q-Table을 8x8x2 모양의 numpy 텐서로 표현하는 것이 편리했습니다. 구간 이산화를 사용하는 경우, 상태 벡터의 크기도 알려져 있으므로 동일한 접근 방식을 사용하여 상태를 20x20x10x10x2 모양의 배열로 표현할 수 있습니다(여기서 2는 액션 공간의 차원이며, 첫 번째 차원은 관찰 공간의 각 매개변수에 사용할 구간 수에 해당합니다).
+
+그러나 관찰 공간의 정확한 차원이 알려지지 않은 경우도 있습니다. `discretize` 함수의 경우, 일부 원래 값이 제한되지 않았기 때문에 상태가 특정 한계 내에 머무르는지 확신할 수 없습니다. 따라서 우리는 약간 다른 접근 방식을 사용하여 Q-Table을 사전으로 표현할 것입니다.
+
+1. *(state, action)* 쌍을 사전 키로 사용하고 값은 Q-Table 항목 값에 해당합니다. (코드 블록 9)
+
+ ```python
+ Q = {}
+ actions = (0,1)
+
+ def qvalues(state):
+ return [Q.get((state,a),0) for a in actions]
+ ```
+
+ 여기서 `qvalues()` 함수를 정의하여 주어진 상태에 대한 Q-Table 값을 반환합니다. Q-Table에 항목이 없으면 기본값으로 0을 반환합니다.
+
+## Q-Learning 시작하기
+
+이제 Peter에게 균형을 잡는 법을 가르칠 준비가 되었습니다!
+
+1. 먼저 몇 가지 하이퍼파라미터를 설정해 봅시다: (코드 블록 10)
+
+ ```python
+ # hyperparameters
+ alpha = 0.3
+ gamma = 0.9
+ epsilon = 0.90
+ ```
+
+ 여기서 `alpha` is the **learning rate** that defines to which extent we should adjust the current values of Q-Table at each step. In the previous lesson we started with 1, and then decreased `alpha` to lower values during training. In this example we will keep it constant just for simplicity, and you can experiment with adjusting `alpha` values later.
+
+ `gamma` is the **discount factor** that shows to which extent we should prioritize future reward over current reward.
+
+ `epsilon` is the **exploration/exploitation factor** that determines whether we should prefer exploration to exploitation or vice versa. In our algorithm, we will in `epsilon` percent of the cases select the next action according to Q-Table values, and in the remaining number of cases we will execute a random action. This will allow us to explore areas of the search space that we have never seen before.
+
+ ✅ In terms of balancing - choosing random action (exploration) would act as a random punch in the wrong direction, and the pole would have to learn how to recover the balance from those "mistakes"
+
+### Improve the algorithm
+
+We can also make two improvements to our algorithm from the previous lesson:
+
+- **Calculate average cumulative reward**, over a number of simulations. We will print the progress each 5000 iterations, and we will average out our cumulative reward over that period of time. It means that if we get more than 195 point - we can consider the problem solved, with even higher quality than required.
+
+- **Calculate maximum average cumulative result**, `Qmax`, and we will store the Q-Table corresponding to that result. When you run the training you will notice that sometimes the average cumulative result starts to drop, and we want to keep the values of Q-Table that correspond to the best model observed during training.
+
+1. Collect all cumulative rewards at each simulation at `rewards` 벡터를 나중에 플로팅하기 위해 정의합니다. (코드 블록 11)
+
+ ```python
+ def probs(v,eps=1e-4):
+ v = v-v.min()+eps
+ v = v/v.sum()
+ return v
+
+ Qmax = 0
+ cum_rewards = []
+ rewards = []
+ for epoch in range(100000):
+ obs = env.reset()
+ done = False
+ cum_reward=0
+ # == do the simulation ==
+ while not done:
+ s = discretize(obs)
+ if random.random()- [Python](2-Regression/1-Tools/README.md)
- [R](../../2-Regression/1-Tools/solution/R/lesson_1.html)
- Jen
- Eric Wanjau
- [Python](2-Regression/2-Data/README.md)
- [R](../../2-Regression/2-Data/solution/R/lesson_2.html)
- Jen
- Eric Wanjau
- [Python](2-Regression/3-Linear/README.md)
- [R](../../2-Regression/3-Linear/solution/R/lesson_3.html)
- Jen and Dmitry
- Eric Wanjau
- [Python](2-Regression/4-Logistic/README.md)
- [R](../../2-Regression/4-Logistic/solution/R/lesson_4.html)
- Jen
- Eric Wanjau
- [Python](4-Classification/1-Introduction/README.md)
- [R](../../4-Classification/1-Introduction/solution/R/lesson_10.html) |
- Jen and Cassie
- Eric Wanjau
- [Python](4-Classification/2-Classifiers-1/README.md)
- [R](../../4-Classification/2-Classifiers-1/solution/R/lesson_11.html) |
- Jen and Cassie
- Eric Wanjau
- [Python](4-Classification/3-Classifiers-2/README.md)
- [R](../../4-Classification/3-Classifiers-2/solution/R/lesson_12.html) |
- Jen and Cassie
- Eric Wanjau
- [Python](5-Clustering/1-Visualize/README.md)
- [R](../../5-Clustering/1-Visualize/solution/R/lesson_14.html) |
- Jen
- Eric Wanjau
- [Python](5-Clustering/2-K-Means/README.md)
- [R](../../5-Clustering/2-K-Means/solution/R/lesson_15.html) |
- Jen
- Eric Wanjau
.yml). 이 워크플로우는 빌드 및 배포 프로세스를 처리합니다. + +6. 배포 모니터링 +GitHub 저장소의 "Actions" 탭으로 이동하세요. +워크플로우가 실행 중인 것을 볼 수 있습니다. 이 워크플로우는 정적 웹 앱을 Azure에 빌드하고 배포할 것입니다. +워크플로우가 완료되면 제공된 Azure URL에서 앱이 활성화됩니다. + +### 예제 워크플로우 파일 + +다음은 GitHub Actions 워크플로우 파일의 예제입니다: +name: Azure Static Web Apps CI/CD +``` +on: + push: + branches: + - main + pull_request: + types: [opened, synchronize, reopened, closed] + branches: + - main + +jobs: + build_and_deploy_job: + runs-on: ubuntu-latest + name: Build and Deploy Job + steps: + - uses: actions/checkout@v2 + - name: Build And Deploy + id: builddeploy + uses: Azure/static-web-apps-deploy@v1 + with: + azure_static_web_apps_api_token: ${{ secrets.AZURE_STATIC_WEB_APPS_API_TOKEN }} + repo_token: ${{ secrets.GITHUB_TOKEN }} + action: "upload" + app_location: "/quiz-app" # App source code path + api_location: ""API source code path optional + output_location: "dist" #Built app content directory - optional +``` + +### 추가 리소스 +- [Azure Static Web Apps Documentation](https://learn.microsoft.com/azure/static-web-apps/getting-started) +- [GitHub Actions Documentation](https://docs.github.com/actions/use-cases-and-examples/deploying/deploying-to-azure-static-web-app) + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있지만, 자동 번역에는 오류나 부정확성이 있을 수 있음을 유의하시기 바랍니다. 원본 문서의 원어가 권위 있는 출처로 간주되어야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/sketchnotes/LICENSE.md b/translations/ko/sketchnotes/LICENSE.md new file mode 100644 index 000000000..366dc9485 --- /dev/null +++ b/translations/ko/sketchnotes/LICENSE.md @@ -0,0 +1,169 @@ +Attribution-ShareAlike 4.0 International + +======================================================================= + +Creative Commons Corporation ("Creative Commons")는 법률 사무소가 아니며 법률 서비스나 법률 조언을 제공하지 않습니다. Creative Commons 공개 라이선스를 배포한다고 해서 변호사-의뢰인 관계나 기타 관계가 형성되는 것은 아닙니다. Creative Commons는 그 라이선스와 관련 정보를 있는 그대로 제공합니다. Creative Commons는 그 라이선스나 해당 조건 하에 라이선스된 자료, 또는 관련 정보에 대해 어떠한 보증도 하지 않습니다. Creative Commons는 그 사용으로 인해 발생하는 모든 손해에 대해 최대한의 범위 내에서 모든 책임을 부인합니다. + +Creative Commons 공용 라이선스 사용 + +Creative Commons 공용 라이선스는 창작자 및 기타 권리 보유자가 저작권과 아래 공용 라이선스에 명시된 특정 권리에 따라 원본 저작물 및 기타 자료를 공유할 수 있는 표준 조건을 제공합니다. 다음 고려 사항은 정보 제공 목적으로만 제공되며, 포괄적이지 않으며, 우리의 라이선스의 일부를 형성하지 않습니다. + + 라이선스 제공자를 위한 고려 사항: 우리의 공용 라이선스는 저작권 및 특정 기타 권리에 의해 제한된 방식으로 자료를 사용할 수 있는 공용 허가를 제공할 권한이 있는 사람들이 사용하도록 의도되었습니다. 우리의 라이선스는 취소할 수 없습니다. 라이선스 제공자는 라이선스를 적용하기 전에 선택한 라이선스의 조건을 읽고 이해해야 합니다. 또한 라이선스 제공자는 공용이 기대한 대로 자료를 재사용할 수 있도록 필요한 모든 권리를 확보해야 합니다. 라이선스 적용 대상이 아닌 자료를 명확히 표시해야 합니다. 여기에는 다른 CC-라이선스 자료나 저작권의 예외나 제한에 따라 사용된 자료가 포함됩니다. 라이선스 제공자를 위한 추가 고려 사항: wiki.creativecommons.org/Considerations_for_licensors + + 공용을 위한 고려 사항: 우리의 공용 라이선스 중 하나를 사용함으로써, 라이선스 제공자는 지정된 조건에 따라 라이선스된 자료를 사용할 수 있는 허가를 공용에 부여합니다. 만약 라이선스 제공자의 허가가 어떤 이유로 필요하지 않다면 - 예를 들어, 저작권의 예외나 제한이 적용되는 경우 - 그 사용은 라이선스에 의해 규제되지 않습니다. 우리의 라이선스는 저작권과 라이선스 제공자가 부여할 권한이 있는 특정 기타 권리에 대한 허가만 부여합니다. 라이선스된 자료의 사용은 다른 이유로 여전히 제한될 수 있습니다. 예를 들어, 다른 사람들이 그 자료에 대해 저작권이나 기타 권리를 가지고 있는 경우가 있습니다. 라이선스 제공자는 모든 변경 사항을 표시하거나 설명하도록 요청할 수 있습니다. 우리의 라이선스에서 요구하지 않지만, 합리적인 경우 그러한 요청을 존중할 것을 권장합니다. 공용을 위한 추가 고려 사항: wiki.creativecommons.org/Considerations_for_licensees + +======================================================================= + +Creative Commons Attribution-ShareAlike 4.0 International Public License + +라이선스된 권리(아래 정의됨)를 행사함으로써, 귀하는 본 Creative Commons Attribution-ShareAlike 4.0 International Public License("공용 라이선스")의 조건에 동의하고 구속됩니다. 이 공용 라이선스가 계약으로 해석될 수 있는 범위 내에서, 귀하는 이러한 조건을 수락함으로써 라이선스된 권리를 부여받으며, 라이선스 제공자는 이러한 조건에 따라 라이선스된 자료를 제공함으로써 혜택을 받습니다. + +섹션 1 -- 정의. + + a. 개작 자료는 라이선스 제공자가 보유한 저작권 및 유사 권리에 따라 라이선스된 자료를 번역, 변경, 배열, 변형 또는 기타 방식으로 수정하여 파생되거나 기반이 되는 자료를 의미합니다. 공용 라이선스의 목적상, 라이선스된 자료가 음악 작품, 공연, 또는 음반인 경우, 개작 자료는 항상 라이선스된 자료가 움직이는 이미지와 시간적으로 동기화된 경우에 생성됩니다. + + b. 개작자 라이선스는 귀하가 본 공용 라이선스의 조건에 따라 귀하의 개작 자료에 대한 기여에 적용하는 라이선스를 의미합니다. + + c. BY-SA 호환 라이선스는 Creative Commons가 본 공용 라이선스와 본질적으로 동등하다고 승인한 라이선스로, creativecommons.org/compatiblelicenses에 나열된 라이선스를 의미합니다. + + d. 저작권 및 유사 권리는 저작권 및/또는 저작권과 밀접하게 관련된 유사 권리를 의미하며, 여기에는 공연, 방송, 음반, 데이터베이스 보호 권리가 포함되며, 권리의 라벨이나 분류 방식에 관계없이 포함됩니다. 공용 라이선스의 목적상, 섹션 2(b)(1)-(2)에 명시된 권리는 저작권 및 유사 권리가 아닙니다. + + e. 유효한 기술적 조치는 1996년 12월 20일 채택된 WIPO 저작권 조약의 제11조의 의무를 이행하는 법률에 따라 적절한 권한 없이 회피할 수 없는 조치를 의미합니다. + + f. 예외 및 제한은 공정 사용, 공정 거래, 및/또는 귀하의 라이선스된 자료 사용에 적용되는 기타 예외 또는 제한을 의미합니다. + + g. 라이선스 요소는 Creative Commons 공용 라이선스의 이름에 나열된 라이선스 속성을 의미합니다. 본 공용 라이선스의 라이선스 요소는 저작자 표시와 동일 조건 변경 허락입니다. + + h. 라이선스된 자료는 라이선스 제공자가 본 공용 라이선스를 적용한 예술 또는 문학 작품, 데이터베이스, 또는 기타 자료를 의미합니다. + + i. 라이선스된 권리는 귀하가 라이선스된 자료를 사용할 때 적용되는 모든 저작권 및 유사 권리에 제한되며, 라이선스 제공자가 라이선스를 부여할 권한이 있는 권리를 의미합니다. + + j. 라이선스 제공자는 본 공용 라이선스 하에 권리를 부여하는 개인 또는 단체를 의미합니다. + + k. 공유는 복제, 공공 전시, 공공 공연, 배포, 전파, 통신, 또는 수입과 같은 라이선스된 권리 하에 허가가 필요한 방식으로 자료를 공공에 제공하는 것을 의미하며, 공공이 개별적으로 선택한 장소와 시간에 자료에 접근할 수 있도록 자료를 공공에 제공하는 것을 포함합니다. + + l. Sui Generis 데이터베이스 권리는 1996년 3월 11일 유럽 의회 및 이사회 지침 96/9/EC에 따라 데이터베이스의 법적 보호로부터 발생하는 권리로, 수정 및/또는 후속된 권리뿐만 아니라 전 세계적으로 본질적으로 동등한 권리를 의미합니다. + + m. 귀하는 본 공용 라이선스 하에 라이선스된 권리를 행사하는 개인 또는 단체를 의미합니다. 귀하의 의미는 이에 상응하는 의미를 갖습니다. + +섹션 2 -- 범위. + + a. 라이선스 부여. + + 1. 본 공용 라이선스의 조건에 따라, 라이선스 제공자는 귀하에게 라이선스된 자료의 라이선스된 권리를 행사할 수 있는 전 세계적, 로열티 무료, 서브라이선스 불가, 비독점적, 취소 불가능한 라이선스를 부여합니다: + + a. 라이선스된 자료를 전부 또는 일부 복제 및 공유할 수 있습니다; 및 + + b. 개작 자료를 생성, 복제 및 공유할 수 있습니다. + + 2. 예외 및 제한. 귀하의 사용에 예외 및 제한이 적용되는 경우, 본 공용 라이선스는 적용되지 않으며, 귀하는 그 조건을 준수할 필요가 없습니다. + + 3. 기간. 본 공용 라이선스의 기간은 섹션 6(a)에 명시되어 있습니다. + + 4. 매체 및 형식; 기술적 수정 허용. 라이선스 제공자는 귀하가 현재 알려진 또는 향후 생성될 모든 매체 및 형식에서 라이선스된 권리를 행사할 수 있도록 허용하며, 이를 위해 필요한 기술적 수정을 허용합니다. 라이선스 제공자는 라이선스된 권리를 행사하기 위해 필요한 기술적 수정을 금지할 권리 또는 권한을 주장하지 않으며, 유효한 기술적 조치를 회피하기 위해 필요한 기술적 수정을 금지하지 않습니다. 본 공용 라이선스의 목적상, 본 섹션 2(a)(4)에 의해 허가된 수정만으로는 개작 자료가 생성되지 않습니다. + + 5. 하위 수령자. + + a. 라이선스 제공자의 제공 -- 라이선스된 자료. 라이선스된 자료의 모든 수령자는 본 공용 라이선스의 조건에 따라 라이선스된 권리를 행사할 수 있는 라이선스 제공자의 제안을 자동으로 수락합니다. + + b. 라이선스 제공자의 추가 제공 -- 개작 자료. 귀하로부터 개작 자료를 수령한 모든 사람은 개작 자료에서 개작자 라이선스를 적용한 조건에 따라 라이선스된 권리를 행사할 수 있는 라이선스 제공자의 제안을 자동으로 수락합니다. + + c. 하위 제한 없음. 귀하는 라이선스된 자료의 수령자가 라이선스된 권리를 행사하는 것을 제한하는 추가 또는 다른 조건을 제안하거나 부과할 수 없으며, 유효한 기술적 조치를 적용할 수 없습니다. + + 6. 승인 없음. 본 공용 라이선스의 어떠한 것도 귀하가 라이선스된 자료를 사용하는 것이 라이선스 제공자나 다른 사람들과 관련이 있거나, 후원, 승인, 또는 공식 지위를 부여받았음을 주장하거나 암시하는 허가로 해석될 수 없습니다. + + b. 기타 권리. + + 1. 무결성 권리와 같은 도덕적 권리는 본 공용 라이선스 하에 허가되지 않으며, 공개성, 프라이버시 및/또는 기타 유사한 인격권도 허가되지 않습니다; 그러나, 가능한 한, 라이선스 제공자는 귀하가 라이선스된 권리를 행사할 수 있도록 필요한 범위 내에서만 이러한 권리를 포기하고/또는 주장하지 않기로 동의합니다. + + 2. 특허 및 상표권은 본 공용 라이선스 하에 허가되지 않습니다. + + 3. 가능한 한, 라이선스 제공자는 자발적 또는 포기 가능한 법정 또는 의무적 라이선스 제도 하에서 직접 또는 저작권 단체를 통해 귀하로부터 라이선스된 권리의 행사에 대한 로열티를 수집할 권리를 포기합니다. 다른 모든 경우에 라이선스 제공자는 그러한 로열티를 수집할 권리를 명시적으로 보유합니다. + +섹션 3 -- 라이선스 조건. + +라이선스된 권리를 행사하는 귀하는 다음 조건에 명시적으로 구속됩니다. + + a. 저작자 표시. + + 1. 귀하가 라이선스된 자료를 공유하는 경우(수정된 형태로 포함), 다음을 유지해야 합니다: + + a. 라이선스 제공자가 라이선스된 자료와 함께 제공한 경우 다음을 유지해야 합니다: + + i. 라이선스된 자료의 창작자 및 저작자 표시를 받을 자격이 있는 다른 사람을 합리적인 방식으로 식별하는 정보(필명 포함); + + ii. 저작권 고지; + + iii. 본 공용 라이선스를 참조하는 고지; + + iv. 보증 부인 고지; + + v. 가능한 한 라이선스된 자료에 대한 URI 또는 하이퍼링크; + + b. 귀하가 라이선스된 자료를 수정했음을 표시하고 이전 수정 사항을 유지해야 합니다; 및 + + c. 라이선스된 자료가 본 공용 라이선스 하에 라이선스되었음을 표시하고, 본 공용 라이선스의 텍스트 또는 URI 또는 하이퍼링크를 포함해야 합니다. + + 2. 귀하는 귀하가 라이선스된 자료를 공유하는 매체, 수단 및 맥락에 따라 섹션 3(a)(1)의 조건을 합리적인 방식으로 충족할 수 있습니다. 예를 들어, 필요한 정보를 포함하는 리소스에 URI 또는 하이퍼링크를 제공함으로써 조건을 충족하는 것이 합리적일 수 있습니다. + + 3. 라이선스 제공자가 요청하는 경우, 귀하는 섹션 3(a)(1)(A)에 필요한 정보를 가능한 한 제거해야 합니다. + + b. 동일 조건 변경 허락. + + 섹션 3(a)의 조건 외에도, 귀하가 개작 자료를 공유하는 경우 다음 조건이 적용됩니다. + + 1. 귀하가 적용하는 개작자 라이선스는 동일한 라이선스 요소를 가진 Creative Commons 라이선스, 이 버전 또는 이후 버전, 또는 BY-SA 호환 라이선스여야 합니다. + + 2. 귀하는 귀하가 적용하는 개작자 라이선스의 텍스트 또는 URI 또는 하이퍼링크를 포함해야 합니다. 귀하는 귀하가 개작 자료를 공유하는 매체, 수단 및 맥락에 따라 이 조건을 합리적인 방식으로 충족할 수 있습니다. + + 3. 귀하는 귀하가 적용하는 개작자 라이선스에 따라 부여된 권리를 제한하는 추가 또는 다른 조건을 제안하거나 부과할 수 없으며, 유효한 기술적 조치를 적용할 수 없습니다. + +섹션 4 -- Sui Generis 데이터베이스 권리. + +라이선스된 권리에 귀하의 라이선스된 자료 사용에 적용되는 Sui Generis 데이터베이스 권리가 포함되는 경우: + + a. 의심의 여지를 없애기 위해, 섹션 2(a)(1)는 귀하에게 데이터베이스의 모든 또는 상당 부분의 내용을 추출, 재사용, 복제 및 공유할 권리를 부여합니다; + + b. 귀하가 Sui Generis 데이터베이스 권리를 가진 데이터베이스에 모든 또는 상당 부분의 데이터베이스 내용을 포함하는 경우, 귀하가 Sui Generis 데이터베이스 권리를 가진 데이터베이스(그러나 그 개별 내용은 아님)는 개작 자료입니다, + + 섹션 3(b)의 목적을 포함하여; 및 + c. 귀하가 데이터베이스의 모든 또는 상당 부분의 내용을 공유하는 경우 섹션 3(a)의 조건을 준수해야 합니다. + +의심의 여지를 없애기 위해, 본 섹션 4는 라이선스된 권리에 다른 저작권 및 유사 권리가 포함된 경우 본 공용 라이선스 하의 귀하의 의무를 대체하지 않습니다. + +섹션 5 -- 보증 부인 및 책임 제한. + + a. 라이선스 제공자가 별도로 이행하지 않는 한, 가능한 한, 라이선스 제공자는 라이선스된 자료를 있는 그대로 제공하며, 라이선스된 자료에 대한 어떠한 종류의 진술이나 보증도 하지 않습니다. 여기에는 제목, 상품성, 특정 목적에의 적합성, 비침해, 잠재적 또는 기타 결함의 부재, 정확성, 또는 오류의 존재 여부에 대한 보증이 포함되며, 이는 알려지거나 발견될 수 있는지 여부에 관계없이 포함됩니다. 보증 부인이 전부 또는 일부 허용되지 않는 경우, 이 부인은 귀하에게 적용되지 않을 수 있습니다. + + b. 가능한 한, 라이선스 제공자는 본 공용 라이선스 또는 라이선스된 자료 사용으로 인해 발생하는 직접적, 특별, 간접적, 부수적, 결과적, 징벌적, 모범적, 또는 기타 손실, 비용, 경비, 또는 손해에 대해 어떠한 법적 이론(과실 포함) 또는 기타 방식으로 귀하에게 책임을 지지 않습니다, 심지어 라이선스 제공자가 그러한 손실, 비용, 경비, 또는 손해의 가능성을 알고 있었더라도. 책임 제한이 전부 또는 일부 허용되지 않는 경우, 이 제한은 귀하에게 적용되지 않을 수 있습니다. + + c. 위의 보증 부인 및 책임 제한은 가능한 한 절대적인 책임 포기 및 면제를 가장 가깝게 대체하는 방식으로 해석되어야 합니다. + +섹션 6 -- 기간 및 종료. + + a. 본 공용 라이선스는 여기서 라이선스된 저작권 및 유사 권리의 기간 동안 적용됩니다. 그러나 귀하가 본 공용 라이선스를 준수하지 않는 경우, 본 공용 라이선스 하의 귀하의 권리는 자동으로 종료됩니다. + + b. 섹션 6(a)에 따라 라이선스된 자료를 사용할 권리가 종료된 경우, 다음과 같이 재설정됩니다: + + 1. 귀하의 위반 사항을 발견한 후 30일 이내에 위반 사항이 수정된 경우, 자동으로 재설정됩니다; 또는 + + 2. 라이선스 제공자가 명시적으로 재설정한 경우. + + 의심의 여지를 없애기 위해, 본 섹션 6(b)는 귀하의 본 공용 라이선스 위반에 대해 라이선스 제공자가 구제를 추구할 수 있는 권리에 영향을 미치지 않습니다. + + c. 의심의 여지를 없애기 위해, 라이선스 제공자는 언제든지 별도의 조건으로 라이선스된 자료를 제공하거나 배포를 중단할 수 있습니다; 그러나, 이는 본 공용 라이선스를 종료하지 않습니다. + + d. 섹션 1, 5, 6, 7, 및 8은 본 공용 라이선스 종료 후에도 계속 적용됩니다. + +섹션 7 -- 기타 조건 및 조건. + + a. 라이선스 제공자는 귀하가 전달한 추가 또는 다른 조건에 명시적으로 동의하지 않는 한 구속되지 않습니다. + + b. 여기 명시되지 않은 라이선스된 자료에 관한 모든 합의, 이해 또는 계약은 본 공용 라이선스의 조건 및 조건과 별개로 독립적입니다. + +섹션 8 -- 해석. + + a. 의심의 여지를 없애기 위해, 본 공용 라이선스는 귀하가 본 공용 라이선스 하에 허가 없이 합법적으로 할 수 있는 라이선스 + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있지만 자동 번역에는 오류나 부정확성이 있을 수 있습니다. 원어로 작성된 원본 문서를 권위 있는 자료로 간주해야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ko/sketchnotes/README.md b/translations/ko/sketchnotes/README.md new file mode 100644 index 000000000..087a360b8 --- /dev/null +++ b/translations/ko/sketchnotes/README.md @@ -0,0 +1,10 @@ +모든 커리큘럼의 스케치노트를 여기에서 다운로드할 수 있습니다. + +🖨 고해상도로 인쇄하려면, TIFF 버전을 [이 저장소](https://github.com/girliemac/a-picture-is-worth-a-1000-words/tree/main/ml/tiff)에서 사용할 수 있습니다. + +🎨 작성자: [Tomomi Imura](https://github.com/girliemac) (트위터: [@girlie_mac](https://twitter.com/girlie_mac)) + +[](https://creativecommons.org/licenses/by-sa/4.0/) + +**면책 조항**: +이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있지만 자동 번역에는 오류나 부정확성이 있을 수 있습니다. 원어로 작성된 원본 문서를 권위 있는 출처로 간주해야 합니다. 중요한 정보에 대해서는 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. \ No newline at end of file diff --git a/translations/ms/1-Introduction/1-intro-to-ML/README.md b/translations/ms/1-Introduction/1-intro-to-ML/README.md new file mode 100644 index 000000000..9e7b6cc01 --- /dev/null +++ b/translations/ms/1-Introduction/1-intro-to-ML/README.md @@ -0,0 +1,148 @@ +# Pengenalan kepada pembelajaran mesin + +## [Kuiz pra-kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/1/) + +--- + +[](https://youtu.be/6mSx_KJxcHI "ML untuk pemula - Pengenalan kepada Pembelajaran Mesin untuk Pemula") + +> 🎥 Klik gambar di atas untuk video pendek yang melalui pelajaran ini. + +Selamat datang ke kursus ini mengenai pembelajaran mesin klasik untuk pemula! Sama ada anda baru sahaja mengenali topik ini, atau seorang pengamal ML yang berpengalaman yang ingin mengasah kemahiran dalam bidang tertentu, kami gembira anda menyertai kami! Kami ingin mencipta tempat pelancaran yang mesra untuk kajian ML anda dan akan gembira untuk menilai, memberi maklum balas, dan memasukkan [maklum balas](https://github.com/microsoft/ML-For-Beginners/discussions) anda. + +[](https://youtu.be/h0e2HAPTGF4 "Pengenalan kepada ML") + +> 🎥 Klik gambar di atas untuk video: John Guttag dari MIT memperkenalkan pembelajaran mesin + +--- +## Memulakan dengan pembelajaran mesin + +Sebelum memulakan kurikulum ini, anda perlu menyediakan komputer anda dan bersedia untuk menjalankan notebook secara tempatan. + +- **Konfigurasi mesin anda dengan video-video ini**. Gunakan pautan berikut untuk belajar [cara memasang Python](https://youtu.be/CXZYvNRIAKM) dalam sistem anda dan [menyediakan penyunting teks](https://youtu.be/EU8eayHWoZg) untuk pembangunan. +- **Belajar Python**. Disyorkan juga untuk mempunyai pemahaman asas tentang [Python](https://docs.microsoft.com/learn/paths/python-language/?WT.mc_id=academic-77952-leestott), bahasa pengaturcaraan yang berguna untuk saintis data yang kami gunakan dalam kursus ini. +- **Belajar Node.js dan JavaScript**. Kami juga menggunakan JavaScript beberapa kali dalam kursus ini semasa membina aplikasi web, jadi anda perlu mempunyai [node](https://nodejs.org) dan [npm](https://www.npmjs.com/) dipasang, serta [Visual Studio Code](https://code.visualstudio.com/) tersedia untuk pembangunan Python dan JavaScript. +- **Buat akaun GitHub**. Oleh kerana anda menemui kami di [GitHub](https://github.com), anda mungkin sudah mempunyai akaun, tetapi jika tidak, buat satu dan kemudian fork kurikulum ini untuk digunakan sendiri. (Jangan lupa beri kami bintang, juga 😊) +- **Terokai Scikit-learn**. Biasakan diri dengan [Scikit-learn](https://scikit-learn.org/stable/user_guide.html), satu set perpustakaan ML yang kami rujuk dalam pelajaran ini. + +--- +## Apakah itu pembelajaran mesin? + +Istilah 'pembelajaran mesin' adalah salah satu istilah yang paling popular dan sering digunakan pada masa kini. Terdapat kemungkinan besar anda pernah mendengar istilah ini sekurang-kurangnya sekali jika anda mempunyai sedikit pengetahuan tentang teknologi, tidak kira bidang apa yang anda ceburi. Mekanik pembelajaran mesin, bagaimanapun, adalah misteri bagi kebanyakan orang. Bagi pemula pembelajaran mesin, subjek ini kadang-kadang boleh terasa menggentarkan. Oleh itu, adalah penting untuk memahami apa sebenarnya pembelajaran mesin, dan belajar mengenainya langkah demi langkah, melalui contoh praktikal. + +--- +## Lengkung hype + + + +> Google Trends menunjukkan 'lengkung hype' terbaru istilah 'pembelajaran mesin' + +--- +## Alam semesta yang misteri + +Kita hidup dalam alam semesta yang penuh dengan misteri yang menakjubkan. Saintis hebat seperti Stephen Hawking, Albert Einstein, dan ramai lagi telah mengabdikan hidup mereka untuk mencari maklumat bermakna yang membongkar misteri dunia di sekitar kita. Ini adalah keadaan manusia untuk belajar: seorang kanak-kanak manusia belajar perkara baru dan membongkar struktur dunia mereka tahun demi tahun semasa mereka membesar menjadi dewasa. + +--- +## Otak kanak-kanak + +Otak dan deria seorang kanak-kanak mengesan fakta persekitaran mereka dan secara beransur-ansur mempelajari corak tersembunyi kehidupan yang membantu kanak-kanak itu mencipta peraturan logik untuk mengenal pasti corak yang dipelajari. Proses pembelajaran otak manusia menjadikan manusia makhluk hidup yang paling canggih di dunia ini. Pembelajaran secara berterusan dengan menemui corak tersembunyi dan kemudian berinovasi pada corak tersebut membolehkan kita menjadi lebih baik dan lebih baik sepanjang hayat kita. Kapasiti pembelajaran dan keupayaan berkembang ini berkaitan dengan konsep yang dipanggil [keplastikan otak](https://www.simplypsychology.org/brain-plasticity.html). Secara cetek, kita boleh menarik beberapa persamaan motivasi antara proses pembelajaran otak manusia dan konsep pembelajaran mesin. + +--- +## Otak manusia + +Otak [manusia](https://www.livescience.com/29365-human-brain.html) mengesan perkara dari dunia nyata, memproses maklumat yang diterima, membuat keputusan yang rasional, dan melaksanakan tindakan tertentu berdasarkan keadaan. Ini adalah apa yang kita panggil berkelakuan secara bijak. Apabila kita memprogramkan tiruan proses tingkah laku bijak kepada mesin, ia dipanggil kecerdasan buatan (AI). + +--- +## Beberapa istilah + +Walaupun istilah-istilah ini boleh dikelirukan, pembelajaran mesin (ML) adalah subset penting kecerdasan buatan. **ML berkaitan dengan penggunaan algoritma khusus untuk mencari maklumat bermakna dan mencari corak tersembunyi dari data yang diterima untuk menyokong proses membuat keputusan yang rasional**. + +--- +## AI, ML, Pembelajaran Mendalam + + + +> Diagram yang menunjukkan hubungan antara AI, ML, pembelajaran mendalam, dan sains data. Infografik oleh [Jen Looper](https://twitter.com/jenlooper) yang diilhamkan oleh [grafik ini](https://softwareengineering.stackexchange.com/questions/366996/distinction-between-ai-ml-neural-networks-deep-learning-and-data-mining) + +--- +## Konsep yang akan diliputi + +Dalam kurikulum ini, kami akan meliputi hanya konsep asas pembelajaran mesin yang mesti diketahui oleh seorang pemula. Kami meliputi apa yang kami panggil 'pembelajaran mesin klasik' terutamanya menggunakan Scikit-learn, perpustakaan yang sangat baik yang digunakan oleh ramai pelajar untuk mempelajari asas-asas. Untuk memahami konsep yang lebih luas tentang kecerdasan buatan atau pembelajaran mendalam, pengetahuan asas yang kukuh tentang pembelajaran mesin adalah sangat diperlukan, dan oleh itu kami ingin menawarkannya di sini. + +--- +## Dalam kursus ini anda akan belajar: + +- konsep asas pembelajaran mesin +- sejarah ML +- ML dan keadilan +- teknik ML regresi +- teknik ML klasifikasi +- teknik ML pengelompokan +- teknik pemprosesan bahasa semula jadi ML +- teknik ramalan siri masa ML +- pembelajaran pengukuhan +- aplikasi dunia sebenar untuk ML + +--- +## Apa yang tidak akan kami liputi + +- pembelajaran mendalam +- rangkaian neural +- AI + +Untuk pengalaman pembelajaran yang lebih baik, kami akan mengelakkan kerumitan rangkaian neural, 'pembelajaran mendalam' - pembinaan model berlapis-lapis menggunakan rangkaian neural - dan AI, yang akan kami bincangkan dalam kurikulum yang berbeza. Kami juga akan menawarkan kurikulum sains data yang akan datang untuk memberi tumpuan kepada aspek tersebut dalam bidang yang lebih besar ini. + +--- +## Mengapa belajar pembelajaran mesin? + +Pembelajaran mesin, dari perspektif sistem, ditakrifkan sebagai penciptaan sistem automatik yang boleh belajar corak tersembunyi dari data untuk membantu dalam membuat keputusan yang bijak. + +Motivasi ini secara longgar diilhamkan oleh cara otak manusia belajar perkara tertentu berdasarkan data yang diterima dari dunia luar. + +✅ Fikirkan sejenak mengapa perniagaan ingin mencuba menggunakan strategi pembelajaran mesin berbanding mencipta enjin berasaskan peraturan yang ditetapkan. + +--- +## Aplikasi pembelajaran mesin + +Aplikasi pembelajaran mesin kini hampir di mana-mana, dan sama banyak dengan data yang mengalir di sekitar masyarakat kita, yang dihasilkan oleh telefon pintar kita, peranti yang bersambung, dan sistem lain. Mengambil kira potensi besar algoritma pembelajaran mesin terkini, penyelidik telah meneroka keupayaannya untuk menyelesaikan masalah kehidupan sebenar yang multi-dimensi dan pelbagai disiplin dengan hasil yang sangat positif. + +--- +## Contoh ML yang diterapkan + +**Anda boleh menggunakan pembelajaran mesin dalam banyak cara**: + +- Untuk meramalkan kemungkinan penyakit dari sejarah perubatan atau laporan pesakit. +- Untuk memanfaatkan data cuaca untuk meramalkan peristiwa cuaca. +- Untuk memahami sentimen teks. +- Untuk mengesan berita palsu untuk menghentikan penyebaran propaganda. + +Kewangan, ekonomi, sains bumi, penerokaan angkasa lepas, kejuruteraan bioperubatan, sains kognitif, dan bahkan bidang dalam kemanusiaan telah mengadaptasi pembelajaran mesin untuk menyelesaikan masalah berat pemprosesan data dalam bidang mereka. + +--- +## Kesimpulan + +Pembelajaran mesin mengautomatikkan proses penemuan corak dengan mencari pandangan bermakna dari data dunia nyata atau data yang dihasilkan. Ia telah terbukti sangat berharga dalam perniagaan, kesihatan, dan aplikasi kewangan, antara lain. + +Dalam masa terdekat, memahami asas pembelajaran mesin akan menjadi satu keperluan untuk orang dari mana-mana bidang kerana penerimaannya yang meluas. + +--- +# 🚀 Cabaran + +Lukis, di atas kertas atau menggunakan aplikasi dalam talian seperti [Excalidraw](https://excalidraw.com/), pemahaman anda tentang perbezaan antara AI, ML, pembelajaran mendalam, dan sains data. Tambahkan beberapa idea tentang masalah yang baik untuk diselesaikan oleh setiap teknik ini. + +# [Kuiz pasca-kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/2/) + +--- +# Kajian & Pembelajaran Kendiri + +Untuk mengetahui lebih lanjut tentang cara anda boleh bekerja dengan algoritma ML di awan, ikuti [Laluan Pembelajaran](https://docs.microsoft.com/learn/paths/create-no-code-predictive-models-azure-machine-learning/?WT.mc_id=academic-77952-leestott) ini. + +Ikuti [Laluan Pembelajaran](https://docs.microsoft.com/learn/modules/introduction-to-machine-learning/?WT.mc_id=academic-77952-leestott) tentang asas ML. + +--- +# Tugasan + +[Mulakan dan berlari](assignment.md) + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila maklum bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/1-Introduction/1-intro-to-ML/assignment.md b/translations/ms/1-Introduction/1-intro-to-ML/assignment.md new file mode 100644 index 000000000..f912108d9 --- /dev/null +++ b/translations/ms/1-Introduction/1-intro-to-ML/assignment.md @@ -0,0 +1,12 @@ +# Mula Beroperasi + +## Arahan + +Dalam tugasan yang tidak dinilai ini, anda sepatutnya mengasah semula kemahiran Python anda dan memastikan persekitaran anda berfungsi dan mampu menjalankan notebook. + +Ikuti [Python Learning Path](https://docs.microsoft.com/learn/paths/python-language/?WT.mc_id=academic-77952-leestott) ini, dan kemudian pasang sistem anda dengan menonton video pengenalan ini: + +https://www.youtube.com/playlist?list=PLlrxD0HtieHhS8VzuMCfQD4uJ9yne1mE6 + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila maklum bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/1-Introduction/2-history-of-ML/README.md b/translations/ms/1-Introduction/2-history-of-ML/README.md new file mode 100644 index 000000000..541d1532b --- /dev/null +++ b/translations/ms/1-Introduction/2-history-of-ML/README.md @@ -0,0 +1,152 @@ +# Sejarah Pembelajaran Mesin + + +> Sketchnote oleh [Tomomi Imura](https://www.twitter.com/girlie_mac) + +## [Kuiz Pra-Kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/3/) + +--- + +[](https://youtu.be/N6wxM4wZ7V0 "ML untuk Pemula - Sejarah Pembelajaran Mesin") + +> 🎥 Klik gambar di atas untuk video pendek yang membahas pelajaran ini. + +Dalam pelajaran ini, kita akan menelusuri tonggak-tonggak penting dalam sejarah pembelajaran mesin dan kecerdasan buatan. + +Sejarah kecerdasan buatan (AI) sebagai bidang sangat terkait dengan sejarah pembelajaran mesin, karena algoritma dan kemajuan komputasi yang mendasari ML berkontribusi pada pengembangan AI. Penting untuk diingat bahwa, meskipun bidang-bidang ini sebagai area penyelidikan yang berbeda mulai mengkristal pada tahun 1950-an, penemuan [algoritma, statistik, matematika, komputasi, dan teknis yang penting](https://wikipedia.org/wiki/Timeline_of_machine_learning) mendahului dan tumpang tindih dengan era ini. Faktanya, orang telah memikirkan pertanyaan-pertanyaan ini selama [ratusan tahun](https://wikipedia.org/wiki/History_of_artificial_intelligence): artikel ini membahas dasar intelektual historis dari gagasan 'mesin berpikir.' + +--- +## Penemuan Penting + +- 1763, 1812 [Teorema Bayes](https://wikipedia.org/wiki/Bayes%27_theorem) dan pendahulunya. Teorema ini dan aplikasinya mendasari inferensi, menggambarkan probabilitas suatu peristiwa terjadi berdasarkan pengetahuan sebelumnya. +- 1805 [Teori Kuadrat Terkecil](https://wikipedia.org/wiki/Least_squares) oleh matematikawan Prancis Adrien-Marie Legendre. Teori ini, yang akan Anda pelajari dalam unit Regresi kami, membantu dalam pemasangan data. +- 1913 [Rantai Markov](https://wikipedia.org/wiki/Markov_chain), dinamai menurut matematikawan Rusia Andrey Markov, digunakan untuk menggambarkan urutan peristiwa yang mungkin terjadi berdasarkan keadaan sebelumnya. +- 1957 [Perceptron](https://wikipedia.org/wiki/Perceptron) adalah jenis pengklasifikasi linear yang ditemukan oleh psikolog Amerika Frank Rosenblatt yang mendasari kemajuan dalam pembelajaran mendalam. + +--- + +- 1967 [Tetangga Terdekat](https://wikipedia.org/wiki/Nearest_neighbor) adalah algoritma yang awalnya dirancang untuk memetakan rute. Dalam konteks ML, algoritma ini digunakan untuk mendeteksi pola. +- 1970 [Backpropagation](https://wikipedia.org/wiki/Backpropagation) digunakan untuk melatih [jaringan saraf feedforward](https://wikipedia.org/wiki/Feedforward_neural_network). +- 1982 [Jaringan Saraf Rekuren](https://wikipedia.org/wiki/Recurrent_neural_network) adalah jaringan saraf buatan yang berasal dari jaringan saraf feedforward yang membuat grafik temporal. + +✅ Lakukan sedikit penelitian. Tanggal-tanggal lain apa yang menonjol sebagai penting dalam sejarah ML dan AI? + +--- +## 1950: Mesin yang Berpikir + +Alan Turing, seorang yang sangat luar biasa yang dipilih [oleh publik pada tahun 2019](https://wikipedia.org/wiki/Icons:_The_Greatest_Person_of_the_20th_Century) sebagai ilmuwan terbesar abad ke-20, dianggap membantu meletakkan dasar untuk konsep 'mesin yang dapat berpikir.' Dia berjuang dengan para penentang dan kebutuhannya sendiri untuk bukti empiris dari konsep ini sebagian dengan menciptakan [Tes Turing](https://www.bbc.com/news/technology-18475646), yang akan Anda jelajahi dalam pelajaran NLP kami. + +--- +## 1956: Proyek Penelitian Musim Panas Dartmouth + +"Proyek Penelitian Musim Panas Dartmouth tentang kecerdasan buatan adalah acara penting untuk kecerdasan buatan sebagai bidang," dan di sinilah istilah 'kecerdasan buatan' diciptakan ([sumber](https://250.dartmouth.edu/highlights/artificial-intelligence-ai-coined-dartmouth)). + +> Setiap aspek pembelajaran atau fitur kecerdasan lainnya pada prinsipnya dapat dijelaskan dengan sangat tepat sehingga mesin dapat dibuat untuk mensimulasikannya. + +--- + +Peneliti utama, profesor matematika John McCarthy, berharap "untuk melanjutkan berdasarkan dugaan bahwa setiap aspek pembelajaran atau fitur kecerdasan lainnya pada prinsipnya dapat dijelaskan dengan sangat tepat sehingga mesin dapat dibuat untuk mensimulasikannya." Para peserta termasuk tokoh terkenal lainnya dalam bidang ini, Marvin Minsky. + +Lokakarya ini dikreditkan dengan memulai dan mendorong beberapa diskusi termasuk "peningkatan metode simbolik, sistem yang berfokus pada domain terbatas (sistem ahli awal), dan sistem deduktif versus sistem induktif." ([sumber](https://wikipedia.org/wiki/Dartmouth_workshop)). + +--- +## 1956 - 1974: "Tahun-tahun emas" + +Dari tahun 1950-an hingga pertengahan '70-an, optimisme tinggi bahwa AI dapat menyelesaikan banyak masalah. Pada tahun 1967, Marvin Minsky dengan yakin menyatakan bahwa "Dalam satu generasi ... masalah menciptakan 'kecerdasan buatan' akan secara substansial terpecahkan." (Minsky, Marvin (1967), Komputasi: Mesin Terbatas dan Tak Terbatas, Englewood Cliffs, N.J.: Prentice-Hall) + +penelitian pemrosesan bahasa alami berkembang pesat, pencarian diperhalus dan dibuat lebih kuat, dan konsep 'dunia mikro' diciptakan, di mana tugas-tugas sederhana diselesaikan menggunakan instruksi bahasa sederhana. + +--- + +Penelitian didanai dengan baik oleh lembaga pemerintah, kemajuan dibuat dalam komputasi dan algoritma, dan prototipe mesin cerdas dibangun. Beberapa mesin ini termasuk: + +* [Shakey the robot](https://wikipedia.org/wiki/Shakey_the_robot), yang bisa bermanuver dan memutuskan cara melakukan tugas dengan 'cerdas'. + +  + > Shakey pada tahun 1972 + +--- + +* Eliza, 'chatterbot' awal, bisa bercakap-cakap dengan orang dan bertindak sebagai 'terapis' primitif. Anda akan belajar lebih banyak tentang Eliza dalam pelajaran NLP. + +  + > Versi Eliza, chatbot + +--- + +* "Dunia blok" adalah contoh dunia mikro di mana blok dapat ditumpuk dan disortir, dan eksperimen dalam mengajar mesin untuk membuat keputusan dapat diuji. Kemajuan yang dibangun dengan pustaka seperti [SHRDLU](https://wikipedia.org/wiki/SHRDLU) membantu mendorong pemrosesan bahasa ke depan. + + [](https://www.youtube.com/watch?v=QAJz4YKUwqw "dunia blok dengan SHRDLU") + + > 🎥 Klik gambar di atas untuk video: Dunia blok dengan SHRDLU + +--- +## 1974 - 1980: "Musim Dingin AI" + +Pada pertengahan 1970-an, menjadi jelas bahwa kompleksitas membuat 'mesin cerdas' telah diremehkan dan janjinya, mengingat kekuatan komputasi yang tersedia, telah dilebih-lebihkan. Pendanaan mengering dan kepercayaan pada bidang ini melambat. Beberapa masalah yang mempengaruhi kepercayaan termasuk: +--- +- **Keterbatasan**. Kekuatan komputasi terlalu terbatas. +- **Ledakan kombinatorial**. Jumlah parameter yang perlu dilatih tumbuh secara eksponensial seiring dengan lebih banyak yang diminta dari komputer, tanpa evolusi paralel kekuatan dan kemampuan komputasi. +- **Kekurangan data**. Ada kekurangan data yang menghambat proses pengujian, pengembangan, dan penyempurnaan algoritma. +- **Apakah kita mengajukan pertanyaan yang tepat?**. Pertanyaan-pertanyaan yang diajukan mulai dipertanyakan. Peneliti mulai menghadapi kritik tentang pendekatan mereka: + - Tes Turing dipertanyakan melalui, antara lain, teori 'ruang cina' yang berpendapat bahwa, "pemrograman komputer digital dapat membuatnya tampak memahami bahasa tetapi tidak dapat menghasilkan pemahaman nyata." ([sumber](https://plato.stanford.edu/entries/chinese-room/)) + - Etika memperkenalkan kecerdasan buatan seperti "terapis" ELIZA ke dalam masyarakat dipertanyakan. + +--- + +Pada saat yang sama, berbagai aliran pemikiran AI mulai terbentuk. Sebuah dikotomi dibentuk antara praktik ["scruffy" vs. "neat AI"](https://wikipedia.org/wiki/Neats_and_scruffies). Laboratorium _scruffy_ mengubah program selama berjam-jam hingga mereka mendapatkan hasil yang diinginkan. Laboratorium _neat_ "berfokus pada logika dan pemecahan masalah formal". ELIZA dan SHRDLU adalah sistem _scruffy_ yang terkenal. Pada tahun 1980-an, ketika permintaan muncul untuk membuat sistem ML dapat direproduksi, pendekatan _neat_ secara bertahap menjadi yang terdepan karena hasilnya lebih dapat dijelaskan. + +--- +## Sistem Ahli 1980-an + +Seiring berkembangnya bidang ini, manfaatnya bagi bisnis menjadi lebih jelas, dan pada tahun 1980-an demikian pula proliferasi 'sistem ahli'. "Sistem ahli adalah salah satu bentuk perangkat lunak kecerdasan buatan (AI) yang benar-benar berhasil pertama." ([sumber](https://wikipedia.org/wiki/Expert_system)). + +Jenis sistem ini sebenarnya _hibrida_, terdiri sebagian dari mesin aturan yang mendefinisikan persyaratan bisnis, dan mesin inferensi yang memanfaatkan sistem aturan untuk menyimpulkan fakta baru. + +Era ini juga melihat perhatian yang meningkat pada jaringan saraf. + +--- +## 1987 - 1993: AI 'Chill' + +Proliferasi perangkat keras sistem ahli khusus memiliki efek yang tidak menguntungkan menjadi terlalu khusus. Munculnya komputer pribadi juga bersaing dengan sistem besar, khusus, dan terpusat ini. Demokratisasi komputasi telah dimulai, dan akhirnya membuka jalan bagi ledakan data besar modern. + +--- +## 1993 - 2011 + +Epok ini melihat era baru untuk ML dan AI untuk dapat memecahkan beberapa masalah yang disebabkan sebelumnya oleh kurangnya data dan kekuatan komputasi. Jumlah data mulai meningkat pesat dan menjadi lebih tersedia secara luas, untuk lebih baik dan lebih buruk, terutama dengan munculnya smartphone sekitar tahun 2007. Kekuatan komputasi berkembang secara eksponensial, dan algoritma berkembang seiring. Bidang ini mulai matang saat hari-hari bebas masa lalu mulai mengkristal menjadi disiplin yang benar. + +--- +## Sekarang + +Saat ini pembelajaran mesin dan AI menyentuh hampir setiap bagian dari kehidupan kita. Era ini memerlukan pemahaman yang cermat tentang risiko dan potensi efek dari algoritma ini pada kehidupan manusia. Seperti yang dikatakan oleh Brad Smith dari Microsoft, "Teknologi informasi mengangkat isu-isu yang menyentuh inti perlindungan hak asasi manusia fundamental seperti privasi dan kebebasan berekspresi. Isu-isu ini meningkatkan tanggung jawab bagi perusahaan teknologi yang menciptakan produk-produk ini. Menurut pandangan kami, mereka juga memerlukan regulasi pemerintah yang bijaksana dan pengembangan norma-norma tentang penggunaan yang dapat diterima" ([sumber](https://www.technologyreview.com/2019/12/18/102365/the-future-of-ais-impact-on-society/)). + +--- + +Masih harus dilihat apa yang akan terjadi di masa depan, tetapi penting untuk memahami sistem komputer ini dan perangkat lunak serta algoritma yang mereka jalankan. Kami berharap kurikulum ini akan membantu Anda untuk mendapatkan pemahaman yang lebih baik sehingga Anda dapat memutuskan sendiri. + +[](https://www.youtube.com/watch?v=mTtDfKgLm54 "Sejarah pembelajaran mendalam") +> 🎥 Klik gambar di atas untuk video: Yann LeCun membahas sejarah pembelajaran mendalam dalam kuliah ini + +--- +## 🚀Tantangan + +Gali salah satu momen sejarah ini dan pelajari lebih lanjut tentang orang-orang di baliknya. Ada karakter-karakter yang menarik, dan tidak ada penemuan ilmiah yang pernah diciptakan dalam kekosongan budaya. Apa yang Anda temukan? + +## [Kuiz Pasca-Kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/4/) + +--- +## Tinjauan & Studi Mandiri + +Berikut adalah item untuk ditonton dan didengarkan: + +[Podcast ini di mana Amy Boyd membahas evolusi AI](http://runasradio.com/Shows/Show/739) +[](https://www.youtube.com/watch?v=EJt3_bFYKss "Sejarah AI oleh Amy Boyd") + +--- + +## Tugasan + +[Buat garis masa](assignment.md) + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/1-Introduction/2-history-of-ML/assignment.md b/translations/ms/1-Introduction/2-history-of-ML/assignment.md new file mode 100644 index 000000000..24a67f7a6 --- /dev/null +++ b/translations/ms/1-Introduction/2-history-of-ML/assignment.md @@ -0,0 +1,14 @@ +# Buat Garis Masa + +## Arahan + +Menggunakan [repo ini](https://github.com/Digital-Humanities-Toolkit/timeline-builder), buat garis masa mengenai beberapa aspek sejarah algoritma, matematik, statistik, AI, atau ML, atau gabungan daripadanya. Anda boleh memberi tumpuan kepada seorang individu, satu idea, atau tempoh masa pemikiran yang panjang. Pastikan untuk menambah elemen multimedia. + +## Rubrik + +| Kriteria | Contoh Cemerlang | Memadai | Perlu Penambahbaikan | +| -------- | ------------------------------------------------ | ----------------------------------------- | ---------------------------------------------------------------- | +| | Garis masa yang dilancarkan dipaparkan sebagai halaman GitHub | Kod tidak lengkap dan tidak dilancarkan | Garis masa tidak lengkap, tidak cukup penyelidikan dan tidak dilancarkan | + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila maklum bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/1-Introduction/3-fairness/README.md b/translations/ms/1-Introduction/3-fairness/README.md new file mode 100644 index 000000000..ab0191c1f --- /dev/null +++ b/translations/ms/1-Introduction/3-fairness/README.md @@ -0,0 +1,159 @@ +# Membina Penyelesaian Pembelajaran Mesin dengan AI Bertanggungjawab + + +> Sketchnote oleh [Tomomi Imura](https://www.twitter.com/girlie_mac) + +## [Kuiz Pra-Kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/5/) + +## Pengenalan + +Dalam kurikulum ini, anda akan mula mengetahui bagaimana pembelajaran mesin boleh dan sedang mempengaruhi kehidupan seharian kita. Bahkan sekarang, sistem dan model terlibat dalam tugas membuat keputusan harian, seperti diagnosis kesihatan, kelulusan pinjaman atau mengesan penipuan. Oleh itu, adalah penting bahawa model-model ini berfungsi dengan baik untuk memberikan hasil yang boleh dipercayai. Sama seperti mana-mana aplikasi perisian, sistem AI akan terlepas jangkaan atau mempunyai hasil yang tidak diingini. Itulah sebabnya penting untuk memahami dan menjelaskan tingkah laku model AI. + +Bayangkan apa yang boleh berlaku apabila data yang anda gunakan untuk membina model-model ini kekurangan demografi tertentu, seperti kaum, jantina, pandangan politik, agama, atau mewakili demografi tersebut secara tidak seimbang. Bagaimana pula apabila output model ditafsirkan untuk memihak kepada beberapa demografi? Apakah akibatnya untuk aplikasi tersebut? Selain itu, apa yang berlaku apabila model mempunyai hasil yang buruk dan membahayakan orang? Siapa yang bertanggungjawab atas tingkah laku sistem AI? Ini adalah beberapa soalan yang akan kita terokai dalam kurikulum ini. + +Dalam pelajaran ini, anda akan: + +- Meningkatkan kesedaran tentang kepentingan keadilan dalam pembelajaran mesin dan bahaya berkaitan keadilan. +- Menjadi biasa dengan amalan meneroka penyimpangan dan senario luar biasa untuk memastikan kebolehpercayaan dan keselamatan. +- Memahami keperluan untuk memberdayakan semua orang dengan merancang sistem yang inklusif. +- Meneroka betapa pentingnya melindungi privasi dan keselamatan data serta orang. +- Melihat kepentingan pendekatan kotak kaca untuk menjelaskan tingkah laku model AI. +- Berhati-hati bagaimana akauntabiliti penting untuk membina kepercayaan dalam sistem AI. + +## Prasyarat + +Sebagai prasyarat, sila ambil "Prinsip AI Bertanggungjawab" di Laluan Pembelajaran dan tonton video di bawah mengenai topik ini: + +Ketahui lebih lanjut tentang AI Bertanggungjawab dengan mengikuti [Laluan Pembelajaran](https://docs.microsoft.com/learn/modules/responsible-ai-principles/?WT.mc_id=academic-77952-leestott) + +[](https://youtu.be/dnC8-uUZXSc "Pendekatan Microsoft terhadap AI Bertanggungjawab") + +> 🎥 Klik gambar di atas untuk video: Pendekatan Microsoft terhadap AI Bertanggungjawab + +## Keadilan + +Sistem AI harus melayan semua orang dengan adil dan mengelakkan mempengaruhi kumpulan orang yang serupa dengan cara yang berbeza. Sebagai contoh, apabila sistem AI memberikan panduan tentang rawatan perubatan, permohonan pinjaman, atau pekerjaan, mereka harus memberikan cadangan yang sama kepada semua orang dengan simptom, keadaan kewangan, atau kelayakan profesional yang serupa. Setiap daripada kita sebagai manusia membawa bias yang diwarisi yang mempengaruhi keputusan dan tindakan kita. Bias ini boleh menjadi jelas dalam data yang kita gunakan untuk melatih sistem AI. Manipulasi sedemikian kadang-kadang boleh berlaku secara tidak sengaja. Selalunya sukar untuk secara sedar mengetahui bila anda memperkenalkan bias dalam data. + +**“Ketidakadilan”** merangkumi kesan negatif, atau “bahaya”, untuk sekumpulan orang, seperti yang ditakrifkan dari segi kaum, jantina, umur, atau status kecacatan. Bahaya berkaitan keadilan utama boleh diklasifikasikan sebagai: + +- **Peruntukan**, jika jantina atau etnik sebagai contoh lebih disukai daripada yang lain. +- **Kualiti perkhidmatan**. Jika anda melatih data untuk satu senario tertentu tetapi realiti jauh lebih kompleks, ia membawa kepada perkhidmatan yang kurang baik. Sebagai contoh, dispenser sabun tangan yang tidak dapat mengesan orang dengan kulit gelap. [Rujukan](https://gizmodo.com/why-cant-this-soap-dispenser-identify-dark-skin-1797931773) +- **Penghinaan**. Untuk mengkritik dan melabel sesuatu atau seseorang secara tidak adil. Sebagai contoh, teknologi pelabelan imej secara salah melabelkan imej orang berkulit gelap sebagai gorila. +- **Perwakilan berlebihan atau kurang**. Idea bahawa kumpulan tertentu tidak dilihat dalam profesion tertentu, dan mana-mana perkhidmatan atau fungsi yang terus mempromosikan itu menyumbang kepada bahaya. +- **Stereotaip**. Mengaitkan kumpulan tertentu dengan atribut yang telah ditetapkan. Sebagai contoh, sistem terjemahan bahasa antara Bahasa Inggeris dan Turki mungkin mempunyai ketidaktepatan kerana perkataan dengan kaitan stereotaip kepada jantina. + + +> terjemahan ke Bahasa Turki + + +> terjemahan kembali ke Bahasa Inggeris + +Apabila mereka bentuk dan menguji sistem AI, kita perlu memastikan bahawa AI adalah adil dan tidak diprogramkan untuk membuat keputusan yang bias atau diskriminasi, yang juga dilarang oleh manusia. Menjamin keadilan dalam AI dan pembelajaran mesin kekal sebagai cabaran sosio-teknikal yang kompleks. + +### Kebolehpercayaan dan keselamatan + +Untuk membina kepercayaan, sistem AI perlu boleh dipercayai, selamat, dan konsisten di bawah keadaan normal dan tidak dijangka. Adalah penting untuk mengetahui bagaimana sistem AI akan berkelakuan dalam pelbagai situasi, terutamanya apabila mereka adalah penyimpangan. Apabila membina penyelesaian AI, perlu ada fokus yang besar pada bagaimana menangani pelbagai keadaan yang mungkin dihadapi oleh penyelesaian AI. Sebagai contoh, kereta tanpa pemandu perlu meletakkan keselamatan orang sebagai keutamaan utama. Akibatnya, AI yang menggerakkan kereta perlu mempertimbangkan semua senario yang mungkin dihadapi oleh kereta seperti malam, ribut petir atau ribut salji, kanak-kanak berlari melintasi jalan, haiwan peliharaan, pembinaan jalan, dan sebagainya. Sejauh mana sistem AI boleh menangani pelbagai keadaan dengan boleh dipercayai dan selamat mencerminkan tahap antisipasi yang dipertimbangkan oleh saintis data atau pembangun AI semasa mereka bentuk atau menguji sistem. + +> [🎥 Klik di sini untuk video: ](https://www.microsoft.com/videoplayer/embed/RE4vvIl) + +### Inklusiviti + +Sistem AI harus direka untuk melibatkan dan memberdayakan semua orang. Apabila mereka bentuk dan melaksanakan sistem AI, saintis data dan pembangun AI mengenal pasti dan menangani potensi halangan dalam sistem yang boleh secara tidak sengaja mengecualikan orang. Sebagai contoh, terdapat 1 bilion orang kurang upaya di seluruh dunia. Dengan kemajuan AI, mereka boleh mengakses pelbagai maklumat dan peluang dengan lebih mudah dalam kehidupan seharian mereka. Dengan menangani halangan, ia mewujudkan peluang untuk berinovasi dan membangunkan produk AI dengan pengalaman yang lebih baik yang memberi manfaat kepada semua orang. + +> [🎥 Klik di sini untuk video: inklusiviti dalam AI](https://www.microsoft.com/videoplayer/embed/RE4vl9v) + +### Keselamatan dan privasi + +Sistem AI harus selamat dan menghormati privasi orang. Orang kurang mempercayai sistem yang meletakkan privasi, maklumat, atau nyawa mereka dalam risiko. Apabila melatih model pembelajaran mesin, kita bergantung pada data untuk menghasilkan hasil terbaik. Dalam berbuat demikian, asal usul data dan integriti mesti dipertimbangkan. Sebagai contoh, adakah data pengguna diserahkan atau tersedia secara awam? Seterusnya, semasa bekerja dengan data, adalah penting untuk membangunkan sistem AI yang boleh melindungi maklumat sulit dan menahan serangan. Apabila AI menjadi lebih meluas, melindungi privasi dan mengamankan maklumat peribadi dan perniagaan yang penting menjadi lebih kritikal dan kompleks. Isu privasi dan keselamatan data memerlukan perhatian yang sangat dekat untuk AI kerana akses kepada data adalah penting untuk sistem AI membuat ramalan dan keputusan yang tepat dan bermaklumat tentang orang. + +> [🎥 Klik di sini untuk video: keselamatan dalam AI](https://www.microsoft.com/videoplayer/embed/RE4voJF) + +- Sebagai industri kita telah membuat kemajuan yang ketara dalam Privasi & keselamatan, didorong secara signifikan oleh peraturan seperti GDPR (Peraturan Perlindungan Data Umum). +- Namun dengan sistem AI kita mesti mengakui ketegangan antara keperluan untuk lebih banyak data peribadi untuk menjadikan sistem lebih peribadi dan berkesan – dan privasi. +- Sama seperti kelahiran komputer yang disambungkan dengan internet, kita juga melihat peningkatan besar dalam bilangan isu keselamatan berkaitan AI. +- Pada masa yang sama, kita telah melihat AI digunakan untuk meningkatkan keselamatan. Sebagai contoh, kebanyakan pengimbas anti-virus moden dipacu oleh heuristik AI hari ini. +- Kita perlu memastikan bahawa proses Sains Data kita bercampur secara harmoni dengan amalan privasi dan keselamatan terkini. + +### Ketelusan + +Sistem AI harus dapat difahami. Bahagian penting dalam ketelusan adalah menjelaskan tingkah laku sistem AI dan komponennya. Meningkatkan pemahaman tentang sistem AI memerlukan pihak berkepentingan memahami bagaimana dan mengapa ia berfungsi supaya mereka boleh mengenal pasti potensi isu prestasi, kebimbangan keselamatan dan privasi, bias, amalan pengecualian, atau hasil yang tidak diingini. Kami juga percaya bahawa mereka yang menggunakan sistem AI harus jujur dan terus terang tentang bila, mengapa, dan bagaimana mereka memilih untuk menggunakan sistem tersebut. Serta had sistem yang mereka gunakan. Sebagai contoh, jika bank menggunakan sistem AI untuk menyokong keputusan pemberian pinjaman pengguna, adalah penting untuk memeriksa hasil dan memahami data mana yang mempengaruhi cadangan sistem. Kerajaan mula mengawal selia AI di seluruh industri, jadi saintis data dan organisasi mesti menjelaskan jika sistem AI memenuhi keperluan peraturan, terutamanya apabila terdapat hasil yang tidak diingini. + +> [🎥 Klik di sini untuk video: ketelusan dalam AI](https://www.microsoft.com/videoplayer/embed/RE4voJF) + +- Oleh kerana sistem AI sangat kompleks, sukar untuk memahami bagaimana ia berfungsi dan mentafsir hasilnya. +- Kekurangan pemahaman ini mempengaruhi cara sistem ini diurus, dioperasikan, dan didokumentasikan. +- Kekurangan pemahaman ini lebih penting mempengaruhi keputusan yang dibuat menggunakan hasil yang dihasilkan oleh sistem ini. + +### Akauntabiliti + +Orang yang mereka bentuk dan melaksanakan sistem AI mesti bertanggungjawab atas cara sistem mereka beroperasi. Keperluan untuk akauntabiliti adalah sangat penting dengan teknologi penggunaan sensitif seperti pengecaman wajah. Baru-baru ini, terdapat permintaan yang semakin meningkat untuk teknologi pengecaman wajah, terutamanya daripada organisasi penguatkuasaan undang-undang yang melihat potensi teknologi dalam penggunaan seperti mencari kanak-kanak yang hilang. Walau bagaimanapun, teknologi ini berpotensi digunakan oleh kerajaan untuk meletakkan kebebasan asas warganya dalam risiko dengan, sebagai contoh, membolehkan pengawasan berterusan individu tertentu. Oleh itu, saintis data dan organisasi perlu bertanggungjawab terhadap cara sistem AI mereka memberi kesan kepada individu atau masyarakat. + +[](https://www.youtube.com/watch?v=Wldt8P5V6D0 "Pendekatan Microsoft terhadap AI Bertanggungjawab") + +> 🎥 Klik gambar di atas untuk video: Amaran Pengawasan Massa Melalui Pengecaman Wajah + +Akhirnya salah satu soalan terbesar untuk generasi kita, sebagai generasi pertama yang membawa AI kepada masyarakat, adalah bagaimana memastikan komputer akan tetap bertanggungjawab kepada orang dan bagaimana memastikan orang yang mereka bentuk komputer tetap bertanggungjawab kepada semua orang lain. + +## Penilaian Kesan + +Sebelum melatih model pembelajaran mesin, adalah penting untuk menjalankan penilaian kesan untuk memahami tujuan sistem AI; apa kegunaan yang dimaksudkan; di mana ia akan digunakan; dan siapa yang akan berinteraksi dengan sistem tersebut. Ini berguna untuk pengulas atau penguji yang menilai sistem untuk mengetahui faktor-faktor yang perlu dipertimbangkan semasa mengenal pasti potensi risiko dan akibat yang dijangka. + +Berikut adalah bidang fokus apabila menjalankan penilaian kesan: + +* **Kesan buruk terhadap individu**. Menyedari sebarang sekatan atau keperluan, penggunaan yang tidak disokong atau sebarang had yang diketahui yang menghalang prestasi sistem adalah penting untuk memastikan bahawa sistem tidak digunakan dengan cara yang boleh menyebabkan bahaya kepada individu. +* **Keperluan data**. Memahami bagaimana dan di mana sistem akan menggunakan data membolehkan pengulas meneroka sebarang keperluan data yang perlu anda perhatikan (contohnya, peraturan data GDPR atau HIPPA). Selain itu, periksa sama ada sumber atau kuantiti data mencukupi untuk latihan. +* **Ringkasan kesan**. Kumpulkan senarai potensi bahaya yang boleh timbul daripada menggunakan sistem. Sepanjang kitar hayat ML, semak jika isu yang dikenal pasti telah dikurangkan atau ditangani. +* **Matlamat yang berkenaan** untuk setiap enam prinsip teras. Nilai jika matlamat dari setiap prinsip dipenuhi dan jika terdapat sebarang jurang. + +## Debugging dengan AI Bertanggungjawab + +Sama seperti debugging aplikasi perisian, debugging sistem AI adalah proses yang perlu untuk mengenal pasti dan menyelesaikan isu dalam sistem. Terdapat banyak faktor yang akan mempengaruhi model tidak berfungsi seperti yang dijangkakan atau bertanggungjawab. Kebanyakan metrik prestasi model tradisional adalah agregat kuantitatif prestasi model, yang tidak mencukupi untuk menganalisis bagaimana model melanggar prinsip AI bertanggungjawab. Tambahan pula, model pembelajaran mesin adalah kotak hitam yang menjadikannya sukar untuk memahami apa yang mendorong hasilnya atau memberikan penjelasan apabila ia membuat kesilapan. Kemudian dalam kursus ini, kita akan belajar bagaimana menggunakan papan pemuka AI Bertanggungjawab untuk membantu debugging sistem AI. Papan pemuka menyediakan alat holistik untuk saintis data dan pembangun AI untuk melaksanakan: + +* **Analisis ralat**. Untuk mengenal pasti taburan ralat model yang boleh menjejaskan keadilan atau kebolehpercayaan sistem. +* **Gambaran keseluruhan model**. Untuk menemui di mana terdapat perbezaan dalam prestasi model merentasi kohort data. +* **Analisis data**. Untuk memahami taburan data dan mengenal pasti sebarang potensi bias dalam data yang boleh membawa kepada isu keadilan, inklusiviti, dan kebolehpercayaan. +* **Kebolehfahaman model**. Untuk memahami apa yang mempengaruhi atau mempengaruhi ramalan model. Ini membantu dalam menjelaskan tingkah laku model, yang penting untuk ketelusan dan akauntabiliti. + +## 🚀 Cabaran + +Untuk mengelakkan bahaya daripada diperkenalkan pada awalnya, kita harus: + +- mempunyai kepelbagaian latar belakang dan perspektif dalam kalangan orang yang bekerja pada sistem +- melabur dalam set data yang mencerminkan kepelbagaian masyarakat kita +- membangunkan kaedah yang lebih baik sepanjang kitar hayat pembelajaran mesin untuk mengesan dan membetulkan AI bertanggungjawab apabila ia berlaku + +Fikirkan tentang senario kehidupan sebenar di mana ketidakpercayaan model jelas dalam pembinaan dan penggunaan model. Apa lagi yang harus kita pertimbangkan? + +## [Kuiz Pasca-Kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/6/) +## Ulasan & Kajian Sendiri + +Dalam pelajaran ini, anda telah mempelajari beberapa asas konsep keadilan dan ketidakadilan dalam pembelajaran mesin. + +Tonton bengkel ini untuk mendalami topik: + +- Dalam mengejar AI bertanggungjawab: Membawa prinsip kepada amalan oleh Besmira Nushi, Mehrnoosh Sameki dan Amit Sharma + +[](https://www.youtube.com/watch?v=tGgJCrA-MZU "Kotak Alat AI Bertanggungjawab: Kerangka sumber terbuka untuk membina AI bertanggungjawab oleh Besmira Nushi, Mehrnoosh Sameki, dan Amit Sharma") + +> 🎥 Klik gambar di atas untuk video: Kotak Alat AI Bertanggungjawab: Kerangka sumber terbuka untuk membina AI bertanggungjawab oleh Besmira Nushi, Mehrnoosh Sameki, dan Amit Sharma + +Juga, baca: + +- Pusat sumber RAI Microsoft: [Sumber AI Bertanggungjawab – Microsoft AI](https://www.microsoft.com/ai/responsible-ai-resources?activetab=pivot1%3aprimaryr4) + +- Kumpulan penyelidikan FATE Microsoft: [FATE: Keadilan, Akauntabiliti, Ketelusan, dan Etika dalam AI - Penyelidikan Microsoft](https://www.microsoft.com/research/theme/fate/) + +Kotak Alat RAI: + +- [Repositori GitHub Kotak Alat AI Bertanggungjawab](https://github.com/microsoft/responsible-ai-toolbox) + +Baca tentang alat Azure Machine Learning untuk memastikan keadilan: + +- [Azure Machine Learning](https://docs.microsoft.com/azure/machine-learning/concept-fairness-ml?WT.mc_id=academic-77952-leestott) + +## Tugasan + +[Terokai Kotak Alat RAI](assignment.md) + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab ke atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/1-Introduction/3-fairness/assignment.md b/translations/ms/1-Introduction/3-fairness/assignment.md new file mode 100644 index 000000000..a7b791a43 --- /dev/null +++ b/translations/ms/1-Introduction/3-fairness/assignment.md @@ -0,0 +1,14 @@ +# Terokai Kotak Alat AI Bertanggungjawab + +## Arahan + +Dalam pelajaran ini, anda telah mempelajari tentang Kotak Alat AI Bertanggungjawab, sebuah "projek sumber terbuka yang didorong oleh komuniti untuk membantu saintis data menganalisis dan memperbaiki sistem AI." Untuk tugasan ini, terokai salah satu [notebook](https://github.com/microsoft/responsible-ai-toolbox/blob/main/notebooks/responsibleaidashboard/getting-started.ipynb) dari Kotak Alat RAI dan laporkan penemuan anda dalam bentuk kertas kerja atau pembentangan. + +## Rubrik + +| Kriteria | Cemerlang | Memadai | Perlu Penambahbaikan | +| -------- | --------- | -------- | -------------------- | +| | Kertas kerja atau pembentangan powerpoint disediakan yang membincangkan sistem Fairlearn, notebook yang dijalankan, dan kesimpulan yang diperoleh daripada menjalankannya | Kertas kerja disediakan tanpa kesimpulan | Tiada kertas kerja disediakan | + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab ke atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/1-Introduction/4-techniques-of-ML/README.md b/translations/ms/1-Introduction/4-techniques-of-ML/README.md new file mode 100644 index 000000000..571c79e51 --- /dev/null +++ b/translations/ms/1-Introduction/4-techniques-of-ML/README.md @@ -0,0 +1,121 @@ +# Teknik Pembelajaran Mesin + +Proses membangun, menggunakan, dan memelihara model pembelajaran mesin dan data yang mereka gunakan sangat berbeda dari banyak alur kerja pengembangan lainnya. Dalam pelajaran ini, kita akan mengurai proses tersebut, dan menjelaskan teknik utama yang perlu Anda ketahui. Anda akan: + +- Memahami proses yang mendasari pembelajaran mesin pada tingkat tinggi. +- Menjelajahi konsep dasar seperti 'model', 'prediksi', dan 'data pelatihan'. + +## [Kuis Pra-Kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/7/) + +[](https://youtu.be/4NGM0U2ZSHU "ML untuk pemula - Teknik Pembelajaran Mesin") + +> 🎥 Klik gambar di atas untuk video singkat yang membahas pelajaran ini. + +## Pengenalan + +Secara garis besar, seni menciptakan proses pembelajaran mesin (ML) terdiri dari beberapa langkah: + +1. **Tentukan pertanyaan**. Sebagian besar proses ML dimulai dengan mengajukan pertanyaan yang tidak dapat dijawab oleh program kondisional sederhana atau mesin berbasis aturan. Pertanyaan-pertanyaan ini sering kali berputar di sekitar prediksi berdasarkan kumpulan data. +2. **Kumpulkan dan siapkan data**. Untuk dapat menjawab pertanyaan Anda, Anda memerlukan data. Kualitas dan, kadang-kadang, kuantitas data Anda akan menentukan seberapa baik Anda dapat menjawab pertanyaan awal Anda. Visualisasi data adalah aspek penting dari fase ini. Fase ini juga mencakup pembagian data menjadi kelompok pelatihan dan pengujian untuk membangun model. +3. **Pilih metode pelatihan**. Tergantung pada pertanyaan Anda dan sifat data Anda, Anda perlu memilih bagaimana Anda ingin melatih model untuk mencerminkan data Anda dengan baik dan membuat prediksi yang akurat. Ini adalah bagian dari proses ML Anda yang membutuhkan keahlian khusus dan, sering kali, banyak percobaan. +4. **Latih model**. Menggunakan data pelatihan Anda, Anda akan menggunakan berbagai algoritma untuk melatih model agar mengenali pola dalam data. Model mungkin memanfaatkan bobot internal yang dapat disesuaikan untuk memprioritaskan bagian data tertentu daripada yang lain untuk membangun model yang lebih baik. +5. **Evaluasi model**. Anda menggunakan data yang belum pernah dilihat sebelumnya (data pengujian Anda) dari kumpulan yang dikumpulkan untuk melihat bagaimana kinerja model. +6. **Penyetelan parameter**. Berdasarkan kinerja model Anda, Anda dapat mengulangi proses menggunakan parameter yang berbeda, atau variabel, yang mengontrol perilaku algoritma yang digunakan untuk melatih model. +7. **Prediksi**. Gunakan input baru untuk menguji akurasi model Anda. + +## Pertanyaan apa yang harus diajukan + +Komputer sangat mahir dalam menemukan pola tersembunyi dalam data. Utilitas ini sangat membantu bagi para peneliti yang memiliki pertanyaan tentang domain tertentu yang tidak dapat dijawab dengan mudah dengan membuat mesin berbasis aturan kondisional. Diberikan tugas aktuaria, misalnya, seorang ilmuwan data mungkin dapat membangun aturan buatan tangan tentang kematian perokok vs non-perokok. + +Namun, ketika banyak variabel lain dimasukkan ke dalam persamaan, model ML mungkin lebih efisien untuk memprediksi tingkat kematian di masa depan berdasarkan riwayat kesehatan masa lalu. Contoh yang lebih ceria mungkin adalah membuat prediksi cuaca untuk bulan April di lokasi tertentu berdasarkan data yang mencakup garis lintang, garis bujur, perubahan iklim, kedekatan dengan laut, pola aliran jet, dan lainnya. + +✅ [Slide deck](https://www2.cisl.ucar.edu/sites/default/files/2021-10/0900%20June%2024%20Haupt_0.pdf) ini tentang model cuaca menawarkan perspektif historis untuk menggunakan ML dalam analisis cuaca. + +## Tugas Pra-Pembangunan + +Sebelum mulai membangun model Anda, ada beberapa tugas yang perlu Anda selesaikan. Untuk menguji pertanyaan Anda dan membentuk hipotesis berdasarkan prediksi model, Anda perlu mengidentifikasi dan mengkonfigurasi beberapa elemen. + +### Data + +Untuk dapat menjawab pertanyaan Anda dengan kepastian apa pun, Anda memerlukan sejumlah data yang tepat. Ada dua hal yang perlu Anda lakukan pada titik ini: + +- **Kumpulkan data**. Mengingat pelajaran sebelumnya tentang keadilan dalam analisis data, kumpulkan data Anda dengan hati-hati. Sadarilah sumber data ini, bias bawaan yang mungkin dimilikinya, dan dokumentasikan asal-usulnya. +- **Siapkan data**. Ada beberapa langkah dalam proses persiapan data. Anda mungkin perlu menggabungkan data dan menormalkannya jika berasal dari berbagai sumber. Anda dapat meningkatkan kualitas dan kuantitas data melalui berbagai metode seperti mengubah string menjadi angka (seperti yang kita lakukan dalam [Clustering](../../5-Clustering/1-Visualize/README.md)). Anda juga dapat menghasilkan data baru, berdasarkan yang asli (seperti yang kita lakukan dalam [Classification](../../4-Classification/1-Introduction/README.md)). Anda dapat membersihkan dan mengedit data (seperti yang akan kita lakukan sebelum pelajaran [Web App](../../3-Web-App/README.md)). Terakhir, Anda mungkin juga perlu mengacak dan mengocoknya, tergantung pada teknik pelatihan Anda. + +✅ Setelah mengumpulkan dan memproses data Anda, luangkan waktu untuk melihat apakah bentuknya akan memungkinkan Anda menjawab pertanyaan yang dimaksud. Mungkin data tersebut tidak akan berkinerja baik dalam tugas yang diberikan, seperti yang kita temukan dalam pelajaran [Clustering](../../5-Clustering/1-Visualize/README.md)! + +### Fitur dan Target + +[Fitur](https://www.datasciencecentral.com/profiles/blogs/an-introduction-to-variable-and-feature-selection) adalah properti terukur dari data Anda. Dalam banyak dataset, itu diekspresikan sebagai tajuk kolom seperti 'tanggal', 'ukuran', atau 'warna'. Variabel fitur Anda, biasanya diwakili sebagai `X` dalam kode, mewakili variabel input yang akan digunakan untuk melatih model. + +Target adalah hal yang Anda coba prediksi. Target biasanya diwakili sebagai `y` dalam kode, mewakili jawaban atas pertanyaan yang Anda coba ajukan dari data Anda: pada bulan Desember, warna **apa** labu yang akan paling murah? di San Francisco, lingkungan mana yang akan memiliki harga **real estate** terbaik? Kadang-kadang target juga disebut sebagai atribut label. + +### Memilih variabel fitur Anda + +🎓 **Pemilihan Fitur dan Ekstraksi Fitur** Bagaimana Anda tahu variabel mana yang harus dipilih saat membangun model? Anda mungkin akan melalui proses pemilihan fitur atau ekstraksi fitur untuk memilih variabel yang tepat untuk model yang paling berkinerja. Namun, mereka tidak sama: "Ekstraksi fitur membuat fitur baru dari fungsi fitur asli, sedangkan pemilihan fitur mengembalikan subset dari fitur." ([sumber](https://wikipedia.org/wiki/Feature_selection)) + +### Visualisasikan data Anda + +Aspek penting dari alat ilmuwan data adalah kekuatan untuk memvisualisasikan data menggunakan beberapa pustaka yang sangat baik seperti Seaborn atau MatPlotLib. Mewakili data Anda secara visual mungkin memungkinkan Anda menemukan korelasi tersembunyi yang dapat Anda manfaatkan. Visualisasi Anda mungkin juga membantu Anda menemukan bias atau data yang tidak seimbang (seperti yang kita temukan dalam [Classification](../../4-Classification/2-Classifiers-1/README.md)). + +### Membagi dataset Anda + +Sebelum pelatihan, Anda perlu membagi dataset Anda menjadi dua atau lebih bagian dengan ukuran yang tidak sama yang masih mewakili data dengan baik. + +- **Pelatihan**. Bagian dataset ini cocok dengan model Anda untuk melatihnya. Set ini merupakan mayoritas dari dataset asli. +- **Pengujian**. Dataset pengujian adalah kelompok data independen, sering kali dikumpulkan dari data asli, yang Anda gunakan untuk mengonfirmasi kinerja model yang dibangun. +- **Validasi**. Set validasi adalah kelompok contoh independen yang lebih kecil yang Anda gunakan untuk menyetel hyperparameter model, atau arsitektur, untuk meningkatkan model. Tergantung pada ukuran data Anda dan pertanyaan yang Anda ajukan, Anda mungkin tidak perlu membangun set ketiga ini (seperti yang kami catat dalam [Peramalan Deret Waktu](../../7-TimeSeries/1-Introduction/README.md)). + +## Membangun model + +Menggunakan data pelatihan Anda, tujuan Anda adalah membangun model, atau representasi statistik dari data Anda, menggunakan berbagai algoritma untuk **melatih**nya. Melatih model mengeksposnya ke data dan memungkinkan model membuat asumsi tentang pola yang dirasakannya, memvalidasi, dan menerima atau menolak. + +### Tentukan metode pelatihan + +Tergantung pada pertanyaan Anda dan sifat data Anda, Anda akan memilih metode untuk melatihnya. Melalui [dokumentasi Scikit-learn](https://scikit-learn.org/stable/user_guide.html) - yang kita gunakan dalam kursus ini - Anda dapat menjelajahi banyak cara untuk melatih model. Tergantung pada pengalaman Anda, Anda mungkin harus mencoba beberapa metode berbeda untuk membangun model terbaik. Anda kemungkinan besar akan melalui proses di mana ilmuwan data mengevaluasi kinerja model dengan memberinya data yang belum terlihat, memeriksa akurasi, bias, dan masalah penurunan kualitas lainnya, dan memilih metode pelatihan yang paling tepat untuk tugas yang ada. + +### Melatih model + +Dengan data pelatihan Anda, Anda siap untuk 'memasangkannya' untuk membuat model. Anda akan melihat bahwa di banyak pustaka ML Anda akan menemukan kode 'model.fit' - saat inilah Anda mengirimkan variabel fitur Anda sebagai array nilai (biasanya 'X') dan variabel target (biasanya 'y'). + +### Evaluasi model + +Setelah proses pelatihan selesai (bisa memakan banyak iterasi, atau 'epoch', untuk melatih model besar), Anda akan dapat mengevaluasi kualitas model dengan menggunakan data pengujian untuk mengukur kinerjanya. Data ini adalah subset dari data asli yang belum pernah dianalisis oleh model sebelumnya. Anda dapat mencetak tabel metrik tentang kualitas model Anda. + +🎓 **Pemasangan Model** + +Dalam konteks pembelajaran mesin, pemasangan model mengacu pada akurasi fungsi dasar model saat mencoba menganalisis data yang tidak dikenalnya. + +🎓 **Underfitting** dan **overfitting** adalah masalah umum yang menurunkan kualitas model, karena model cocok baik tidak cukup baik atau terlalu baik. Ini menyebabkan model membuat prediksi yang terlalu selaras atau terlalu longgar dengan data pelatihannya. Model yang overfit memprediksi data pelatihan terlalu baik karena telah mempelajari detail dan kebisingan data dengan terlalu baik. Model yang underfit tidak akurat karena tidak dapat menganalisis data pelatihannya maupun data yang belum pernah 'dilihatnya' dengan akurat. + + +> Infografik oleh [Jen Looper](https://twitter.com/jenlooper) + +## Penyetelan parameter + +Setelah pelatihan awal Anda selesai, amati kualitas model dan pertimbangkan untuk meningkatkannya dengan menyesuaikan 'hyperparameter'-nya. Baca lebih lanjut tentang prosesnya [dalam dokumentasi](https://docs.microsoft.com/en-us/azure/machine-learning/how-to-tune-hyperparameters?WT.mc_id=academic-77952-leestott). + +## Prediksi + +Ini adalah saat di mana Anda dapat menggunakan data yang benar-benar baru untuk menguji akurasi model Anda. Dalam pengaturan ML 'terapan', di mana Anda membangun aset web untuk menggunakan model dalam produksi, proses ini mungkin melibatkan pengumpulan input pengguna (misalnya, menekan tombol) untuk menetapkan variabel dan mengirimkannya ke model untuk inferensi, atau evaluasi. + +Dalam pelajaran-pelajaran ini, Anda akan menemukan cara menggunakan langkah-langkah ini untuk mempersiapkan, membangun, menguji, mengevaluasi, dan memprediksi - semua gerakan seorang ilmuwan data dan lebih banyak lagi, saat Anda maju dalam perjalanan Anda untuk menjadi seorang insinyur ML 'full stack'. + +--- + +## 🚀Tantangan + +Buat bagan alur yang mencerminkan langkah-langkah seorang praktisi ML. Di mana Anda melihat diri Anda saat ini dalam proses? Di mana Anda memprediksi Anda akan menemukan kesulitan? Apa yang tampaknya mudah bagi Anda? + +## [Kuis Pasca-Kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/8/) + +## Tinjauan & Studi Mandiri + +Cari wawancara dengan ilmuwan data yang membahas pekerjaan harian mereka secara online. Berikut [salah satunya](https://www.youtube.com/watch?v=Z3IjgbbCEfs). + +## Tugas + +[Wawancarai seorang ilmuwan data](assignment.md) + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila maklum bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat penting, terjemahan manusia profesional disarankan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/1-Introduction/4-techniques-of-ML/assignment.md b/translations/ms/1-Introduction/4-techniques-of-ML/assignment.md new file mode 100644 index 000000000..7cb62471c --- /dev/null +++ b/translations/ms/1-Introduction/4-techniques-of-ML/assignment.md @@ -0,0 +1,14 @@ +# Temu ramah dengan seorang saintis data + +## Arahan + +Di syarikat anda, dalam kumpulan pengguna, atau dalam kalangan rakan-rakan atau rakan sekuliah, berbincanglah dengan seseorang yang bekerja secara profesional sebagai seorang saintis data. Tulis satu kertas pendek (500 patah perkataan) mengenai pekerjaan harian mereka. Adakah mereka pakar dalam satu bidang, atau adakah mereka bekerja 'full stack'? + +## Rubrik + +| Kriteria | Contoh Terbaik | Memadai | Perlu Penambahbaikan | +| -------- | ------------------------------------------------------------------------------------------------- | ---------------------------------------------------------------------- | --------------------- | +| | Satu esei dengan panjang yang betul, dengan sumber yang dinyatakan, diserahkan sebagai fail .doc | Esei dengan sumber yang kurang dinyatakan atau lebih pendek dari panjang yang diperlukan | Tiada esei diserahkan | + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/1-Introduction/README.md b/translations/ms/1-Introduction/README.md new file mode 100644 index 000000000..49ce4d052 --- /dev/null +++ b/translations/ms/1-Introduction/README.md @@ -0,0 +1,25 @@ +# Pengenalan kepada pembelajaran mesin + +Dalam bahagian kurikulum ini, anda akan diperkenalkan kepada konsep asas yang mendasari bidang pembelajaran mesin, apa itu, dan belajar tentang sejarahnya serta teknik yang digunakan oleh penyelidik untuk bekerja dengannya. Mari kita terokai dunia baru ML ini bersama-sama! + + +> Foto oleh Bill Oxford di Unsplash + +### Pelajaran + +1. [Pengenalan kepada pembelajaran mesin](1-intro-to-ML/README.md) +1. [Sejarah pembelajaran mesin dan AI](2-history-of-ML/README.md) +1. [Keadilan dan pembelajaran mesin](3-fairness/README.md) +1. [Teknik pembelajaran mesin](4-techniques-of-ML/README.md) +### Kredit + +"Pengenalan kepada Pembelajaran Mesin" ditulis dengan ♥️ oleh sekumpulan individu termasuk [Muhammad Sakib Khan Inan](https://twitter.com/Sakibinan), [Ornella Altunyan](https://twitter.com/ornelladotcom) dan [Jen Looper](https://twitter.com/jenlooper) + +"Sejarah Pembelajaran Mesin" ditulis dengan ♥️ oleh [Jen Looper](https://twitter.com/jenlooper) dan [Amy Boyd](https://twitter.com/AmyKateNicho) + +"Keadilan dan Pembelajaran Mesin" ditulis dengan ♥️ oleh [Tomomi Imura](https://twitter.com/girliemac) + +"Teknik Pembelajaran Mesin" ditulis dengan ♥️ oleh [Jen Looper](https://twitter.com/jenlooper) dan [Chris Noring](https://twitter.com/softchris) + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/2-Regression/1-Tools/README.md b/translations/ms/2-Regression/1-Tools/README.md new file mode 100644 index 000000000..3ddaa053d --- /dev/null +++ b/translations/ms/2-Regression/1-Tools/README.md @@ -0,0 +1,228 @@ +# Memulakan dengan Python dan Scikit-learn untuk model regresi + + + +> Sketchnote oleh [Tomomi Imura](https://www.twitter.com/girlie_mac) + +## [Kuiz pra-kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/9/) + +> ### [Pelajaran ini tersedia dalam R!](../../../../2-Regression/1-Tools/solution/R/lesson_1.html) + +## Pengenalan + +Dalam empat pelajaran ini, anda akan belajar bagaimana untuk membina model regresi. Kami akan membincangkan apa kegunaannya sebentar lagi. Tetapi sebelum anda memulakan apa-apa, pastikan anda mempunyai alat yang betul untuk memulakan proses ini! + +Dalam pelajaran ini, anda akan belajar bagaimana untuk: + +- Mengkonfigurasi komputer anda untuk tugas pembelajaran mesin tempatan. +- Bekerja dengan Jupyter notebook. +- Menggunakan Scikit-learn, termasuk pemasangan. +- Meneroka regresi linear dengan latihan praktikal. + +## Pemasangan dan konfigurasi + +[](https://youtu.be/-DfeD2k2Kj0 "ML untuk pemula - Siapkan alat anda untuk membina model Pembelajaran Mesin") + +> 🎥 Klik imej di atas untuk video pendek mengenai cara mengkonfigurasi komputer anda untuk ML. + +1. **Pasang Python**. Pastikan [Python](https://www.python.org/downloads/) dipasang pada komputer anda. Anda akan menggunakan Python untuk banyak tugas sains data dan pembelajaran mesin. Kebanyakan sistem komputer sudah termasuk pemasangan Python. Terdapat juga [Pek Pengkodan Python](https://code.visualstudio.com/learn/educators/installers?WT.mc_id=academic-77952-leestott) yang berguna untuk memudahkan pemasangan bagi sesetengah pengguna. + + Sesetengah penggunaan Python memerlukan satu versi perisian, manakala yang lain memerlukan versi yang berbeza. Oleh itu, adalah berguna untuk bekerja dalam [persekitaran maya](https://docs.python.org/3/library/venv.html). + +2. **Pasang Visual Studio Code**. Pastikan anda mempunyai Visual Studio Code dipasang pada komputer anda. Ikuti arahan ini untuk [memasang Visual Studio Code](https://code.visualstudio.com/) untuk pemasangan asas. Anda akan menggunakan Python dalam Visual Studio Code dalam kursus ini, jadi mungkin anda ingin menyemak cara [mengkonfigurasi Visual Studio Code](https://docs.microsoft.com/learn/modules/python-install-vscode?WT.mc_id=academic-77952-leestott) untuk pembangunan Python. + + > Biasakan diri dengan Python dengan bekerja melalui koleksi [modul Pembelajaran](https://docs.microsoft.com/users/jenlooper-2911/collections/mp1pagggd5qrq7?WT.mc_id=academic-77952-leestott) + > + > [](https://youtu.be/yyQM70vi7V8 "Siapkan Python dengan Visual Studio Code") + > + > 🎥 Klik imej di atas untuk video: menggunakan Python dalam VS Code. + +3. **Pasang Scikit-learn**, dengan mengikuti [arahan ini](https://scikit-learn.org/stable/install.html). Memandangkan anda perlu memastikan bahawa anda menggunakan Python 3, adalah disyorkan agar anda menggunakan persekitaran maya. Perhatikan, jika anda memasang perpustakaan ini pada Mac M1, terdapat arahan khas pada halaman yang dipautkan di atas. + +1. **Pasang Jupyter Notebook**. Anda perlu [memasang pakej Jupyter](https://pypi.org/project/jupyter/). + +## Persekitaran pengarang ML anda + +Anda akan menggunakan **notebook** untuk membangunkan kod Python anda dan mencipta model pembelajaran mesin. Jenis fail ini adalah alat biasa untuk saintis data, dan ia boleh dikenali dengan akhiran atau sambungan `.ipynb`. + +Notebook adalah persekitaran interaktif yang membolehkan pembangun untuk menulis kod dan menambah nota serta menulis dokumentasi di sekitar kod yang sangat membantu untuk projek eksperimen atau berorientasikan penyelidikan. + +[](https://youtu.be/7E-jC8FLA2E "ML untuk pemula - Siapkan Jupyter Notebooks untuk mula membina model regresi") + +> 🎥 Klik imej di atas untuk video pendek mengenai latihan ini. + +### Latihan - bekerja dengan notebook + +Dalam folder ini, anda akan menemui fail _notebook.ipynb_. + +1. Buka _notebook.ipynb_ dalam Visual Studio Code. + + Pelayan Jupyter akan bermula dengan Python 3+ dimulakan. Anda akan menemui kawasan notebook yang boleh `run`, potongan kod. Anda boleh menjalankan blok kod dengan memilih ikon yang kelihatan seperti butang main. + +1. Pilih ikon `md` dan tambah sedikit markdown, dan teks berikut **# Selamat datang ke notebook anda**. + + Seterusnya, tambahkan sedikit kod Python. + +1. Taip **print('hello notebook')** dalam blok kod. +1. Pilih anak panah untuk menjalankan kod. + + Anda sepatutnya melihat kenyataan yang dicetak: + + ```output + hello notebook + ``` + + + +Anda boleh menyisipkan kod anda dengan komen untuk mendokumentasikan notebook secara sendiri. + +✅ Fikirkan sejenak tentang perbezaan antara persekitaran kerja pembangun web dan saintis data. + +## Berfungsi dengan Scikit-learn + +Sekarang Python telah disediakan dalam persekitaran tempatan anda, dan anda selesa dengan Jupyter notebook, mari kita sama-sama selesa dengan Scikit-learn (sebut `sci` as in `science`). Scikit-learn menyediakan [API yang luas](https://scikit-learn.org/stable/modules/classes.html#api-ref) untuk membantu anda melaksanakan tugas ML. + +Menurut [laman web mereka](https://scikit-learn.org/stable/getting_started.html), "Scikit-learn adalah perpustakaan pembelajaran mesin sumber terbuka yang menyokong pembelajaran terkawal dan tidak terkawal. Ia juga menyediakan pelbagai alat untuk pemasangan model, prapemprosesan data, pemilihan model dan penilaian, serta banyak utiliti lain." + +Dalam kursus ini, anda akan menggunakan Scikit-learn dan alat lain untuk membina model pembelajaran mesin untuk melaksanakan apa yang kita panggil tugas 'pembelajaran mesin tradisional'. Kami sengaja mengelakkan rangkaian neural dan pembelajaran mendalam, kerana ia lebih baik diliputi dalam kurikulum 'AI untuk Pemula' kami yang akan datang. + +Scikit-learn memudahkan untuk membina model dan menilainya untuk digunakan. Ia terutama tertumpu pada penggunaan data berangka dan mengandungi beberapa set data sedia ada untuk digunakan sebagai alat pembelajaran. Ia juga termasuk model siap bina untuk pelajar mencuba. Mari kita terokai proses memuatkan data yang telah dibungkus dan menggunakan estimator yang dibina untuk model ML pertama dengan Scikit-learn dengan beberapa data asas. + +## Latihan - notebook Scikit-learn pertama anda + +> Tutorial ini diilhamkan oleh [contoh regresi linear](https://scikit-learn.org/stable/auto_examples/linear_model/plot_ols.html#sphx-glr-auto-examples-linear-model-plot-ols-py) di laman web Scikit-learn. + +[](https://youtu.be/2xkXL5EUpS0 "ML untuk pemula - Projek Regresi Linear Pertama Anda dalam Python") + +> 🎥 Klik imej di atas untuk video pendek mengenai latihan ini. + +Dalam fail _notebook.ipynb_ yang berkaitan dengan pelajaran ini, kosongkan semua sel dengan menekan ikon 'tong sampah'. + +Dalam bahagian ini, anda akan bekerja dengan set data kecil tentang diabetes yang dibina dalam Scikit-learn untuk tujuan pembelajaran. Bayangkan bahawa anda ingin menguji rawatan untuk pesakit diabetes. Model Pembelajaran Mesin mungkin membantu anda menentukan pesakit mana yang akan memberi tindak balas lebih baik kepada rawatan, berdasarkan kombinasi pembolehubah. Walaupun model regresi yang sangat asas, apabila divisualisasikan, mungkin menunjukkan maklumat tentang pembolehubah yang akan membantu anda mengatur percubaan klinikal teori anda. + +✅ Terdapat banyak jenis kaedah regresi, dan yang mana satu anda pilih bergantung pada jawapan yang anda cari. Jika anda ingin meramalkan ketinggian yang mungkin untuk seseorang pada usia tertentu, anda akan menggunakan regresi linear, kerana anda mencari **nilai berangka**. Jika anda berminat untuk mengetahui sama ada jenis masakan harus dianggap vegan atau tidak, anda mencari **penugasan kategori** jadi anda akan menggunakan regresi logistik. Anda akan belajar lebih lanjut tentang regresi logistik kemudian. Fikirkan sedikit tentang beberapa soalan yang boleh anda tanya daripada data, dan kaedah mana yang lebih sesuai. + +Mari kita mulakan tugas ini. + +### Import perpustakaan + +Untuk tugas ini, kita akan mengimport beberapa perpustakaan: + +- **matplotlib**. Ia adalah alat [grafik yang berguna](https://matplotlib.org/) dan kita akan menggunakannya untuk mencipta plot garis. +- **numpy**. [numpy](https://numpy.org/doc/stable/user/whatisnumpy.html) adalah perpustakaan yang berguna untuk mengendalikan data berangka dalam Python. +- **sklearn**. Ini adalah perpustakaan [Scikit-learn](https://scikit-learn.org/stable/user_guide.html). + +Import beberapa perpustakaan untuk membantu dengan tugas anda. + +1. Tambah import dengan menaip kod berikut: + + ```python + import matplotlib.pyplot as plt + import numpy as np + from sklearn import datasets, linear_model, model_selection + ``` + + Di atas anda mengimport `matplotlib`, `numpy` and you are importing `datasets`, `linear_model` and `model_selection` from `sklearn`. `model_selection` is used for splitting data into training and test sets. + +### The diabetes dataset + +The built-in [diabetes dataset](https://scikit-learn.org/stable/datasets/toy_dataset.html#diabetes-dataset) includes 442 samples of data around diabetes, with 10 feature variables, some of which include: + +- age: age in years +- bmi: body mass index +- bp: average blood pressure +- s1 tc: T-Cells (a type of white blood cells) + +✅ This dataset includes the concept of 'sex' as a feature variable important to research around diabetes. Many medical datasets include this type of binary classification. Think a bit about how categorizations such as this might exclude certain parts of a population from treatments. + +Now, load up the X and y data. + +> 🎓 Remember, this is supervised learning, and we need a named 'y' target. + +In a new code cell, load the diabetes dataset by calling `load_diabetes()`. The input `return_X_y=True` signals that `X` will be a data matrix, and `y` akan menjadi sasaran regresi. + +1. Tambah beberapa arahan cetak untuk menunjukkan bentuk matriks data dan elemen pertamanya: + + ```python + X, y = datasets.load_diabetes(return_X_y=True) + print(X.shape) + print(X[0]) + ``` + + Apa yang anda dapatkan sebagai respons adalah tuple. Apa yang anda lakukan adalah menetapkan dua nilai pertama tuple kepada `X` and `y` masing-masing. Ketahui lebih lanjut [mengenai tuple](https://wikipedia.org/wiki/Tuple). + + Anda boleh melihat bahawa data ini mempunyai 442 item yang dibentuk dalam tatasusunan 10 elemen: + + ```text + (442, 10) + [ 0.03807591 0.05068012 0.06169621 0.02187235 -0.0442235 -0.03482076 + -0.04340085 -0.00259226 0.01990842 -0.01764613] + ``` + + ✅ Fikirkan sedikit tentang hubungan antara data dan sasaran regresi. Regresi linear meramalkan hubungan antara ciri X dan pembolehubah sasaran y. Bolehkah anda mencari [sasaran](https://scikit-learn.org/stable/datasets/toy_dataset.html#diabetes-dataset) untuk set data diabetes dalam dokumentasi? Apakah yang ditunjukkan oleh set data ini, memandangkan sasaran tersebut? + +2. Seterusnya, pilih sebahagian daripada set data ini untuk plot dengan memilih lajur ke-3 set data. Anda boleh melakukannya dengan menggunakan `:` operator to select all rows, and then selecting the 3rd column using the index (2). You can also reshape the data to be a 2D array - as required for plotting - by using `reshape(n_rows, n_columns)`. Jika salah satu parameter adalah -1, dimensi yang sepadan akan dikira secara automatik. + + ```python + X = X[:, 2] + X = X.reshape((-1,1)) + ``` + + ✅ Pada bila-bila masa, cetak data untuk memeriksa bentuknya. + +3. Sekarang anda mempunyai data yang sedia untuk diplot, anda boleh melihat sama ada mesin boleh membantu menentukan pemisahan logik antara nombor dalam set data ini. Untuk melakukan ini, anda perlu membahagikan kedua-dua data (X) dan sasaran (y) kepada set ujian dan latihan. Scikit-learn mempunyai cara yang mudah untuk melakukan ini; anda boleh membahagikan data ujian anda pada titik tertentu. + + ```python + X_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=0.33) + ``` + +4. Sekarang anda bersedia untuk melatih model anda! Muatkan model regresi linear dan latihkannya dengan set latihan X dan y anda menggunakan `model.fit()`: + + ```python + model = linear_model.LinearRegression() + model.fit(X_train, y_train) + ``` + + ✅ `model.fit()` is a function you'll see in many ML libraries such as TensorFlow + +5. Then, create a prediction using test data, using the function `predict()`. Ini akan digunakan untuk melukis garis antara kumpulan data + + ```python + y_pred = model.predict(X_test) + ``` + +6. Sekarang tiba masanya untuk menunjukkan data dalam plot. Matplotlib adalah alat yang sangat berguna untuk tugas ini. Cipta scatterplot semua data ujian X dan y, dan gunakan ramalan untuk melukis garis di tempat yang paling sesuai, antara kumpulan data model. + + ```python + plt.scatter(X_test, y_test, color='black') + plt.plot(X_test, y_pred, color='blue', linewidth=3) + plt.xlabel('Scaled BMIs') + plt.ylabel('Disease Progression') + plt.title('A Graph Plot Showing Diabetes Progression Against BMI') + plt.show() + ``` + +  + + ✅ Fikirkan sedikit tentang apa yang sedang berlaku di sini. Garis lurus berjalan melalui banyak titik kecil data, tetapi apa sebenarnya yang dilakukannya? Bolehkah anda melihat bagaimana anda sepatutnya boleh menggunakan garis ini untuk meramalkan di mana titik data baru yang belum dilihat patut ditempatkan dalam hubungan dengan paksi y plot? Cuba jelaskan kegunaan praktikal model ini. + +Tahniah, anda telah membina model regresi linear pertama anda, mencipta ramalan dengannya, dan memaparkannya dalam plot! + +--- +## 🚀Cabaran + +Plot pembolehubah yang berbeza daripada set data ini. Petunjuk: edit baris ini: `X = X[:,2]`. Memandangkan sasaran set data ini, apakah yang anda dapat temui tentang perkembangan penyakit diabetes? +## [Kuiz pasca-kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/10/) + +## Ulasan & Kajian Sendiri + +Dalam tutorial ini, anda bekerja dengan regresi linear mudah, dan bukannya regresi univariat atau multivariat. Baca sedikit tentang perbezaan antara kaedah ini, atau tonton [video ini](https://www.coursera.org/lecture/quantifying-relationships-regression-models/linear-vs-nonlinear-categorical-variables-ai2Ef) + +Baca lebih lanjut tentang konsep regresi dan fikirkan tentang jenis soalan yang boleh dijawab oleh teknik ini. Ambil [tutorial ini](https://docs.microsoft.com/learn/modules/train-evaluate-regression-models?WT.mc_id=academic-77952-leestott) untuk mendalami pemahaman anda. + +## Tugasan + +[Set data yang berbeza](assignment.md) + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila maklum bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/2-Regression/1-Tools/assignment.md b/translations/ms/2-Regression/1-Tools/assignment.md new file mode 100644 index 000000000..08d4e521f --- /dev/null +++ b/translations/ms/2-Regression/1-Tools/assignment.md @@ -0,0 +1,16 @@ +# Regresi dengan Scikit-learn + +## Arahan + +Lihat dataset [Linnerud](https://scikit-learn.org/stable/modules/generated/sklearn.datasets.load_linnerud.html#sklearn.datasets.load_linnerud) dalam Scikit-learn. Dataset ini mempunyai beberapa [sasaran](https://scikit-learn.org/stable/datasets/toy_dataset.html#linnerrud-dataset): 'Ia terdiri daripada tiga data senaman dan tiga pembolehubah fisiologi yang dikumpul daripada dua puluh lelaki pertengahan umur di kelab kecergasan'. + +Dengan kata-kata anda sendiri, terangkan cara untuk mencipta model Regresi yang akan memplotkan hubungan antara lilitan pinggang dan bilangan situp yang dicapai. Lakukan perkara yang sama untuk titik data lain dalam dataset ini. + +## Rubrik + +| Kriteria | Contoh yang cemerlang | Memadai | Perlu Peningkatan | +| ------------------------------ | ----------------------------------- | ----------------------------- | -------------------------- | +| Hantar perenggan deskriptif | Perenggan yang ditulis dengan baik dihantar | Beberapa ayat dihantar | Tiada penerangan diberikan | + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/2-Regression/1-Tools/solution/Julia/README.md b/translations/ms/2-Regression/1-Tools/solution/Julia/README.md new file mode 100644 index 000000000..1da118c7d --- /dev/null +++ b/translations/ms/2-Regression/1-Tools/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila maklum bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/2-Regression/2-Data/README.md b/translations/ms/2-Regression/2-Data/README.md new file mode 100644 index 000000000..9a9419981 --- /dev/null +++ b/translations/ms/2-Regression/2-Data/README.md @@ -0,0 +1,214 @@ +# Bina model regresi menggunakan Scikit-learn: menyediakan dan memvisualisasikan data + + + +Infografik oleh [Dasani Madipalli](https://twitter.com/dasani_decoded) + +## [Kuiz pra-kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/11/) + +> ### [Pelajaran ini tersedia dalam R!](../../../../2-Regression/2-Data/solution/R/lesson_2.html) + +## Pengenalan + +Sekarang setelah Anda memiliki alat yang diperlukan untuk mulai membangun model pembelajaran mesin dengan Scikit-learn, Anda siap untuk mulai mengajukan pertanyaan pada data Anda. Saat Anda bekerja dengan data dan menerapkan solusi ML, sangat penting untuk memahami cara mengajukan pertanyaan yang tepat untuk benar-benar membuka potensi dataset Anda. + +Dalam pelajaran ini, Anda akan belajar: + +- Cara mempersiapkan data Anda untuk membangun model. +- Cara menggunakan Matplotlib untuk visualisasi data. + +## Mengajukan pertanyaan yang tepat pada data Anda + +Pertanyaan yang perlu Anda jawab akan menentukan jenis algoritma ML yang akan Anda gunakan. Dan kualitas jawaban yang Anda dapatkan sangat bergantung pada sifat data Anda. + +Lihatlah [data](https://github.com/microsoft/ML-For-Beginners/blob/main/2-Regression/data/US-pumpkins.csv) yang disediakan untuk pelajaran ini. Anda dapat membuka file .csv ini di VS Code. Sekilas cepat segera menunjukkan bahwa ada kekosongan dan campuran data string dan numerik. Ada juga kolom aneh bernama 'Package' di mana datanya adalah campuran antara 'sacks', 'bins' dan nilai lainnya. Data tersebut, sebenarnya, agak berantakan. + +[](https://youtu.be/5qGjczWTrDQ "ML untuk pemula - Cara Menganalisis dan Membersihkan Dataset") + +> 🎥 Klik gambar di atas untuk video singkat tentang cara mempersiapkan data untuk pelajaran ini. + +Faktanya, tidak umum diberikan dataset yang sepenuhnya siap digunakan untuk membuat model ML secara langsung. Dalam pelajaran ini, Anda akan belajar cara mempersiapkan dataset mentah menggunakan pustaka Python standar. Anda juga akan mempelajari berbagai teknik untuk memvisualisasikan data. + +## Studi kasus: 'pasar labu' + +Di folder ini, Anda akan menemukan file .csv di root `data` folder yang disebut [US-pumpkins.csv](https://github.com/microsoft/ML-For-Beginners/blob/main/2-Regression/data/US-pumpkins.csv) yang mencakup 1757 baris data tentang pasar untuk labu, diurutkan ke dalam grup berdasarkan kota. Ini adalah data mentah yang diekstraksi dari [Laporan Standar Pasar Terminal Tanaman Khusus](https://www.marketnews.usda.gov/mnp/fv-report-config-step1?type=termPrice) yang didistribusikan oleh Departemen Pertanian Amerika Serikat. + +### Mempersiapkan data + +Data ini berada di domain publik. Itu dapat diunduh dalam banyak file terpisah, per kota, dari situs web USDA. Untuk menghindari terlalu banyak file terpisah, kami telah menggabungkan semua data kota menjadi satu spreadsheet, sehingga kami telah _mempersiapkan_ data sedikit. Selanjutnya, mari kita lihat lebih dekat datanya. + +### Data labu - kesimpulan awal + +Apa yang Anda perhatikan tentang data ini? Anda sudah melihat bahwa ada campuran string, angka, kekosongan, dan nilai aneh yang perlu Anda pahami. + +Pertanyaan apa yang dapat Anda ajukan dari data ini, menggunakan teknik Regresi? Bagaimana dengan "Memprediksi harga labu yang dijual selama bulan tertentu". Melihat kembali data, ada beberapa perubahan yang perlu Anda buat untuk membuat struktur data yang diperlukan untuk tugas tersebut. +## Latihan - analisis data labu + +Mari gunakan [Pandas](https://pandas.pydata.org/), (nama tersebut adalah singkatan dari `Python Data Analysis`) alat yang sangat berguna untuk membentuk data, untuk menganalisis dan mempersiapkan data labu ini. + +### Pertama, periksa tanggal yang hilang + +Anda pertama-tama perlu mengambil langkah-langkah untuk memeriksa tanggal yang hilang: + +1. Konversikan tanggal ke format bulan (ini adalah tanggal AS, jadi formatnya `MM/DD/YYYY`). +2. Ekstrak bulan ke kolom baru. + +Buka file _notebook.ipynb_ di Visual Studio Code dan impor spreadsheet ke dataframe Pandas baru. + +1. Gunakan fungsi `head()` untuk melihat lima baris pertama. + + ```python + import pandas as pd + pumpkins = pd.read_csv('../data/US-pumpkins.csv') + pumpkins.head() + ``` + + ✅ Fungsi apa yang akan Anda gunakan untuk melihat lima baris terakhir? + +1. Periksa apakah ada data yang hilang di dataframe saat ini: + + ```python + pumpkins.isnull().sum() + ``` + + Ada data yang hilang, tetapi mungkin tidak akan menjadi masalah untuk tugas ini. + +1. Untuk membuat dataframe Anda lebih mudah digunakan, pilih hanya kolom yang Anda butuhkan, menggunakan `loc` function which extracts from the original dataframe a group of rows (passed as first parameter) and columns (passed as second parameter). The expression `:` dalam kasus di bawah ini berarti "semua baris". + + ```python + columns_to_select = ['Package', 'Low Price', 'High Price', 'Date'] + pumpkins = pumpkins.loc[:, columns_to_select] + ``` + +### Kedua, tentukan harga rata-rata labu + +Pikirkan tentang cara menentukan harga rata-rata labu dalam bulan tertentu. Kolom apa yang akan Anda pilih untuk tugas ini? Petunjuk: Anda memerlukan 3 kolom. + +Solusi: ambil rata-rata dari kolom `Low Price` and `High Price` untuk mengisi kolom Price baru, dan konversikan kolom Date untuk hanya menunjukkan bulan. Untungnya, menurut pemeriksaan di atas, tidak ada data yang hilang untuk tanggal atau harga. + +1. Untuk menghitung rata-rata, tambahkan kode berikut: + + ```python + price = (pumpkins['Low Price'] + pumpkins['High Price']) / 2 + + month = pd.DatetimeIndex(pumpkins['Date']).month + + ``` + + ✅ Jangan ragu untuk mencetak data apa pun yang ingin Anda periksa menggunakan `print(month)`. + +2. Sekarang, salin data yang telah dikonversi ke dataframe Pandas baru: + + ```python + new_pumpkins = pd.DataFrame({'Month': month, 'Package': pumpkins['Package'], 'Low Price': pumpkins['Low Price'],'High Price': pumpkins['High Price'], 'Price': price}) + ``` + + Mencetak dataframe Anda akan menunjukkan dataset yang bersih dan rapi di mana Anda dapat membangun model regresi baru Anda. + +### Tapi tunggu! Ada sesuatu yang aneh di sini + +Jika Anda melihat kolom `Package` column, pumpkins are sold in many different configurations. Some are sold in '1 1/9 bushel' measures, and some in '1/2 bushel' measures, some per pumpkin, some per pound, and some in big boxes with varying widths. + +> Pumpkins seem very hard to weigh consistently + +Digging into the original data, it's interesting that anything with `Unit of Sale` equalling 'EACH' or 'PER BIN' also have the `Package` type per inch, per bin, or 'each'. Pumpkins seem to be very hard to weigh consistently, so let's filter them by selecting only pumpkins with the string 'bushel' in their `Package`. + +1. Tambahkan filter di bagian atas file, di bawah impor .csv awal: + + ```python + pumpkins = pumpkins[pumpkins['Package'].str.contains('bushel', case=True, regex=True)] + ``` + + Jika Anda mencetak data sekarang, Anda dapat melihat bahwa Anda hanya mendapatkan sekitar 415 baris data yang berisi labu per gantang. + +### Tapi tunggu! Ada satu hal lagi yang harus dilakukan + +Apakah Anda memperhatikan bahwa jumlah gantang bervariasi per baris? Anda perlu menormalkan harga sehingga Anda menunjukkan harga per gantang, jadi lakukan beberapa perhitungan untuk menstandarkannya. + +1. Tambahkan baris-baris ini setelah blok yang membuat dataframe new_pumpkins: + + ```python + new_pumpkins.loc[new_pumpkins['Package'].str.contains('1 1/9'), 'Price'] = price/(1 + 1/9) + + new_pumpkins.loc[new_pumpkins['Package'].str.contains('1/2'), 'Price'] = price/(1/2) + ``` + +✅ Menurut [The Spruce Eats](https://www.thespruceeats.com/how-much-is-a-bushel-1389308), berat satu gantang tergantung pada jenis produk, karena ini adalah pengukuran volume. "Satu gantang tomat, misalnya, seharusnya memiliki berat 56 pon... Daun dan sayuran mengambil lebih banyak ruang dengan berat lebih sedikit, sehingga satu gantang bayam hanya 20 pon." Semuanya cukup rumit! Mari kita tidak repot-repot dengan konversi gantang-ke-pon, dan sebaliknya harga per gantang. Semua studi tentang gantang labu ini, bagaimanapun, menunjukkan betapa pentingnya memahami sifat data Anda! + +Sekarang, Anda dapat menganalisis harga per unit berdasarkan pengukuran gantang mereka. Jika Anda mencetak data sekali lagi, Anda dapat melihat bagaimana itu distandarkan. + +✅ Apakah Anda memperhatikan bahwa labu yang dijual per setengah gantang sangat mahal? Bisakah Anda mengetahuinya? Petunjuk: labu kecil jauh lebih mahal daripada yang besar, mungkin karena ada lebih banyak lagi per gantang, mengingat ruang kosong yang tidak digunakan oleh satu labu pai besar. + +## Strategi Visualisasi + +Bagian dari peran ilmuwan data adalah menunjukkan kualitas dan sifat data yang mereka kerjakan. Untuk melakukan ini, mereka sering membuat visualisasi menarik, atau plot, grafik, dan diagram, yang menunjukkan berbagai aspek data. Dengan cara ini, mereka dapat secara visual menunjukkan hubungan dan celah yang sulit ditemukan. + +[](https://youtu.be/SbUkxH6IJo0 "ML untuk pemula - Cara Memvisualisasikan Data dengan Matplotlib") + +> 🎥 Klik gambar di atas untuk video singkat tentang cara memvisualisasikan data untuk pelajaran ini. + +Visualisasi juga dapat membantu menentukan teknik pembelajaran mesin yang paling sesuai untuk data. Sebuah scatterplot yang tampaknya mengikuti garis, misalnya, menunjukkan bahwa data adalah kandidat yang baik untuk latihan regresi linier. + +Salah satu pustaka visualisasi data yang bekerja dengan baik di notebook Jupyter adalah [Matplotlib](https://matplotlib.org/) (yang juga Anda lihat di pelajaran sebelumnya). + +> Dapatkan lebih banyak pengalaman dengan visualisasi data di [tutorial ini](https://docs.microsoft.com/learn/modules/explore-analyze-data-with-python?WT.mc_id=academic-77952-leestott). + +## Latihan - bereksperimen dengan Matplotlib + +Cobalah membuat beberapa plot dasar untuk menampilkan dataframe baru yang baru saja Anda buat. Apa yang akan ditampilkan oleh plot garis dasar? + +1. Impor Matplotlib di bagian atas file, di bawah impor Pandas: + + ```python + import matplotlib.pyplot as plt + ``` + +1. Jalankan ulang seluruh notebook untuk menyegarkan. +1. Di bagian bawah notebook, tambahkan sel untuk memplot data sebagai kotak: + + ```python + price = new_pumpkins.Price + month = new_pumpkins.Month + plt.scatter(price, month) + plt.show() + ``` + +  + + Apakah ini plot yang berguna? Apakah ada yang mengejutkan Anda tentang itu? + + Ini tidak terlalu berguna karena semua yang ditampilkan hanyalah penyebaran titik-titik dalam bulan tertentu. + +### Buatlah berguna + +Untuk membuat grafik menampilkan data yang berguna, Anda biasanya perlu mengelompokkan data dengan cara tertentu. Mari coba membuat plot di mana sumbu y menunjukkan bulan dan data menunjukkan distribusi data. + +1. Tambahkan sel untuk membuat grafik batang berkelompok: + + ```python + new_pumpkins.groupby(['Month'])['Price'].mean().plot(kind='bar') + plt.ylabel("Pumpkin Price") + ``` + +  + + Ini adalah visualisasi data yang lebih berguna! Tampaknya menunjukkan bahwa harga tertinggi untuk labu terjadi pada bulan September dan Oktober. Apakah itu sesuai dengan harapan Anda? Mengapa atau mengapa tidak? + +--- + +## 🚀Tantangan + +Jelajahi berbagai jenis visualisasi yang ditawarkan oleh Matplotlib. Jenis mana yang paling sesuai untuk masalah regresi? + +## [Kuiz pasca-kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/12/) + +## Tinjauan & Studi Mandiri + +Lihat berbagai cara untuk memvisualisasikan data. Buat daftar berbagai pustaka yang tersedia dan catat mana yang terbaik untuk jenis tugas tertentu, misalnya visualisasi 2D vs. visualisasi 3D. Apa yang Anda temukan? + +## Tugas + +[Mengeksplorasi visualisasi](assignment.md) + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila maklum bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/2-Regression/2-Data/assignment.md b/translations/ms/2-Regression/2-Data/assignment.md new file mode 100644 index 000000000..72c7f1ead --- /dev/null +++ b/translations/ms/2-Regression/2-Data/assignment.md @@ -0,0 +1,11 @@ +# Meneroka Visualisasi + +Terdapat beberapa perpustakaan yang tersedia untuk visualisasi data. Buat beberapa visualisasi menggunakan data Labu dalam pelajaran ini dengan matplotlib dan seaborn dalam sebuah buku nota sampel. Perpustakaan mana yang lebih mudah digunakan? +## Rubrik + +| Kriteria | Cemerlang | Memadai | Perlu Penambahbaikan | +| -------- | --------- | -------- | ----------------- | +| | Sebuah buku nota diserahkan dengan dua penerokaan/visualisasi | Sebuah buku nota diserahkan dengan satu penerokaan/visualisasi | Sebuah buku nota tidak diserahkan | + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/2-Regression/2-Data/solution/Julia/README.md b/translations/ms/2-Regression/2-Data/solution/Julia/README.md new file mode 100644 index 000000000..aa1ddb2b9 --- /dev/null +++ b/translations/ms/2-Regression/2-Data/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber berwibawa. Untuk maklumat penting, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/2-Regression/3-Linear/README.md b/translations/ms/2-Regression/3-Linear/README.md new file mode 100644 index 000000000..96641faf7 --- /dev/null +++ b/translations/ms/2-Regression/3-Linear/README.md @@ -0,0 +1,370 @@ +# Bina model regresi menggunakan Scikit-learn: regresi empat cara + + +> Infografik oleh [Dasani Madipalli](https://twitter.com/dasani_decoded) +## [Kuis pra-kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/13/) + +> ### [Pelajaran ini tersedia dalam R!](../../../../2-Regression/3-Linear/solution/R/lesson_3.html) +### Pengenalan + +Sejauh ini, Anda telah menjelajahi apa itu regresi dengan data sampel yang dikumpulkan dari dataset harga labu yang akan kita gunakan sepanjang pelajaran ini. Anda juga telah memvisualisasikannya menggunakan Matplotlib. + +Sekarang Anda siap untuk mendalami regresi untuk ML. Sementara visualisasi memungkinkan Anda memahami data, kekuatan sebenarnya dari Pembelajaran Mesin berasal dari _melatih model_. Model dilatih pada data historis untuk secara otomatis menangkap ketergantungan data, dan mereka memungkinkan Anda memprediksi hasil untuk data baru, yang belum pernah dilihat oleh model sebelumnya. + +Dalam pelajaran ini, Anda akan mempelajari lebih lanjut tentang dua jenis regresi: _regresi linear dasar_ dan _regresi polinomial_, bersama dengan beberapa matematika yang mendasari teknik-teknik ini. Model-model tersebut akan memungkinkan kita memprediksi harga labu tergantung pada data input yang berbeda. + +[](https://youtu.be/CRxFT8oTDMg "ML untuk pemula - Memahami Regresi Linear") + +> 🎥 Klik gambar di atas untuk video singkat tentang regresi linear. + +> Sepanjang kurikulum ini, kami mengasumsikan pengetahuan matematika minimal, dan berusaha membuatnya dapat diakses oleh siswa yang berasal dari bidang lain, jadi perhatikan catatan, 🧮 panggilan, diagram, dan alat bantu belajar lainnya untuk membantu pemahaman. + +### Prasyarat + +Anda seharusnya sudah familiar dengan struktur data labu yang kita periksa. Anda dapat menemukannya dimuat sebelumnya dan dibersihkan sebelumnya dalam file _notebook.ipynb_ pelajaran ini. Dalam file tersebut, harga labu ditampilkan per gantang dalam bingkai data baru. Pastikan Anda dapat menjalankan notebook ini dalam kernel di Visual Studio Code. + +### Persiapan + +Sebagai pengingat, Anda memuat data ini untuk menanyakan pertanyaan tentangnya. + +- Kapan waktu terbaik untuk membeli labu? +- Berapa harga yang bisa saya harapkan untuk satu kotak labu miniatur? +- Haruskah saya membelinya dalam keranjang setengah gantang atau dalam kotak 1 1/9 gantang? +Mari kita terus menggali data ini. + +Dalam pelajaran sebelumnya, Anda membuat bingkai data Pandas dan mengisinya dengan bagian dari dataset asli, menstandarkan harga berdasarkan gantang. Dengan melakukan itu, Anda hanya bisa mengumpulkan sekitar 400 titik data dan hanya untuk bulan-bulan musim gugur. + +Lihat data yang telah dimuat sebelumnya dalam notebook yang menyertai pelajaran ini. Data dimuat sebelumnya dan diagram pencar awal dibuat untuk menunjukkan data bulan. Mungkin kita bisa mendapatkan lebih banyak detail tentang sifat data dengan membersihkannya lebih lanjut. + +## Garis regresi linear + +Seperti yang Anda pelajari di Pelajaran 1, tujuan dari latihan regresi linear adalah untuk dapat memplot garis untuk: + +- **Menunjukkan hubungan variabel**. Menunjukkan hubungan antara variabel +- **Membuat prediksi**. Membuat prediksi akurat tentang di mana titik data baru akan jatuh dalam hubungan dengan garis itu. + +Biasanya **Regresi Kuadrat Terkecil** menggambar jenis garis ini. Istilah 'kuadrat terkecil' berarti semua titik data di sekitar garis regresi dikuadratkan dan kemudian dijumlahkan. Idealnya, jumlah akhir itu sekecil mungkin, karena kita menginginkan jumlah kesalahan yang rendah, atau `least-squares`. + +Kita melakukannya karena kita ingin memodelkan garis yang memiliki jarak kumulatif terkecil dari semua titik data kita. Kita juga mengkuadratkan istilah-istilah sebelum menjumlahkannya karena kita lebih peduli dengan besarnya daripada arahnya. + +> **🧮 Tunjukkan matematika kepada saya** +> +> Garis ini, yang disebut _garis kecocokan terbaik_ dapat dinyatakan dengan [sebuah persamaan](https://en.wikipedia.org/wiki/Simple_linear_regression): +> +> ``` +> Y = a + bX +> ``` +> +> `X` is the 'explanatory variable'. `Y` is the 'dependent variable'. The slope of the line is `b` and `a` is the y-intercept, which refers to the value of `Y` when `X = 0`. +> +> +> +> First, calculate the slope `b`. Infographic by [Jen Looper](https://twitter.com/jenlooper) +> +> In other words, and referring to our pumpkin data's original question: "predict the price of a pumpkin per bushel by month", `X` would refer to the price and `Y` would refer to the month of sale. +> +> +> +> Calculate the value of Y. If you're paying around $4, it must be April! Infographic by [Jen Looper](https://twitter.com/jenlooper) +> +> The math that calculates the line must demonstrate the slope of the line, which is also dependent on the intercept, or where `Y` is situated when `X = 0`. +> +> You can observe the method of calculation for these values on the [Math is Fun](https://www.mathsisfun.com/data/least-squares-regression.html) web site. Also visit [this Least-squares calculator](https://www.mathsisfun.com/data/least-squares-calculator.html) to watch how the numbers' values impact the line. + +## Correlation + +One more term to understand is the **Correlation Coefficient** between given X and Y variables. Using a scatterplot, you can quickly visualize this coefficient. A plot with datapoints scattered in a neat line have high correlation, but a plot with datapoints scattered everywhere between X and Y have a low correlation. + +A good linear regression model will be one that has a high (nearer to 1 than 0) Correlation Coefficient using the Least-Squares Regression method with a line of regression. + +✅ Run the notebook accompanying this lesson and look at the Month to Price scatterplot. Does the data associating Month to Price for pumpkin sales seem to have high or low correlation, according to your visual interpretation of the scatterplot? Does that change if you use more fine-grained measure instead of `Month`, eg. *day of the year* (i.e. number of days since the beginning of the year)? + +In the code below, we will assume that we have cleaned up the data, and obtained a data frame called `new_pumpkins`, similar to the following: + +ID | Month | DayOfYear | Variety | City | Package | Low Price | High Price | Price +---|-------|-----------|---------|------|---------|-----------|------------|------- +70 | 9 | 267 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 15.0 | 15.0 | 13.636364 +71 | 9 | 267 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 18.0 | 18.0 | 16.363636 +72 | 10 | 274 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 18.0 | 18.0 | 16.363636 +73 | 10 | 274 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 17.0 | 17.0 | 15.454545 +74 | 10 | 281 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 15.0 | 15.0 | 13.636364 + +> The code to clean the data is available in [`notebook.ipynb`](../../../../2-Regression/3-Linear/notebook.ipynb). We have performed the same cleaning steps as in the previous lesson, and have calculated `DayOfYear` column menggunakan ekspresi berikut: + +```python +day_of_year = pd.to_datetime(pumpkins['Date']).apply(lambda dt: (dt-datetime(dt.year,1,1)).days) +``` + +Sekarang Anda memahami matematika di balik regresi linear, mari kita buat model Regresi untuk melihat apakah kita dapat memprediksi paket labu mana yang akan memiliki harga labu terbaik. Seseorang yang membeli labu untuk tambalan labu liburan mungkin menginginkan informasi ini untuk dapat mengoptimalkan pembelian paket labu untuk tambalan tersebut. + +## Mencari Korelasi + +[](https://youtu.be/uoRq-lW2eQo "ML untuk pemula - Mencari Korelasi: Kunci Regresi Linear") + +> 🎥 Klik gambar di atas untuk video singkat tentang korelasi. + +Dari pelajaran sebelumnya, Anda mungkin telah melihat bahwa harga rata-rata untuk bulan yang berbeda terlihat seperti ini: + +
+
+Ini menunjukkan bahwa harus ada beberapa korelasi, dan kita dapat mencoba melatih model regresi linear untuk memprediksi hubungan antara `Month` and `Price`, or between `DayOfYear` and `Price`. Here is the scatter plot that shows the latter relationship:
+
+
+
+Let's see if there is a correlation using the `corr` function:
+
+```python
+print(new_pumpkins['Month'].corr(new_pumpkins['Price']))
+print(new_pumpkins['DayOfYear'].corr(new_pumpkins['Price']))
+```
+
+Sepertinya korelasinya cukup kecil, -0.15 oleh `Month` and -0.17 by the `DayOfMonth`, but there could be another important relationship. It looks like there are different clusters of prices corresponding to different pumpkin varieties. To confirm this hypothesis, let's plot each pumpkin category using a different color. By passing an `ax` parameter to the `scatter` plotting function kita bisa plot semua titik pada grafik yang sama:
+
+```python
+ax=None
+colors = ['red','blue','green','yellow']
+for i,var in enumerate(new_pumpkins['Variety'].unique()):
+ df = new_pumpkins[new_pumpkins['Variety']==var]
+ ax = df.plot.scatter('DayOfYear','Price',ax=ax,c=colors[i],label=var)
+```
+
+
+
+Penyelidikan kami menunjukkan bahwa variasi memiliki lebih banyak pengaruh pada harga keseluruhan daripada tanggal penjualan yang sebenarnya. Kita bisa melihat ini dengan diagram batang:
+
+```python
+new_pumpkins.groupby('Variety')['Price'].mean().plot(kind='bar')
+```
+
+
+
+Mari kita fokus untuk saat ini hanya pada satu variasi labu, 'jenis pai', dan lihat apa pengaruh tanggal terhadap harga:
+
+```python
+pie_pumpkins = new_pumpkins[new_pumpkins['Variety']=='PIE TYPE']
+pie_pumpkins.plot.scatter('DayOfYear','Price')
+```
+
+
+Jika kita sekarang menghitung korelasi antara `Price` and `DayOfYear` using `corr` function, we will get something like `-0.27` - yang berarti melatih model prediktif masuk akal.
+
+> Sebelum melatih model regresi linear, penting untuk memastikan bahwa data kita bersih. Regresi linear tidak bekerja dengan baik dengan nilai yang hilang, sehingga masuk akal untuk menghapus semua sel kosong:
+
+```python
+pie_pumpkins.dropna(inplace=True)
+pie_pumpkins.info()
+```
+
+Pendekatan lain adalah mengisi nilai kosong tersebut dengan nilai rata-rata dari kolom yang sesuai.
+
+## Regresi Linear Sederhana
+
+[](https://youtu.be/e4c_UP2fSjg "ML untuk pemula - Regresi Linear dan Polinomial menggunakan Scikit-learn")
+
+> 🎥 Klik gambar di atas untuk video singkat tentang regresi linear dan polinomial.
+
+Untuk melatih model Regresi Linear kita, kita akan menggunakan perpustakaan **Scikit-learn**.
+
+```python
+from sklearn.linear_model import LinearRegression
+from sklearn.metrics import mean_squared_error
+from sklearn.model_selection import train_test_split
+```
+
+Kita mulai dengan memisahkan nilai input (fitur) dan output yang diharapkan (label) menjadi array numpy terpisah:
+
+```python
+X = pie_pumpkins['DayOfYear'].to_numpy().reshape(-1,1)
+y = pie_pumpkins['Price']
+```
+
+> Perhatikan bahwa kita harus melakukan `reshape` pada data input agar paket Regresi Linear memahaminya dengan benar. Regresi Linear mengharapkan array 2D sebagai input, di mana setiap baris dari array sesuai dengan vektor fitur input. Dalam kasus kita, karena kita hanya memiliki satu input - kita memerlukan array dengan bentuk N×1, di mana N adalah ukuran dataset.
+
+Kemudian, kita perlu membagi data menjadi dataset pelatihan dan pengujian, sehingga kita dapat memvalidasi model kita setelah pelatihan:
+
+```python
+X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+```
+
+Akhirnya, melatih model Regresi Linear yang sebenarnya hanya membutuhkan dua baris kode. Kita mendefinisikan `LinearRegression` object, and fit it to our data using the `fit` method:
+
+```python
+lin_reg = LinearRegression()
+lin_reg.fit(X_train,y_train)
+```
+
+`LinearRegression` object after `fit`-ting contains all the coefficients of the regression, which can be accessed using `.coef_` property. In our case, there is just one coefficient, which should be around `-0.017`. It means that prices seem to drop a bit with time, but not too much, around 2 cents per day. We can also access the intersection point of the regression with Y-axis using `lin_reg.intercept_` - it will be around `21` dalam kasus kita, yang menunjukkan harga di awal tahun.
+
+Untuk melihat seberapa akurat model kita, kita bisa memprediksi harga pada dataset pengujian, dan kemudian mengukur seberapa dekat prediksi kita dengan nilai yang diharapkan. Ini bisa dilakukan menggunakan metrik mean square error (MSE), yang merupakan rata-rata dari semua perbedaan kuadrat antara nilai yang diharapkan dan yang diprediksi.
+
+```python
+pred = lin_reg.predict(X_test)
+
+mse = np.sqrt(mean_squared_error(y_test,pred))
+print(f'Mean error: {mse:3.3} ({mse/np.mean(pred)*100:3.3}%)')
+```
+
+Kesalahan kita tampaknya sekitar 2 poin, yaitu ~17%. Tidak terlalu bagus. Indikator lain dari kualitas model adalah **koefisien determinasi**, yang dapat diperoleh seperti ini:
+
+```python
+score = lin_reg.score(X_train,y_train)
+print('Model determination: ', score)
+```
+Jika nilainya 0, itu berarti model tidak memperhitungkan data input, dan bertindak sebagai *prediktor linear terburuk*, yang hanya merupakan nilai rata-rata dari hasil. Nilai 1 berarti kita dapat memprediksi semua output yang diharapkan dengan sempurna. Dalam kasus kita, koefisiennya sekitar 0.06, yang cukup rendah.
+
+Kita juga bisa memplot data uji bersama dengan garis regresi untuk lebih melihat bagaimana regresi bekerja dalam kasus kita:
+
+```python
+plt.scatter(X_test,y_test)
+plt.plot(X_test,pred)
+```
+
+
+
+## Regresi Polinomial
+
+Jenis lain dari Regresi Linear adalah Regresi Polinomial. Sementara kadang-kadang ada hubungan linear antara variabel - semakin besar labu dalam volume, semakin tinggi harga - kadang-kadang hubungan ini tidak bisa diplot sebagai bidang atau garis lurus.
+
+✅ Berikut adalah [beberapa contoh lagi](https://online.stat.psu.edu/stat501/lesson/9/9.8) data yang bisa menggunakan Regresi Polinomial
+
+Lihat lagi hubungan antara Tanggal dan Harga. Apakah diagram pencar ini tampak seperti harus dianalisis dengan garis lurus? Bukankah harga bisa berfluktuasi? Dalam hal ini, Anda bisa mencoba regresi polinomial.
+
+✅ Polinomial adalah ekspresi matematika yang mungkin terdiri dari satu atau lebih variabel dan koefisien
+
+Regresi polinomial menciptakan garis melengkung untuk lebih cocok dengan data non-linear. Dalam kasus kita, jika kita menyertakan variabel `DayOfYear` kuadrat ke dalam data input, kita harus bisa menyesuaikan data kita dengan kurva parabola, yang akan memiliki minimum pada titik tertentu dalam tahun tersebut.
+
+Scikit-learn menyertakan [API pipeline](https://scikit-learn.org/stable/modules/generated/sklearn.pipeline.make_pipeline.html?highlight=pipeline#sklearn.pipeline.make_pipeline) yang membantu untuk menggabungkan langkah-langkah pemrosesan data yang berbeda bersama-sama. Sebuah **pipeline** adalah rantai **estimators**. Dalam kasus kita, kita akan membuat pipeline yang pertama menambahkan fitur polinomial ke model kita, dan kemudian melatih regresi:
+
+```python
+from sklearn.preprocessing import PolynomialFeatures
+from sklearn.pipeline import make_pipeline
+
+pipeline = make_pipeline(PolynomialFeatures(2), LinearRegression())
+
+pipeline.fit(X_train,y_train)
+```
+
+Menggunakan `PolynomialFeatures(2)` means that we will include all second-degree polynomials from the input data. In our case it will just mean `DayOfYear`2, but given two input variables X and Y, this will add X2, XY and Y2. We may also use higher degree polynomials if we want.
+
+Pipelines can be used in the same manner as the original `LinearRegression` object, i.e. we can `fit` the pipeline, and then use `predict` to get the prediction results. Here is the graph showing test data, and the approximation curve:
+
+
+
+Using Polynomial Regression, we can get slightly lower MSE and higher determination, but not significantly. We need to take into account other features!
+
+> You can see that the minimal pumpkin prices are observed somewhere around Halloween. How can you explain this?
+
+🎃 Congratulations, you just created a model that can help predict the price of pie pumpkins. You can probably repeat the same procedure for all pumpkin types, but that would be tedious. Let's learn now how to take pumpkin variety into account in our model!
+
+## Categorical Features
+
+In the ideal world, we want to be able to predict prices for different pumpkin varieties using the same model. However, the `Variety` column is somewhat different from columns like `Month`, because it contains non-numeric values. Such columns are called **categorical**.
+
+[](https://youtu.be/DYGliioIAE0 "ML for beginners - Categorical Feature Predictions with Linear Regression")
+
+> 🎥 Click the image above for a short video overview of using categorical features.
+
+Here you can see how average price depends on variety:
+
+
+
+To take variety into account, we first need to convert it to numeric form, or **encode** it. There are several way we can do it:
+
+* Simple **numeric encoding** will build a table of different varieties, and then replace the variety name by an index in that table. This is not the best idea for linear regression, because linear regression takes the actual numeric value of the index, and adds it to the result, multiplying by some coefficient. In our case, the relationship between the index number and the price is clearly non-linear, even if we make sure that indices are ordered in some specific way.
+* **One-hot encoding** will replace the `Variety` column by 4 different columns, one for each variety. Each column will contain `1` if the corresponding row is of a given variety, and `0` sebaliknya. Ini berarti akan ada empat koefisien dalam regresi linear, satu untuk setiap variasi labu, yang bertanggung jawab atas "harga awal" (atau lebih tepatnya "harga tambahan") untuk variasi tersebut.
+
+Kode di bawah ini menunjukkan bagaimana kita bisa one-hot encode variasi:
+
+```python
+pd.get_dummies(new_pumpkins['Variety'])
+```
+
+ ID | FAIRYTALE | MINIATURE | MIXED HEIRLOOM VARIETIES | PIE TYPE
+----|-----------|-----------|--------------------------|----------
+70 | 0 | 0 | 0 | 1
+71 | 0 | 0 | 0 | 1
+... | ... | ... | ... | ...
+1738 | 0 | 1 | 0 | 0
+1739 | 0 | 1 | 0 | 0
+1740 | 0 | 1 | 0 | 0
+1741 | 0 | 1 | 0 | 0
+1742 | 0 | 1 | 0 | 0
+
+Untuk melatih regresi linear menggunakan variasi one-hot encoded sebagai input, kita hanya perlu menginisialisasi data `X` and `y` dengan benar:
+
+```python
+X = pd.get_dummies(new_pumpkins['Variety'])
+y = new_pumpkins['Price']
+```
+
+Sisa kode sama seperti yang kita gunakan di atas untuk melatih Regresi Linear. Jika Anda mencobanya, Anda akan melihat bahwa mean squared error hampir sama, tetapi kita mendapatkan koefisien determinasi yang jauh lebih tinggi (~77%). Untuk mendapatkan prediksi yang lebih akurat, kita bisa mempertimbangkan lebih banyak fitur kategorikal, serta fitur numerik, seperti `Month` or `DayOfYear`. To get one large array of features, we can use `join`:
+
+```python
+X = pd.get_dummies(new_pumpkins['Variety']) \
+ .join(new_pumpkins['Month']) \
+ .join(pd.get_dummies(new_pumpkins['City'])) \
+ .join(pd.get_dummies(new_pumpkins['Package']))
+y = new_pumpkins['Price']
+```
+
+Di sini kita juga mempertimbangkan `City` and `Package` type, yang memberi kita MSE 2.84 (10%), dan determinasi 0.94!
+
+## Menggabungkan semuanya
+
+Untuk membuat model terbaik, kita bisa menggunakan data gabungan (satu-hot encoded categorical + numeric) dari contoh di atas bersama dengan Regresi Polinomial. Berikut adalah kode lengkapnya untuk kenyamanan Anda:
+
+```python
+# set up training data
+X = pd.get_dummies(new_pumpkins['Variety']) \
+ .join(new_pumpkins['Month']) \
+ .join(pd.get_dummies(new_pumpkins['City'])) \
+ .join(pd.get_dummies(new_pumpkins['Package']))
+y = new_pumpkins['Price']
+
+# make train-test split
+X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+
+# setup and train the pipeline
+pipeline = make_pipeline(PolynomialFeatures(2), LinearRegression())
+pipeline.fit(X_train,y_train)
+
+# predict results for test data
+pred = pipeline.predict(X_test)
+
+# calculate MSE and determination
+mse = np.sqrt(mean_squared_error(y_test,pred))
+print(f'Mean error: {mse:3.3} ({mse/np.mean(pred)*100:3.3}%)')
+
+score = pipeline.score(X_train,y_train)
+print('Model determination: ', score)
+```
+
+Ini harus memberi kita koefisien determinasi terbaik hampir 97%, dan MSE=2.23 (~8% kesalahan prediksi).
+
+| Model | MSE | Determinasi |
+|-------|-----|-------------|
+| `DayOfYear` Linear | 2.77 (17.2%) | 0.07 |
+| `DayOfYear` Polynomial | 2.73 (17.0%) | 0.08 |
+| `Variety` Linear | 5.24 (19.7%) | 0.77 |
+| Semua fitur Linear | 2.84 (10.5%) | 0.94 |
+| Semua fitur Polinomial | 2.23 (8.25%) | 0.97 |
+
+🏆 Kerja bagus! Anda membuat empat model Regresi dalam satu pelajaran, dan meningkatkan kualitas model hingga 97%. Di bagian akhir tentang Regresi, Anda akan belajar tentang Regresi Logistik untuk menentukan kategori.
+
+---
+## 🚀Tantangan
+
+Uji beberapa variabel berbeda dalam notebook ini untuk melihat bagaimana korelasi sesuai dengan akurasi model.
+
+## [Kuis pasca-kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/14/)
+
+## Tinjauan & Studi Mandiri
+
+Dalam pelajaran ini kita belajar tentang Regresi Linear. Ada jenis Regresi penting lainnya. Baca tentang teknik Stepwise, Ridge, Lasso, dan Elasticnet. Kursus yang bagus untuk belajar lebih lanjut adalah [Kursus Pembelajaran Statistik Stanford](https://online.stanford.edu/courses/sohs-ystatslearning-statistical-learning)
+
+## Tugas
+
+[Membangun Model](assignment.md)
+
+**Penafian**:
+Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila maklum bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini.
\ No newline at end of file
diff --git a/translations/ms/2-Regression/3-Linear/assignment.md b/translations/ms/2-Regression/3-Linear/assignment.md
new file mode 100644
index 000000000..2dcc92bb9
--- /dev/null
+++ b/translations/ms/2-Regression/3-Linear/assignment.md
@@ -0,0 +1,14 @@
+# Membina Model Regresi
+
+## Arahan
+
+Dalam pelajaran ini, anda telah ditunjukkan cara membina model menggunakan Regresi Linear dan Polinomial. Menggunakan pengetahuan ini, cari satu set data atau gunakan salah satu set terbina dalam Scikit-learn untuk membina model baharu. Terangkan dalam buku nota anda mengapa anda memilih teknik yang anda gunakan, dan tunjukkan ketepatan model anda. Jika ia tidak tepat, terangkan mengapa.
+
+## Rubrik
+
+| Kriteria | Cemerlang | Memadai | Perlu Penambahbaikan |
+| -------- | ------------------------------------------------------------- | -------------------------- | ------------------------------ |
+| | membentangkan buku nota lengkap dengan penyelesaian yang didokumentasikan dengan baik | penyelesaian tidak lengkap | penyelesaian cacat atau bermasalah |
+
+**Penafian**:
+Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini.
\ No newline at end of file
diff --git a/translations/ms/2-Regression/3-Linear/solution/Julia/README.md b/translations/ms/2-Regression/3-Linear/solution/Julia/README.md
new file mode 100644
index 000000000..af182734c
--- /dev/null
+++ b/translations/ms/2-Regression/3-Linear/solution/Julia/README.md
@@ -0,0 +1,4 @@
+
+
+**Penafian**:
+Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab ke atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini.
\ No newline at end of file
diff --git a/translations/ms/2-Regression/4-Logistic/README.md b/translations/ms/2-Regression/4-Logistic/README.md
new file mode 100644
index 000000000..57d113c13
--- /dev/null
+++ b/translations/ms/2-Regression/4-Logistic/README.md
@@ -0,0 +1,392 @@
+# Regresi Logistik untuk Meramal Kategori
+
+
+
+## [Kuiz Pra-Kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/15/)
+
+> ### [Pelajaran ini tersedia dalam R!](../../../../2-Regression/4-Logistic/solution/R/lesson_4.html)
+
+## Pengenalan
+
+Dalam pelajaran terakhir mengenai Regresi ini, salah satu teknik dasar _klasik_ ML, kita akan melihat Regresi Logistik. Anda akan menggunakan teknik ini untuk menemukan pola untuk meramal kategori biner. Apakah permen ini coklat atau tidak? Apakah penyakit ini menular atau tidak? Apakah pelanggan ini akan memilih produk ini atau tidak?
+
+Dalam pelajaran ini, Anda akan belajar:
+
+- Perpustakaan baru untuk visualisasi data
+- Teknik untuk regresi logistik
+
+✅ Perdalam pemahaman Anda tentang bekerja dengan jenis regresi ini di [modul Pembelajaran ini](https://docs.microsoft.com/learn/modules/train-evaluate-classification-models?WT.mc_id=academic-77952-leestott)
+
+## Prasyarat
+
+Setelah bekerja dengan data labu, kita sekarang cukup akrab untuk menyadari bahwa ada satu kategori biner yang bisa kita kerjakan: `Color`.
+
+Mari kita bangun model regresi logistik untuk meramal bahwa, mengingat beberapa variabel, _warna apa yang kemungkinan besar dari labu yang diberikan_ (oranye 🎃 atau putih 👻).
+
+> Mengapa kita membicarakan klasifikasi biner dalam pelajaran tentang regresi? Hanya untuk kenyamanan linguistik, karena regresi logistik adalah [sebenarnya metode klasifikasi](https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression), meskipun berbasis linear. Pelajari cara lain untuk mengklasifikasikan data dalam kelompok pelajaran berikutnya.
+
+## Definisikan pertanyaan
+
+Untuk tujuan kita, kita akan menyatakannya sebagai biner: 'Putih' atau 'Tidak Putih'. Ada juga kategori 'bergaris' dalam dataset kita, tetapi ada sedikit contohnya, jadi kita tidak akan menggunakannya. Itu hilang setelah kita menghapus nilai null dari dataset, bagaimanapun juga.
+
+> 🎃 Fakta menyenangkan, kadang-kadang kita menyebut labu putih sebagai 'labu hantu'. Mereka tidak mudah diukir, jadi mereka tidak sepopuler yang oranye tetapi mereka terlihat keren! Jadi kita juga bisa merumuskan ulang pertanyaan kita sebagai: 'Hantu' atau 'Bukan Hantu'. 👻
+
+## Tentang regresi logistik
+
+Regresi logistik berbeda dari regresi linear, yang telah Anda pelajari sebelumnya, dalam beberapa cara penting.
+
+[](https://youtu.be/KpeCT6nEpBY "ML untuk pemula - Memahami Regresi Logistik untuk Klasifikasi Pembelajaran Mesin")
+
+> 🎥 Klik gambar di atas untuk video singkat tentang regresi logistik.
+
+### Klasifikasi biner
+
+Regresi logistik tidak menawarkan fitur yang sama seperti regresi linear. Yang pertama menawarkan prediksi tentang kategori biner ("putih atau tidak putih") sedangkan yang terakhir mampu meramal nilai berkelanjutan, misalnya mengingat asal labu dan waktu panen, _berapa banyak harganya akan naik_.
+
+
+> Infografik oleh [Dasani Madipalli](https://twitter.com/dasani_decoded)
+
+### Klasifikasi lainnya
+
+Ada jenis regresi logistik lainnya, termasuk multinomial dan ordinal:
+
+- **Multinomial**, yang melibatkan lebih dari satu kategori - "Oranye, Putih, dan Bergaris".
+- **Ordinal**, yang melibatkan kategori berurutan, berguna jika kita ingin mengurutkan hasil kita secara logis, seperti labu kita yang diurutkan berdasarkan sejumlah ukuran terbatas (mini,sm,med,lg,xl,xxl).
+
+
+
+### Variabel TIDAK HARUS berkorelasi
+
+Ingat bagaimana regresi linear bekerja lebih baik dengan lebih banyak variabel yang berkorelasi? Regresi logistik adalah kebalikannya - variabelnya tidak harus sejajar. Itu bekerja untuk data ini yang memiliki korelasi yang agak lemah.
+
+### Anda memerlukan banyak data bersih
+
+Regresi logistik akan memberikan hasil yang lebih akurat jika Anda menggunakan lebih banyak data; dataset kecil kita tidak optimal untuk tugas ini, jadi ingatlah hal itu.
+
+[](https://youtu.be/B2X4H9vcXTs "ML untuk pemula - Analisis dan Persiapan Data untuk Regresi Logistik")
+
+> 🎥 Klik gambar di atas untuk video singkat tentang persiapan data untuk regresi linear
+
+✅ Pikirkan tentang jenis data yang cocok untuk regresi logistik
+
+## Latihan - bersihkan data
+
+Pertama, bersihkan data sedikit, hilangkan nilai null dan pilih hanya beberapa kolom:
+
+1. Tambahkan kode berikut:
+
+ ```python
+
+ columns_to_select = ['City Name','Package','Variety', 'Origin','Item Size', 'Color']
+ pumpkins = full_pumpkins.loc[:, columns_to_select]
+
+ pumpkins.dropna(inplace=True)
+ ```
+
+ Anda selalu dapat melihat sekilas dataframe baru Anda:
+
+ ```python
+ pumpkins.info
+ ```
+
+### Visualisasi - plot kategori
+
+Sekarang Anda telah memuat [notebook awal](../../../../2-Regression/4-Logistic/notebook.ipynb) dengan data labu sekali lagi dan membersihkannya sehingga menyimpan dataset yang berisi beberapa variabel, termasuk `Color`. Mari kita visualisasikan dataframe dalam notebook menggunakan perpustakaan yang berbeda: [Seaborn](https://seaborn.pydata.org/index.html), yang dibangun di atas Matplotlib yang kita gunakan sebelumnya.
+
+Seaborn menawarkan beberapa cara menarik untuk memvisualisasikan data Anda. Misalnya, Anda dapat membandingkan distribusi data untuk setiap `Variety` dan `Color` dalam plot kategori.
+
+1. Buat plot seperti itu dengan menggunakan `catplot` function, using our pumpkin data `pumpkins`, dan tentukan pemetaan warna untuk setiap kategori labu (oranye atau putih):
+
+ ```python
+ import seaborn as sns
+
+ palette = {
+ 'ORANGE': 'orange',
+ 'WHITE': 'wheat',
+ }
+
+ sns.catplot(
+ data=pumpkins, y="Variety", hue="Color", kind="count",
+ palette=palette,
+ )
+ ```
+
+ 
+
+ Dengan mengamati data, Anda dapat melihat bagaimana data Warna berkaitan dengan Variety.
+
+ ✅ Mengingat plot kategori ini, eksplorasi menarik apa yang bisa Anda bayangkan?
+
+### Praproses data: pengkodean fitur dan label
+Dataset labu kita mengandung nilai string untuk semua kolomnya. Bekerja dengan data kategori adalah intuitif bagi manusia tetapi tidak untuk mesin. Algoritma pembelajaran mesin bekerja dengan baik dengan angka. Itulah mengapa pengkodean adalah langkah yang sangat penting dalam fase praproses data, karena memungkinkan kita untuk mengubah data kategori menjadi data numerik, tanpa kehilangan informasi apa pun. Pengkodean yang baik mengarah pada pembangunan model yang baik.
+
+Untuk pengkodean fitur ada dua jenis pengkode utama:
+
+1. Pengkode ordinal: cocok untuk variabel ordinal, yang merupakan variabel kategori di mana datanya mengikuti urutan logis, seperti kolom `Item Size` dalam dataset kita. Ini membuat pemetaan sehingga setiap kategori diwakili oleh angka, yang merupakan urutan kategori dalam kolom.
+
+ ```python
+ from sklearn.preprocessing import OrdinalEncoder
+
+ item_size_categories = [['sml', 'med', 'med-lge', 'lge', 'xlge', 'jbo', 'exjbo']]
+ ordinal_features = ['Item Size']
+ ordinal_encoder = OrdinalEncoder(categories=item_size_categories)
+ ```
+
+2. Pengkode kategori: cocok untuk variabel nominal, yang merupakan variabel kategori di mana datanya tidak mengikuti urutan logis, seperti semua fitur yang berbeda dari `Item Size` dalam dataset kita. Ini adalah pengkodean satu-hot, yang berarti bahwa setiap kategori diwakili oleh kolom biner: variabel yang dikodekan sama dengan 1 jika labu termasuk dalam Variety tersebut dan 0 sebaliknya.
+
+ ```python
+ from sklearn.preprocessing import OneHotEncoder
+
+ categorical_features = ['City Name', 'Package', 'Variety', 'Origin']
+ categorical_encoder = OneHotEncoder(sparse_output=False)
+ ```
+Kemudian, `ColumnTransformer` digunakan untuk menggabungkan beberapa pengkode ke dalam satu langkah dan menerapkannya ke kolom yang sesuai.
+
+```python
+ from sklearn.compose import ColumnTransformer
+
+ ct = ColumnTransformer(transformers=[
+ ('ord', ordinal_encoder, ordinal_features),
+ ('cat', categorical_encoder, categorical_features)
+ ])
+
+ ct.set_output(transform='pandas')
+ encoded_features = ct.fit_transform(pumpkins)
+```
+Di sisi lain, untuk mengkode label, kita menggunakan kelas `LabelEncoder` dari scikit-learn, yang merupakan kelas utilitas untuk membantu menormalkan label sehingga hanya berisi nilai antara 0 dan n_classes-1 (di sini, 0 dan 1).
+
+```python
+ from sklearn.preprocessing import LabelEncoder
+
+ label_encoder = LabelEncoder()
+ encoded_label = label_encoder.fit_transform(pumpkins['Color'])
+```
+Setelah kita mengkode fitur dan label, kita dapat menggabungkannya ke dalam dataframe baru `encoded_pumpkins`.
+
+```python
+ encoded_pumpkins = encoded_features.assign(Color=encoded_label)
+```
+✅ Apa keuntungan menggunakan pengkode ordinal untuk kolom `Item Size` column?
+
+### Analyse relationships between variables
+
+Now that we have pre-processed our data, we can analyse the relationships between the features and the label to grasp an idea of how well the model will be able to predict the label given the features.
+The best way to perform this kind of analysis is plotting the data. We'll be using again the Seaborn `catplot` function, to visualize the relationships between `Item Size`, `Variety` dan `Color` dalam plot kategori. Untuk lebih memplot data kita akan menggunakan kolom `Item Size` column and the unencoded `Variety` yang telah dikodekan.
+
+```python
+ palette = {
+ 'ORANGE': 'orange',
+ 'WHITE': 'wheat',
+ }
+ pumpkins['Item Size'] = encoded_pumpkins['ord__Item Size']
+
+ g = sns.catplot(
+ data=pumpkins,
+ x="Item Size", y="Color", row='Variety',
+ kind="box", orient="h",
+ sharex=False, margin_titles=True,
+ height=1.8, aspect=4, palette=palette,
+ )
+ g.set(xlabel="Item Size", ylabel="").set(xlim=(0,6))
+ g.set_titles(row_template="{row_name}")
+```
+
+
+### Gunakan plot swarm
+
+Karena Warna adalah kategori biner (Putih atau Tidak), itu memerlukan 'pendekatan [khusus](https://seaborn.pydata.org/tutorial/categorical.html?highlight=bar) untuk visualisasi'. Ada cara lain untuk memvisualisasikan hubungan kategori ini dengan variabel lainnya.
+
+Anda dapat memvisualisasikan variabel berdampingan dengan plot Seaborn.
+
+1. Coba plot 'swarm' untuk menunjukkan distribusi nilai:
+
+ ```python
+ palette = {
+ 0: 'orange',
+ 1: 'wheat'
+ }
+ sns.swarmplot(x="Color", y="ord__Item Size", data=encoded_pumpkins, palette=palette)
+ ```
+
+ 
+
+**Perhatikan**: kode di atas mungkin menghasilkan peringatan, karena seaborn gagal mewakili jumlah titik data tersebut dalam plot swarm. Solusi yang mungkin adalah mengurangi ukuran penanda, dengan menggunakan parameter 'size'. Namun, perlu diketahui bahwa ini memengaruhi keterbacaan plot.
+
+
+> **🧮 Tunjukkan Matematika**
+>
+> Regresi logistik bergantung pada konsep 'maximum likelihood' menggunakan [fungsi sigmoid](https://wikipedia.org/wiki/Sigmoid_function). Fungsi 'Sigmoid' pada plot terlihat seperti bentuk 'S'. Ini mengambil nilai dan memetakannya ke antara 0 dan 1. Kurvanya juga disebut 'kurva logistik'. Rumusnya terlihat seperti ini:
+>
+> 
+>
+> di mana titik tengah sigmoid berada pada titik 0 dari x, L adalah nilai maksimum kurva, dan k adalah kemiringan kurva. Jika hasil fungsi lebih dari 0,5, label yang dimaksud akan diberi kelas '1' dari pilihan biner. Jika tidak, itu akan diklasifikasikan sebagai '0'.
+
+## Bangun model Anda
+
+Membangun model untuk menemukan klasifikasi biner ini ternyata cukup mudah di Scikit-learn.
+
+[](https://youtu.be/MmZS2otPrQ8 "ML untuk pemula - Regresi Logistik untuk klasifikasi data")
+
+> 🎥 Klik gambar di atas untuk video singkat tentang membangun model regresi linear
+
+1. Pilih variabel yang ingin Anda gunakan dalam model klasifikasi Anda dan bagi set pelatihan dan pengujian dengan memanggil `train_test_split()`:
+
+ ```python
+ from sklearn.model_selection import train_test_split
+
+ X = encoded_pumpkins[encoded_pumpkins.columns.difference(['Color'])]
+ y = encoded_pumpkins['Color']
+
+ X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+
+ ```
+
+2. Sekarang Anda dapat melatih model Anda, dengan memanggil `fit()` dengan data pelatihan Anda, dan mencetak hasilnya:
+
+ ```python
+ from sklearn.metrics import f1_score, classification_report
+ from sklearn.linear_model import LogisticRegression
+
+ model = LogisticRegression()
+ model.fit(X_train, y_train)
+ predictions = model.predict(X_test)
+
+ print(classification_report(y_test, predictions))
+ print('Predicted labels: ', predictions)
+ print('F1-score: ', f1_score(y_test, predictions))
+ ```
+
+ Lihatlah papan skor model Anda. Tidak buruk, mengingat Anda hanya memiliki sekitar 1000 baris data:
+
+ ```output
+ precision recall f1-score support
+
+ 0 0.94 0.98 0.96 166
+ 1 0.85 0.67 0.75 33
+
+ accuracy 0.92 199
+ macro avg 0.89 0.82 0.85 199
+ weighted avg 0.92 0.92 0.92 199
+
+ Predicted labels: [0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 0
+ 0 0 0 0 0 1 0 1 0 0 1 0 0 0 0 0 1 0 1 0 1 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0
+ 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 1 0 0 0 0 0 0 0 1 0
+ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 1 1 0
+ 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1
+ 0 0 0 1 0 0 0 0 0 0 0 0 1 1]
+ F1-score: 0.7457627118644068
+ ```
+
+## Pemahaman yang lebih baik melalui matriks kebingungan
+
+Meskipun Anda bisa mendapatkan laporan papan skor [istilah](https://scikit-learn.org/stable/modules/generated/sklearn.metrics.classification_report.html?highlight=classification_report#sklearn.metrics.classification_report) dengan mencetak item di atas, Anda mungkin bisa memahami model Anda dengan lebih mudah dengan menggunakan [matriks kebingungan](https://scikit-learn.org/stable/modules/model_evaluation.html#confusion-matrix) untuk membantu kita memahami bagaimana model bekerja.
+
+> 🎓 Sebuah '[matriks kebingungan](https://wikipedia.org/wiki/Confusion_matrix)' (atau 'matriks kesalahan') adalah tabel yang mengungkapkan positif dan negatif sejati vs. palsu dari model Anda, sehingga mengukur akurasi prediksi.
+
+1. Untuk menggunakan metrik kebingungan, panggil `confusion_matrix()`:
+
+ ```python
+ from sklearn.metrics import confusion_matrix
+ confusion_matrix(y_test, predictions)
+ ```
+
+ Lihatlah matriks kebingungan model Anda:
+
+ ```output
+ array([[162, 4],
+ [ 11, 22]])
+ ```
+
+Di Scikit-learn, Baris (sumbu 0) matriks kebingungan adalah label sebenarnya dan kolom (sumbu 1) adalah label yang diprediksi.
+
+| | 0 | 1 |
+| :---: | :---: | :---: |
+| 0 | TN | FP |
+| 1 | FN | TP |
+
+Apa yang terjadi di sini? Katakanlah model kita diminta untuk mengklasifikasikan labu antara dua kategori biner, kategori 'putih' dan kategori 'tidak putih'.
+
+- Jika model Anda memprediksi labu sebagai tidak putih dan itu benar-benar termasuk dalam kategori 'tidak putih' kita menyebutnya negatif benar, ditunjukkan oleh angka kiri atas.
+- Jika model Anda memprediksi labu sebagai putih dan itu benar-benar termasuk dalam kategori 'tidak putih' kita menyebutnya negatif palsu, ditunjukkan oleh angka kiri bawah.
+- Jika model Anda memprediksi labu sebagai tidak putih dan itu benar-benar termasuk dalam kategori 'putih' kita menyebutnya positif palsu, ditunjukkan oleh angka kanan atas.
+- Jika model Anda memprediksi labu sebagai putih dan itu benar-benar termasuk dalam kategori 'putih' kita menyebutnya positif benar, ditunjukkan oleh angka kanan bawah.
+
+Seperti yang mungkin Anda duga, lebih disukai memiliki jumlah positif benar dan negatif benar yang lebih besar dan jumlah positif palsu dan negatif palsu yang lebih rendah, yang menyiratkan bahwa model bekerja lebih baik.
+
+Bagaimana matriks kebingungan berkaitan dengan presisi dan recall? Ingat, laporan klasifikasi yang dicetak di atas menunjukkan presisi (0.85) dan recall (0.67).
+
+Presisi = tp / (tp + fp) = 22 / (22 + 4) = 0.8461538461538461
+
+Recall = tp / (tp + fn) = 22 / (22 + 11) = 0.6666666666666666
+
+✅ Q: Menurut matriks kebingungan, bagaimana kinerja model? A: Tidak buruk; ada banyak negatif benar tetapi juga beberapa negatif palsu.
+
+Mari kita tinjau kembali istilah yang kita lihat sebelumnya dengan bantuan pemetaan TP/TN dan FP/FN dari matriks kebingungan:
+
+🎓 Presisi: TP/(TP + FP) Fraksi instance relevan di antara instance yang diambil (misalnya label mana yang dilabeli dengan baik)
+
+🎓 Recall: TP/(TP + FN) Fraksi instance relevan yang diambil, apakah dilabeli dengan baik atau tidak
+
+🎓 f1-score: (2 * presisi * recall)/(presisi + recall) Rata-rata tertimbang dari presisi dan recall, dengan yang terbaik adalah 1 dan yang terburuk adalah 0
+
+🎓 Dukungan: Jumlah kejadian dari setiap label yang diambil
+
+🎓 Akurasi: (TP + TN)/(TP + TN + FP + FN) Persentase label yang diprediksi dengan akurat untuk sebuah sampel.
+
+🎓 Rata-rata Makro: Perhitungan rata-rata metrik yang tidak berbobot untuk setiap label, tanpa memperhitungkan ketidakseimbangan label.
+
+🎓 Rata-rata Tertimbang: Perhitungan rata-rata metrik untuk setiap label, dengan memperhitungkan ketidakseimbangan label dengan menimbangnya berdasarkan dukungan mereka (jumlah instance sebenarnya untuk setiap label).
+
+✅ Bisakah Anda memikirkan metrik mana yang harus Anda perhatikan jika Anda ingin model Anda mengurangi jumlah negatif palsu?
+
+## Visualisasikan kurva ROC dari model ini
+
+[](https://youtu.be/GApO575jTA0 "ML untuk pemula - Menganalisis Kinerja Regresi Logistik dengan Kurva ROC")
+
+> 🎥 Klik gambar di atas untuk video singkat tentang kurva ROC
+
+Mari kita lakukan satu visualisasi lagi untuk melihat yang disebut 'kurva ROC':
+
+```python
+from sklearn.metrics import roc_curve, roc_auc_score
+import matplotlib
+import matplotlib.pyplot as plt
+%matplotlib inline
+
+y_scores = model.predict_proba(X_test)
+fpr, tpr, thresholds = roc_curve(y_test, y_scores[:,1])
+
+fig = plt.figure(figsize=(6, 6))
+plt.plot([0, 1], [0, 1], 'k--')
+plt.plot(fpr, tpr)
+plt.xlabel('False Positive Rate')
+plt.ylabel('True Positive Rate')
+plt.title('ROC Curve')
+plt.show()
+```
+
+Menggunakan Matplotlib, plot [Receiving Operating Characteristic](https://scikit-learn.org/stable/auto_examples/model_selection/plot_roc.html?highlight=roc) atau ROC dari model. Kurva ROC sering digunakan untuk mendapatkan pandangan tentang output dari sebuah classifier dalam hal positif benar vs. positif palsu. "Kurva ROC biasanya menampilkan true positive rate pada sumbu Y, dan false positive rate pada sumbu X." Dengan demikian, kemiringan kurva dan ruang antara garis tengah dan kurva penting: Anda ingin kurva yang cepat naik dan melewati garis. Dalam kasus kita, ada positif palsu untuk memulai, dan kemudian garis naik dan melewati dengan benar:
+
+
+
+Akhirnya, gunakan [`API roc_auc_score` dari Scikit-learn](https://scikit-learn.org/stable/modules/generated/sklearn.metrics.roc_auc_score.html?highlight=roc_auc#sklearn.metrics.roc_auc_score) untuk menghitung 'Area Under the Curve' (AUC) yang sebenarnya:
+
+```python
+auc = roc_auc_score(y_test,y_scores[:,1])
+print(auc)
+```
+Hasilnya adalah `0.9749908725812341`. Mengingat bahwa AUC berkisar dari 0 hingga 1, Anda menginginkan skor yang besar, karena model yang 100% benar dalam prediksinya akan memiliki AUC sebesar 1; dalam kasus ini, model _cukup bagus_.
+
+Dalam pelajaran klasifikasi di masa depan, Anda akan belajar cara mengulangi untuk meningkatkan skor model Anda. Tetapi untuk saat ini, selamat! Anda telah menyelesaikan pelajaran regresi ini!
+
+---
+## 🚀Tantangan
+
+Masih banyak lagi yang bisa dibahas mengenai regresi logistik! Tapi cara terbaik untuk belajar adalah dengan bereksperimen. Temukan dataset yang cocok untuk analisis jenis ini dan bangun model dengannya. Apa yang Anda pelajari? tip: coba [Kaggle](https://www.kaggle.com/search?q=logistic+regression+datasets) untuk dataset yang menarik.
+
+## [Kuiz Pasca-Kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/16/)
+
+## T
+
+**Penafian**:
+Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini.
\ No newline at end of file
diff --git a/translations/ms/2-Regression/4-Logistic/assignment.md b/translations/ms/2-Regression/4-Logistic/assignment.md
new file mode 100644
index 000000000..756cd929c
--- /dev/null
+++ b/translations/ms/2-Regression/4-Logistic/assignment.md
@@ -0,0 +1,14 @@
+# Mencuba Semula Beberapa Regresi
+
+## Arahan
+
+Dalam pelajaran, anda menggunakan subset data labu. Sekarang, kembali kepada data asal dan cuba gunakan semuanya, yang telah dibersihkan dan distandardkan, untuk membina model Regresi Logistik.
+
+## Rubrik
+
+| Kriteria | Cemerlang | Memadai | Perlu Peningkatan |
+| -------- | ----------------------------------------------------------------------- | ----------------------------------------------------------- | ----------------------------------------------------------- |
+| | Buku nota disampaikan dengan model yang dijelaskan dengan baik dan berprestasi baik | Buku nota disampaikan dengan model yang berprestasi minimum | Buku nota disampaikan dengan model yang berprestasi rendah atau tiada |
+
+**Penafian**:
+Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini.
\ No newline at end of file
diff --git a/translations/ms/2-Regression/4-Logistic/solution/Julia/README.md b/translations/ms/2-Regression/4-Logistic/solution/Julia/README.md
new file mode 100644
index 000000000..84c037866
--- /dev/null
+++ b/translations/ms/2-Regression/4-Logistic/solution/Julia/README.md
@@ -0,0 +1,4 @@
+
+
+**Penafian**:
+Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila maklum bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini.
\ No newline at end of file
diff --git a/translations/ms/2-Regression/README.md b/translations/ms/2-Regression/README.md
new file mode 100644
index 000000000..3305cda17
--- /dev/null
+++ b/translations/ms/2-Regression/README.md
@@ -0,0 +1,43 @@
+# Model Regresi untuk Pembelajaran Mesin
+## Topik Regional: Model Regresi untuk Harga Labu di Amerika Utara 🎃
+
+Di Amerika Utara, labu sering diukir menjadi wajah menakutkan untuk Halloween. Mari kita temukan lebih banyak tentang sayuran yang menarik ini!
+
+
+> Foto oleh Beth Teutschmann di Unsplash
+
+## Apa yang Akan Anda Pelajari
+
+[](https://youtu.be/5QnJtDad4iQ "Video Pengenalan Regresi - Klik untuk Menonton!")
+> 🎥 Klik gambar di atas untuk video pengenalan singkat tentang pelajaran ini
+
+Pelajaran dalam bagian ini mencakup jenis-jenis regresi dalam konteks pembelajaran mesin. Model regresi dapat membantu menentukan _hubungan_ antara variabel. Jenis model ini dapat memprediksi nilai seperti panjang, suhu, atau usia, sehingga mengungkapkan hubungan antara variabel saat menganalisis titik data.
+
+Dalam serangkaian pelajaran ini, Anda akan menemukan perbedaan antara regresi linear dan logistik, dan kapan Anda harus memilih salah satu di atas yang lain.
+
+[](https://youtu.be/XA3OaoW86R8 "ML untuk Pemula - Pengenalan Model Regresi untuk Pembelajaran Mesin")
+
+> 🎥 Klik gambar di atas untuk video pendek yang memperkenalkan model regresi.
+
+Dalam kelompok pelajaran ini, Anda akan disiapkan untuk memulai tugas pembelajaran mesin, termasuk mengkonfigurasi Visual Studio Code untuk mengelola notebook, lingkungan umum bagi ilmuwan data. Anda akan menemukan Scikit-learn, sebuah pustaka untuk pembelajaran mesin, dan Anda akan membangun model pertama Anda, dengan fokus pada model Regresi dalam bab ini.
+
+> Ada alat low-code yang berguna yang dapat membantu Anda belajar tentang bekerja dengan model regresi. Coba [Azure ML untuk tugas ini](https://docs.microsoft.com/learn/modules/create-regression-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott)
+
+### Pelajaran
+
+1. [Alat Perdagangan](1-Tools/README.md)
+2. [Mengelola Data](2-Data/README.md)
+3. [Regresi Linear dan Polinomial](3-Linear/README.md)
+4. [Regresi Logistik](4-Logistic/README.md)
+
+---
+### Kredit
+
+"ML dengan regresi" ditulis dengan ♥️ oleh [Jen Looper](https://twitter.com/jenlooper)
+
+♥️ Kontributor kuis termasuk: [Muhammad Sakib Khan Inan](https://twitter.com/Sakibinan) dan [Ornella Altunyan](https://twitter.com/ornelladotcom)
+
+Dataset labu disarankan oleh [proyek ini di Kaggle](https://www.kaggle.com/usda/a-year-of-pumpkin-prices) dan datanya bersumber dari [Laporan Standar Pasar Terminal Tanaman Khusus](https://www.marketnews.usda.gov/mnp/fv-report-config-step1?type=termPrice) yang didistribusikan oleh Departemen Pertanian Amerika Serikat. Kami telah menambahkan beberapa poin tentang warna berdasarkan varietas untuk menormalkan distribusi. Data ini berada di domain publik.
+
+**Penafian**:
+Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab ke atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini.
\ No newline at end of file
diff --git a/translations/ms/3-Web-App/1-Web-App/README.md b/translations/ms/3-Web-App/1-Web-App/README.md
new file mode 100644
index 000000000..a9da95685
--- /dev/null
+++ b/translations/ms/3-Web-App/1-Web-App/README.md
@@ -0,0 +1,348 @@
+# Bina Aplikasi Web untuk Menggunakan Model ML
+
+Dalam pelajaran ini, anda akan melatih model ML pada set data yang sangat menarik: _Penampakan UFO selama abad yang lalu_, yang bersumber dari basis data NUFORC.
+
+Anda akan belajar:
+
+- Cara 'pickle' model yang telah dilatih
+- Cara menggunakan model tersebut dalam aplikasi Flask
+
+Kita akan melanjutkan penggunaan notebook untuk membersihkan data dan melatih model kita, tetapi anda dapat melangkah lebih jauh dengan mengeksplorasi penggunaan model 'di lapangan': dalam aplikasi web.
+
+Untuk melakukan ini, anda perlu membangun aplikasi web menggunakan Flask.
+
+## [Kuis Pra-Kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/17/)
+
+## Membangun Aplikasi
+
+Ada beberapa cara untuk membangun aplikasi web yang mengonsumsi model pembelajaran mesin. Arsitektur web anda mungkin mempengaruhi cara model anda dilatih. Bayangkan anda bekerja di sebuah perusahaan di mana kelompok ilmu data telah melatih model yang mereka ingin anda gunakan dalam aplikasi.
+
+### Pertimbangan
+
+Ada banyak pertanyaan yang perlu anda tanyakan:
+
+- **Apakah itu aplikasi web atau aplikasi seluler?** Jika anda membangun aplikasi seluler atau perlu menggunakan model dalam konteks IoT, anda dapat menggunakan [TensorFlow Lite](https://www.tensorflow.org/lite/) dan menggunakan model dalam aplikasi Android atau iOS.
+- **Di mana model akan berada?** Di cloud atau lokal?
+- **Dukungan offline.** Apakah aplikasi harus berfungsi secara offline?
+- **Teknologi apa yang digunakan untuk melatih model?** Teknologi yang dipilih mungkin mempengaruhi alat yang perlu anda gunakan.
+ - **Menggunakan TensorFlow.** Jika anda melatih model menggunakan TensorFlow, misalnya, ekosistem tersebut menyediakan kemampuan untuk mengkonversi model TensorFlow untuk digunakan dalam aplikasi web dengan menggunakan [TensorFlow.js](https://www.tensorflow.org/js/).
+ - **Menggunakan PyTorch.** Jika anda membangun model menggunakan perpustakaan seperti [PyTorch](https://pytorch.org/), anda memiliki opsi untuk mengekspornya dalam format [ONNX](https://onnx.ai/) (Open Neural Network Exchange) untuk digunakan dalam aplikasi web JavaScript yang dapat menggunakan [Onnx Runtime](https://www.onnxruntime.ai/). Opsi ini akan dieksplorasi dalam pelajaran mendatang untuk model yang dilatih dengan Scikit-learn.
+ - **Menggunakan Lobe.ai atau Azure Custom Vision.** Jika anda menggunakan sistem ML SaaS (Software as a Service) seperti [Lobe.ai](https://lobe.ai/) atau [Azure Custom Vision](https://azure.microsoft.com/services/cognitive-services/custom-vision-service/?WT.mc_id=academic-77952-leestott) untuk melatih model, jenis perangkat lunak ini menyediakan cara untuk mengekspor model untuk banyak platform, termasuk membangun API khusus untuk di-query di cloud oleh aplikasi online anda.
+
+Anda juga memiliki kesempatan untuk membangun seluruh aplikasi web Flask yang dapat melatih model itu sendiri dalam browser web. Ini juga dapat dilakukan menggunakan TensorFlow.js dalam konteks JavaScript.
+
+Untuk tujuan kita, karena kita telah bekerja dengan notebook berbasis Python, mari kita eksplorasi langkah-langkah yang perlu diambil untuk mengekspor model yang telah dilatih dari notebook tersebut ke format yang dapat dibaca oleh aplikasi web yang dibangun dengan Python.
+
+## Alat
+
+Untuk tugas ini, anda memerlukan dua alat: Flask dan Pickle, keduanya berjalan di Python.
+
+✅ Apa itu [Flask](https://palletsprojects.com/p/flask/)? Didefinisikan sebagai 'micro-framework' oleh penciptanya, Flask menyediakan fitur dasar kerangka kerja web menggunakan Python dan mesin templat untuk membangun halaman web. Lihat [modul Belajar ini](https://docs.microsoft.com/learn/modules/python-flask-build-ai-web-app?WT.mc_id=academic-77952-leestott) untuk berlatih membangun dengan Flask.
+
+✅ Apa itu [Pickle](https://docs.python.org/3/library/pickle.html)? Pickle 🥒 adalah modul Python yang men-serialisasi dan de-serialisasi struktur objek Python. Ketika anda 'pickle' model, anda men-serialisasi atau meratakan strukturnya untuk digunakan di web. Hati-hati: pickle tidak secara intrinsik aman, jadi berhati-hatilah jika diminta untuk 'un-pickle' file. File yang di-pickle memiliki akhiran `.pkl`.
+
+## Latihan - membersihkan data anda
+
+Dalam pelajaran ini anda akan menggunakan data dari 80.000 penampakan UFO, dikumpulkan oleh [NUFORC](https://nuforc.org) (Pusat Pelaporan UFO Nasional). Data ini memiliki beberapa deskripsi menarik tentang penampakan UFO, misalnya:
+
+- **Deskripsi contoh panjang.** "Seorang pria muncul dari sinar cahaya yang menyinari lapangan berumput di malam hari dan dia berlari menuju tempat parkir Texas Instruments".
+- **Deskripsi contoh pendek.** "lampu-lampu mengejar kami".
+
+Spreadsheet [ufos.csv](../../../../3-Web-App/1-Web-App/data/ufos.csv) mencakup kolom tentang `city`, `state`, dan `country` di mana penampakan terjadi, objek `shape` dan `latitude` serta `longitude`.
+
+Dalam [notebook](../../../../3-Web-App/1-Web-App/notebook.ipynb) kosong yang disertakan dalam pelajaran ini:
+
+1. impor `pandas`, `matplotlib`, dan `numpy` seperti yang anda lakukan dalam pelajaran sebelumnya dan impor spreadsheet ufos. Anda dapat melihat sampel set data:
+
+ ```python
+ import pandas as pd
+ import numpy as np
+
+ ufos = pd.read_csv('./data/ufos.csv')
+ ufos.head()
+ ```
+
+1. Konversikan data ufos menjadi dataframe kecil dengan judul baru. Periksa nilai unik di bidang `Country`.
+
+ ```python
+ ufos = pd.DataFrame({'Seconds': ufos['duration (seconds)'], 'Country': ufos['country'],'Latitude': ufos['latitude'],'Longitude': ufos['longitude']})
+
+ ufos.Country.unique()
+ ```
+
+1. Sekarang, anda dapat mengurangi jumlah data yang perlu kita tangani dengan menghapus nilai null dan hanya mengimpor penampakan antara 1-60 detik:
+
+ ```python
+ ufos.dropna(inplace=True)
+
+ ufos = ufos[(ufos['Seconds'] >= 1) & (ufos['Seconds'] <= 60)]
+
+ ufos.info()
+ ```
+
+1. Impor perpustakaan `LabelEncoder` dari Scikit-learn untuk mengonversi nilai teks untuk negara menjadi angka:
+
+ ✅ LabelEncoder mengkodekan data secara alfabetis
+
+ ```python
+ from sklearn.preprocessing import LabelEncoder
+
+ ufos['Country'] = LabelEncoder().fit_transform(ufos['Country'])
+
+ ufos.head()
+ ```
+
+ Data anda harus terlihat seperti ini:
+
+ ```output
+ Seconds Country Latitude Longitude
+ 2 20.0 3 53.200000 -2.916667
+ 3 20.0 4 28.978333 -96.645833
+ 14 30.0 4 35.823889 -80.253611
+ 23 60.0 4 45.582778 -122.352222
+ 24 3.0 3 51.783333 -0.783333
+ ```
+
+## Latihan - membangun model anda
+
+Sekarang anda dapat bersiap untuk melatih model dengan membagi data menjadi kelompok pelatihan dan pengujian.
+
+1. Pilih tiga fitur yang ingin anda latih sebagai vektor X anda, dan vektor y akan menjadi `Country`. You want to be able to input `Seconds`, `Latitude` and `Longitude` dan mendapatkan id negara untuk dikembalikan.
+
+ ```python
+ from sklearn.model_selection import train_test_split
+
+ Selected_features = ['Seconds','Latitude','Longitude']
+
+ X = ufos[Selected_features]
+ y = ufos['Country']
+
+ X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+ ```
+
+1. Latih model anda menggunakan regresi logistik:
+
+ ```python
+ from sklearn.metrics import accuracy_score, classification_report
+ from sklearn.linear_model import LogisticRegression
+ model = LogisticRegression()
+ model.fit(X_train, y_train)
+ predictions = model.predict(X_test)
+
+ print(classification_report(y_test, predictions))
+ print('Predicted labels: ', predictions)
+ print('Accuracy: ', accuracy_score(y_test, predictions))
+ ```
+
+Akurasi tidak buruk **(sekitar 95%)**, tidak mengherankan, karena `Country` and `Latitude/Longitude` correlate.
+
+The model you created isn't very revolutionary as you should be able to infer a `Country` from its `Latitude` and `Longitude`, tetapi ini adalah latihan yang baik untuk mencoba melatih dari data mentah yang anda bersihkan, diekspor, dan kemudian menggunakan model ini dalam aplikasi web.
+
+## Latihan - 'pickle' model anda
+
+Sekarang, saatnya untuk _pickle_ model anda! Anda dapat melakukannya dalam beberapa baris kode. Setelah itu di-_pickle_, muat model yang di-pickle dan uji terhadap array data sampel yang berisi nilai untuk detik, lintang, dan bujur,
+
+```python
+import pickle
+model_filename = 'ufo-model.pkl'
+pickle.dump(model, open(model_filename,'wb'))
+
+model = pickle.load(open('ufo-model.pkl','rb'))
+print(model.predict([[50,44,-12]]))
+```
+
+Model mengembalikan **'3'**, yang merupakan kode negara untuk Inggris. Luar biasa! 👽
+
+## Latihan - membangun aplikasi Flask
+
+Sekarang anda dapat membangun aplikasi Flask untuk memanggil model anda dan mengembalikan hasil serupa, tetapi dengan cara yang lebih menarik secara visual.
+
+1. Mulailah dengan membuat folder bernama **web-app** di sebelah file _notebook.ipynb_ tempat file _ufo-model.pkl_ anda berada.
+
+1. Di dalam folder tersebut buat tiga folder lagi: **static**, dengan folder **css** di dalamnya, dan **templates**. Anda sekarang harus memiliki file dan direktori berikut:
+
+ ```output
+ web-app/
+ static/
+ css/
+ templates/
+ notebook.ipynb
+ ufo-model.pkl
+ ```
+
+ ✅ Lihat folder solusi untuk melihat aplikasi yang sudah selesai
+
+1. File pertama yang dibuat dalam folder _web-app_ adalah file **requirements.txt**. Seperti _package.json_ dalam aplikasi JavaScript, file ini mencantumkan ketergantungan yang diperlukan oleh aplikasi. Dalam **requirements.txt** tambahkan baris:
+
+ ```text
+ scikit-learn
+ pandas
+ numpy
+ flask
+ ```
+
+1. Sekarang, jalankan file ini dengan menavigasi ke _web-app_:
+
+ ```bash
+ cd web-app
+ ```
+
+1. Di terminal anda ketik `pip install`, untuk menginstal perpustakaan yang tercantum dalam _requirements.txt_:
+
+ ```bash
+ pip install -r requirements.txt
+ ```
+
+1. Sekarang, anda siap membuat tiga file lagi untuk menyelesaikan aplikasi:
+
+ 1. Buat **app.py** di root.
+ 2. Buat **index.html** di direktori _templates_.
+ 3. Buat **styles.css** di direktori _static/css_.
+
+1. Buat file _styles.css_ dengan beberapa gaya:
+
+ ```css
+ body {
+ width: 100%;
+ height: 100%;
+ font-family: 'Helvetica';
+ background: black;
+ color: #fff;
+ text-align: center;
+ letter-spacing: 1.4px;
+ font-size: 30px;
+ }
+
+ input {
+ min-width: 150px;
+ }
+
+ .grid {
+ width: 300px;
+ border: 1px solid #2d2d2d;
+ display: grid;
+ justify-content: center;
+ margin: 20px auto;
+ }
+
+ .box {
+ color: #fff;
+ background: #2d2d2d;
+ padding: 12px;
+ display: inline-block;
+ }
+ ```
+
+1. Selanjutnya, buat file _index.html_:
+
+ ```html
+
+
+
+
+ 🛸 UFO Appearance Prediction! 👽 + + + + ++ ++ + + + ``` + + Lihatlah templating dalam file ini. Perhatikan sintaks 'mustache' di sekitar variabel yang akan disediakan oleh aplikasi, seperti teks prediksi: `{{}}`. There's also a form that posts a prediction to the `/predict` route. + + Finally, you're ready to build the python file that drives the consumption of the model and the display of predictions: + +1. In `app.py` tambahkan: + + ```python + import numpy as np + from flask import Flask, request, render_template + import pickle + + app = Flask(__name__) + + model = pickle.load(open("./ufo-model.pkl", "rb")) + + + @app.route("/") + def home(): + return render_template("index.html") + + + @app.route("/predict", methods=["POST"]) + def predict(): + + int_features = [int(x) for x in request.form.values()] + final_features = [np.array(int_features)] + prediction = model.predict(final_features) + + output = prediction[0] + + countries = ["Australia", "Canada", "Germany", "UK", "US"] + + return render_template( + "index.html", prediction_text="Likely country: {}".format(countries[output]) + ) + + + if __name__ == "__main__": + app.run(debug=True) + ``` + + > 💡 Tip: ketika anda menambahkan [`debug=True`](https://www.askpython.com/python-modules/flask/flask-debug-mode) while running the web app using Flask, any changes you make to your application will be reflected immediately without the need to restart the server. Beware! Don't enable this mode in a production app. + +If you run `python app.py` or `python3 app.py` - your web server starts up, locally, and you can fill out a short form to get an answer to your burning question about where UFOs have been sighted! + +Before doing that, take a look at the parts of `app.py`: + +1. First, dependencies are loaded and the app starts. +1. Then, the model is imported. +1. Then, index.html is rendered on the home route. + +On the `/predict` route, several things happen when the form is posted: + +1. The form variables are gathered and converted to a numpy array. They are then sent to the model and a prediction is returned. +2. The Countries that we want displayed are re-rendered as readable text from their predicted country code, and that value is sent back to index.html to be rendered in the template. + +Using a model this way, with Flask and a pickled model, is relatively straightforward. The hardest thing is to understand what shape the data is that must be sent to the model to get a prediction. That all depends on how the model was trained. This one has three data points to be input in order to get a prediction. + +In a professional setting, you can see how good communication is necessary between the folks who train the model and those who consume it in a web or mobile app. In our case, it's only one person, you! + +--- + +## 🚀 Challenge + +Instead of working in a notebook and importing the model to the Flask app, you could train the model right within the Flask app! Try converting your Python code in the notebook, perhaps after your data is cleaned, to train the model from within the app on a route called `train`. Apa pro dan kontra dari mengejar metode ini? + +## [Kuis Pasca-Kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/18/) + +## Tinjauan & Studi Mandiri + +Ada banyak cara untuk membangun aplikasi web yang mengonsumsi model ML. Buatlah daftar cara-cara yang dapat anda gunakan JavaScript atau Python untuk membangun aplikasi web yang memanfaatkan pembelajaran mesin. Pertimbangkan arsitektur: apakah model harus tetap dalam aplikasi atau hidup di cloud? Jika yang terakhir, bagaimana anda mengaksesnya? Gambarlah model arsitektur untuk solusi web ML yang diterapkan. + +## Tugas + +[Cobalah model yang berbeda](assignment.md) + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat penting, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/3-Web-App/1-Web-App/assignment.md b/translations/ms/3-Web-App/1-Web-App/assignment.md new file mode 100644 index 000000000..841fc6d8d --- /dev/null +++ b/translations/ms/3-Web-App/1-Web-App/assignment.md @@ -0,0 +1,14 @@ +# Cuba model yang berbeza + +## Arahan + +Sekarang anda telah membina satu aplikasi web menggunakan model Regresi terlatih, gunakan salah satu model dari pelajaran Regresi sebelumnya untuk membuat semula aplikasi web ini. Anda boleh mengekalkan gaya atau merekanya dengan cara yang berbeza untuk mencerminkan data labu. Berhati-hati untuk mengubah input agar sesuai dengan kaedah latihan model anda. + +## Rubrik + +| Kriteria | Cemerlang | Memadai | Perlu Penambahbaikan | +| -------------------------- | --------------------------------------------------------- | --------------------------------------------------------- | -------------------------------------- | +| | Aplikasi web berfungsi seperti yang diharapkan dan dideploy ke awan | Aplikasi web mengandungi kesilapan atau menunjukkan hasil yang tidak dijangka | Aplikasi web tidak berfungsi dengan betul | + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab ke atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/3-Web-App/README.md b/translations/ms/3-Web-App/README.md new file mode 100644 index 000000000..4eb3dbf14 --- /dev/null +++ b/translations/ms/3-Web-App/README.md @@ -0,0 +1,24 @@ +# Bina aplikasi web untuk menggunakan model ML anda + +Dalam bahagian kurikulum ini, anda akan diperkenalkan kepada topik ML terapan: bagaimana untuk menyimpan model Scikit-learn anda sebagai fail yang boleh digunakan untuk membuat ramalan dalam aplikasi web. Setelah model disimpan, anda akan belajar bagaimana menggunakannya dalam aplikasi web yang dibina dalam Flask. Anda akan mula dengan mencipta model menggunakan beberapa data tentang penampakan UFO! Kemudian, anda akan membina aplikasi web yang membolehkan anda memasukkan beberapa saat dengan nilai latitud dan longitud untuk meramalkan negara mana yang melaporkan melihat UFO. + + + +Foto oleh Michael Herren di Unsplash + +## Pelajaran + +1. [Bina Aplikasi Web](1-Web-App/README.md) + +## Kredit + +"Bina Aplikasi Web" ditulis dengan ♥️ oleh [Jen Looper](https://twitter.com/jenlooper). + +♥️ Kuiz ditulis oleh Rohan Raj. + +Dataset diambil dari [Kaggle](https://www.kaggle.com/NUFORC/ufo-sightings). + +Arkitektur aplikasi web dicadangkan sebahagiannya oleh [artikel ini](https://towardsdatascience.com/how-to-easily-deploy-machine-learning-models-using-flask-b95af8fe34d4) dan [repo ini](https://github.com/abhinavsagar/machine-learning-deployment) oleh Abhinav Sagar. + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/4-Classification/1-Introduction/README.md b/translations/ms/4-Classification/1-Introduction/README.md new file mode 100644 index 000000000..facebe8b3 --- /dev/null +++ b/translations/ms/4-Classification/1-Introduction/README.md @@ -0,0 +1,300 @@ +# Pengenalan kepada klasifikasi + +Dalam empat pelajaran ini, anda akan meneroka fokus asas pembelajaran mesin klasik - _klasifikasi_. Kami akan melalui penggunaan pelbagai algoritma klasifikasi dengan set data tentang semua masakan hebat di Asia dan India. Harap anda lapar! + + + +> Raikan masakan pan-Asia dalam pelajaran ini! Imej oleh [Jen Looper](https://twitter.com/jenlooper) + +Klasifikasi adalah satu bentuk [pembelajaran berarah](https://wikipedia.org/wiki/Supervised_learning) yang banyak persamaannya dengan teknik regresi. Jika pembelajaran mesin adalah tentang meramal nilai atau nama kepada sesuatu dengan menggunakan set data, maka klasifikasi umumnya terbahagi kepada dua kumpulan: _klasifikasi binari_ dan _klasifikasi berbilang kelas_. + +[](https://youtu.be/eg8DJYwdMyg "Pengenalan kepada klasifikasi") + +Ingat: + +- **Regresi linear** membantu anda meramal hubungan antara pembolehubah dan membuat ramalan tepat di mana titik data baru akan jatuh dalam hubungan dengan garis tersebut. Jadi, anda boleh meramal _berapa harga labu pada bulan September vs. Disember_, sebagai contoh. +- **Regresi logistik** membantu anda menemui "kategori binari": pada titik harga ini, _adakah labu ini oren atau tidak-oren_? + +Klasifikasi menggunakan pelbagai algoritma untuk menentukan cara lain dalam menentukan label atau kelas sesuatu titik data. Mari kita bekerja dengan data masakan ini untuk melihat sama ada, dengan memerhatikan sekumpulan bahan, kita boleh menentukan asal usul masakannya. + +## [Kuiz pra-ceramah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/19/) + +> ### [Pelajaran ini tersedia dalam R!](../../../../4-Classification/1-Introduction/solution/R/lesson_10.html) + +### Pengenalan + +Klasifikasi adalah salah satu aktiviti asas penyelidik pembelajaran mesin dan saintis data. Dari klasifikasi asas nilai binari ("adakah emel ini spam atau tidak?"), kepada klasifikasi dan segmentasi imej yang kompleks menggunakan visi komputer, adalah selalu berguna untuk dapat menyusun data ke dalam kelas dan bertanya soalan mengenainya. + +Untuk menyatakan proses ini dengan cara yang lebih saintifik, kaedah klasifikasi anda mencipta model ramalan yang membolehkan anda memetakan hubungan antara pembolehubah input kepada pembolehubah output. + + + +> Masalah binari vs. berbilang kelas untuk algoritma klasifikasi untuk diatasi. Infografik oleh [Jen Looper](https://twitter.com/jenlooper) + +Sebelum memulakan proses membersihkan data, memvisualisasikannya, dan menyiapkannya untuk tugas ML kita, mari kita belajar sedikit tentang pelbagai cara pembelajaran mesin boleh digunakan untuk mengklasifikasikan data. + +Diperoleh daripada [statistik](https://wikipedia.org/wiki/Statistical_classification), klasifikasi menggunakan pembelajaran mesin klasik menggunakan ciri-ciri, seperti `smoker`, `weight`, dan `age` untuk menentukan _kemungkinan mengembangkan penyakit X_. Sebagai teknik pembelajaran berarah yang serupa dengan latihan regresi yang anda lakukan sebelum ini, data anda dilabelkan dan algoritma ML menggunakan label tersebut untuk mengklasifikasikan dan meramal kelas (atau 'ciri-ciri') satu set data dan menetapkannya kepada satu kumpulan atau hasil. + +✅ Luangkan masa sejenak untuk membayangkan set data tentang masakan. Apakah yang boleh dijawab oleh model berbilang kelas? Apakah yang boleh dijawab oleh model binari? Bagaimana jika anda ingin menentukan sama ada sesuatu masakan mungkin menggunakan fenugreek? Bagaimana jika anda ingin melihat jika, dengan pemberian beg runcit penuh dengan bunga lawang, artichoke, kembang kol, dan lobak pedas, anda boleh mencipta hidangan India yang tipikal? + +[](https://youtu.be/GuTeDbaNoEU "Bakul misteri gila") + +> 🎥 Klik imej di atas untuk video. Premis keseluruhan rancangan 'Chopped' adalah 'bakul misteri' di mana chef perlu membuat hidangan daripada pilihan bahan yang rawak. Pasti model ML akan membantu! + +## Hello 'classifier' + +Soalan yang ingin kita tanya tentang set data masakan ini sebenarnya adalah soalan **berbilang kelas**, kerana kita mempunyai beberapa masakan kebangsaan yang berpotensi untuk bekerja dengannya. Diberikan sekumpulan bahan, kelas manakah yang akan data ini sesuai? + +Scikit-learn menawarkan beberapa algoritma yang berbeza untuk digunakan untuk mengklasifikasikan data, bergantung kepada jenis masalah yang anda ingin selesaikan. Dalam dua pelajaran seterusnya, anda akan belajar tentang beberapa algoritma ini. + +## Latihan - bersihkan dan seimbangkan data anda + +Tugas pertama yang perlu dilakukan, sebelum memulakan projek ini, adalah membersihkan dan **mengimbangkan** data anda untuk mendapatkan hasil yang lebih baik. Mulakan dengan fail _notebook.ipynb_ kosong di akar folder ini. + +Perkara pertama yang perlu dipasang adalah [imblearn](https://imbalanced-learn.org/stable/). Ini adalah pakej Scikit-learn yang akan membolehkan anda mengimbangkan data dengan lebih baik (anda akan belajar lebih lanjut tentang tugas ini sebentar lagi). + +1. Untuk memasang `imblearn`, jalankan `pip install`, seperti ini: + + ```python + pip install imblearn + ``` + +1. Import pakej yang anda perlukan untuk mengimport data anda dan memvisualisasikannya, juga import `SMOTE` dari `imblearn`. + + ```python + import pandas as pd + import matplotlib.pyplot as plt + import matplotlib as mpl + import numpy as np + from imblearn.over_sampling import SMOTE + ``` + + Sekarang anda telah bersedia untuk membaca import data seterusnya. + +1. Tugas seterusnya adalah untuk mengimport data: + + ```python + df = pd.read_csv('../data/cuisines.csv') + ``` + + Menggunakan `read_csv()` will read the content of the csv file _cusines.csv_ and place it in the variable `df`. + +1. Semak bentuk data: + + ```python + df.head() + ``` + + Lima baris pertama kelihatan seperti ini: + + ```output + | | Unnamed: 0 | cuisine | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | + | --- | ---------- | ------- | ------ | -------- | ----- | ---------- | ----- | ------------ | ------- | -------- | --- | ------- | ----------- | ---------- | ----------------------- | ---- | ---- | --- | ----- | ------ | -------- | + | 0 | 65 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 1 | 66 | indian | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 2 | 67 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 3 | 68 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 4 | 69 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | + ``` + +1. Dapatkan maklumat tentang data ini dengan memanggil `info()`: + + ```python + df.info() + ``` + + Output anda kelihatan seperti ini: + + ```output ++ ++ +According to the number of seconds, latitude and longitude, which country is likely to have reported seeing a UFO?
+ + + +{{ prediction_text }}
+ ++ RangeIndex: 2448 entries, 0 to 2447 + Columns: 385 entries, Unnamed: 0 to zucchini + dtypes: int64(384), object(1) + memory usage: 7.2+ MB + ``` + +## Latihan - belajar tentang masakan + +Sekarang kerja mula menjadi lebih menarik. Mari kita temui pengedaran data, per masakan + +1. Plot data sebagai bar dengan memanggil `barh()`: + + ```python + df.cuisine.value_counts().plot.barh() + ``` + +  + + Terdapat bilangan masakan yang terhad, tetapi pengedaran data tidak sekata. Anda boleh membetulkannya! Sebelum berbuat demikian, teroka sedikit lagi. + +1. Ketahui berapa banyak data yang tersedia per masakan dan cetak: + + ```python + thai_df = df[(df.cuisine == "thai")] + japanese_df = df[(df.cuisine == "japanese")] + chinese_df = df[(df.cuisine == "chinese")] + indian_df = df[(df.cuisine == "indian")] + korean_df = df[(df.cuisine == "korean")] + + print(f'thai df: {thai_df.shape}') + print(f'japanese df: {japanese_df.shape}') + print(f'chinese df: {chinese_df.shape}') + print(f'indian df: {indian_df.shape}') + print(f'korean df: {korean_df.shape}') + ``` + + output kelihatan seperti ini: + + ```output + thai df: (289, 385) + japanese df: (320, 385) + chinese df: (442, 385) + indian df: (598, 385) + korean df: (799, 385) + ``` + +## Menemui bahan-bahan + +Sekarang anda boleh menggali lebih mendalam ke dalam data dan belajar apakah bahan-bahan tipikal per masakan. Anda harus membersihkan data berulang yang mencipta kekeliruan antara masakan, jadi mari kita belajar tentang masalah ini. + +1. Cipta fungsi `create_ingredient()` dalam Python untuk mencipta dataframe bahan. Fungsi ini akan bermula dengan menjatuhkan lajur yang tidak berguna dan menyusun bahan mengikut kiraannya: + + ```python + def create_ingredient_df(df): + ingredient_df = df.T.drop(['cuisine','Unnamed: 0']).sum(axis=1).to_frame('value') + ingredient_df = ingredient_df[(ingredient_df.T != 0).any()] + ingredient_df = ingredient_df.sort_values(by='value', ascending=False, + inplace=False) + return ingredient_df + ``` + + Sekarang anda boleh menggunakan fungsi itu untuk mendapatkan idea tentang sepuluh bahan paling popular mengikut masakan. + +1. Panggil `create_ingredient()` and plot it calling `barh()`: + + ```python + thai_ingredient_df = create_ingredient_df(thai_df) + thai_ingredient_df.head(10).plot.barh() + ``` + +  + +1. Lakukan perkara yang sama untuk data Jepun: + + ```python + japanese_ingredient_df = create_ingredient_df(japanese_df) + japanese_ingredient_df.head(10).plot.barh() + ``` + +  + +1. Sekarang untuk bahan-bahan Cina: + + ```python + chinese_ingredient_df = create_ingredient_df(chinese_df) + chinese_ingredient_df.head(10).plot.barh() + ``` + +  + +1. Plot bahan-bahan India: + + ```python + indian_ingredient_df = create_ingredient_df(indian_df) + indian_ingredient_df.head(10).plot.barh() + ``` + +  + +1. Akhir sekali, plot bahan-bahan Korea: + + ```python + korean_ingredient_df = create_ingredient_df(korean_df) + korean_ingredient_df.head(10).plot.barh() + ``` + +  + +1. Sekarang, jatuhkan bahan-bahan yang paling biasa yang mencipta kekeliruan antara masakan yang berbeza, dengan memanggil `drop()`: + + Semua orang suka nasi, bawang putih dan halia! + + ```python + feature_df= df.drop(['cuisine','Unnamed: 0','rice','garlic','ginger'], axis=1) + labels_df = df.cuisine #.unique() + feature_df.head() + ``` + +## Imbangkan set data + +Sekarang anda telah membersihkan data, gunakan [SMOTE](https://imbalanced-learn.org/dev/references/generated/imblearn.over_sampling.SMOTE.html) - "Teknik Over-sampling Minoriti Sintetik" - untuk mengimbangkannya. + +1. Panggil `fit_resample()`, strategi ini menjana sampel baru dengan interpolasi. + + ```python + oversample = SMOTE() + transformed_feature_df, transformed_label_df = oversample.fit_resample(feature_df, labels_df) + ``` + + Dengan mengimbangkan data anda, anda akan mendapat hasil yang lebih baik apabila mengklasifikasikannya. Fikirkan tentang klasifikasi binari. Jika kebanyakan data anda adalah satu kelas, model ML akan meramalkan kelas itu dengan lebih kerap, hanya kerana terdapat lebih banyak data untuknya. Mengimbangkan data mengambil sebarang data yang tidak seimbang dan membantu menghilangkan ketidakseimbangan ini. + +1. Sekarang anda boleh menyemak bilangan label per bahan: + + ```python + print(f'new label count: {transformed_label_df.value_counts()}') + print(f'old label count: {df.cuisine.value_counts()}') + ``` + + Output anda kelihatan seperti ini: + + ```output + new label count: korean 799 + chinese 799 + indian 799 + japanese 799 + thai 799 + Name: cuisine, dtype: int64 + old label count: korean 799 + indian 598 + chinese 442 + japanese 320 + thai 289 + Name: cuisine, dtype: int64 + ``` + + Data ini kemas dan bersih, seimbang, dan sangat lazat! + +1. Langkah terakhir adalah menyimpan data yang seimbang, termasuk label dan ciri-ciri, ke dalam dataframe baru yang boleh dieksport ke dalam fail: + + ```python + transformed_df = pd.concat([transformed_label_df,transformed_feature_df],axis=1, join='outer') + ``` + +1. Anda boleh melihat data sekali lagi menggunakan `transformed_df.head()` and `transformed_df.info()`. Simpan salinan data ini untuk digunakan dalam pelajaran masa depan: + + ```python + transformed_df.head() + transformed_df.info() + transformed_df.to_csv("../data/cleaned_cuisines.csv") + ``` + + CSV baru ini kini boleh didapati di folder data akar. + +--- + +## 🚀Cabaran + +Kurikulum ini mengandungi beberapa set data yang menarik. Gali melalui folder `data` dan lihat jika ada yang mengandungi set data yang sesuai untuk klasifikasi binari atau berbilang kelas? Apakah soalan yang akan anda tanya tentang set data ini? + +## [Kuiz selepas ceramah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/20/) + +## Ulasan & Kajian Sendiri + +Teroka API SMOTE. Apakah kes penggunaan yang terbaik digunakan? Apakah masalah yang diselesaikannya? + +## Tugasan + +[Teroka kaedah klasifikasi](assignment.md) + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila maklum bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/4-Classification/1-Introduction/assignment.md b/translations/ms/4-Classification/1-Introduction/assignment.md new file mode 100644 index 000000000..b2e1a1865 --- /dev/null +++ b/translations/ms/4-Classification/1-Introduction/assignment.md @@ -0,0 +1,14 @@ +# Terokai kaedah pengelasan + +## Arahan + +Dalam [dokumentasi Scikit-learn](https://scikit-learn.org/stable/supervised_learning.html) anda akan menemui senarai panjang cara untuk mengelas data. Lakukan sedikit pencarian dalam dokumen ini: matlamat anda adalah untuk mencari kaedah pengelasan dan padankan dengan dataset dalam kurikulum ini, soalan yang boleh anda tanyakan mengenainya, dan teknik pengelasan. Buat spreadsheet atau jadual dalam fail .doc dan terangkan bagaimana dataset tersebut akan berfungsi dengan algoritma pengelasan. + +## Rubrik + +| Kriteria | Cemerlang | Memadai | Perlu Penambahbaikan | +| -------- | ----------------------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------- | +| | dokumen disampaikan yang mengandungi 5 algoritma bersama teknik pengelasan. Gambaran keseluruhan dijelaskan dengan baik dan terperinci. | dokumen disampaikan yang mengandungi 3 algoritma bersama teknik pengelasan. Gambaran keseluruhan dijelaskan dengan baik dan terperinci. | dokumen disampaikan yang mengandungi kurang daripada tiga algoritma bersama teknik pengelasan dan gambaran keseluruhan tidak dijelaskan dengan baik atau terperinci. | + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila maklum bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/4-Classification/1-Introduction/solution/Julia/README.md b/translations/ms/4-Classification/1-Introduction/solution/Julia/README.md new file mode 100644 index 000000000..84c037866 --- /dev/null +++ b/translations/ms/4-Classification/1-Introduction/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila maklum bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/4-Classification/2-Classifiers-1/README.md b/translations/ms/4-Classification/2-Classifiers-1/README.md new file mode 100644 index 000000000..52e9a2593 --- /dev/null +++ b/translations/ms/4-Classification/2-Classifiers-1/README.md @@ -0,0 +1,77 @@ +# Pengelasan Masakan 1 + +Dalam pelajaran ini, anda akan menggunakan dataset yang anda simpan dari pelajaran terakhir yang penuh dengan data seimbang dan bersih tentang masakan. + +Anda akan menggunakan dataset ini dengan pelbagai pengelas untuk _meramal jenis masakan kebangsaan berdasarkan sekumpulan bahan_. Semasa melakukannya, anda akan mempelajari lebih lanjut tentang beberapa cara algoritma boleh digunakan untuk tugas pengelasan. + +## [Kuiz pra-kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/21/) +# Persiapan + +Dengan anggapan anda telah menyelesaikan [Pelajaran 1](../1-Introduction/README.md), pastikan fail _cleaned_cuisines.csv_ wujud di folder root `/data` untuk empat pelajaran ini. + +## Latihan - ramalkan masakan kebangsaan + +1. Bekerja dalam folder _notebook.ipynb_ pelajaran ini, import fail tersebut bersama dengan perpustakaan Pandas: + + ```python + import pandas as pd + cuisines_df = pd.read_csv("../data/cleaned_cuisines.csv") + cuisines_df.head() + ``` + + Data kelihatan seperti ini: + +| | Unnamed: 0 | cuisine | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | +| --- | ---------- | ------- | ------ | -------- | ----- | ---------- | ----- | ------------ | ------- | -------- | --- | ------- | ----------- | ---------- | ----------------------- | ---- | ---- | --- | ----- | ------ | -------- | +| 0 | 0 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 1 | 1 | indian | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 2 | 2 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 3 | 3 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 4 | 4 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | + + +1. Sekarang, import beberapa lagi perpustakaan: + + ```python + from sklearn.linear_model import LogisticRegression + from sklearn.model_selection import train_test_split, cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report, precision_recall_curve + from sklearn.svm import SVC + import numpy as np + ``` + +1. Bahagikan koordinat X dan y kepada dua dataframe untuk latihan. `cuisine` boleh menjadi dataframe label: + + ```python + cuisines_label_df = cuisines_df['cuisine'] + cuisines_label_df.head() + ``` + + Ia akan kelihatan seperti ini: + + ```output + 0 indian + 1 indian + 2 indian + 3 indian + 4 indian + Name: cuisine, dtype: object + ``` + +1. Hapuskan `Unnamed: 0` column and the `cuisine` column, calling `drop()`. Simpan baki data sebagai ciri-ciri yang boleh dilatih: + + ```python + cuisines_feature_df = cuisines_df.drop(['Unnamed: 0', 'cuisine'], axis=1) + cuisines_feature_df.head() + ``` + + Ciri-ciri anda kelihatan seperti ini: + +| | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | artemisia | artichoke | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | +| ---: | -----: | -------: | ----: | ---------: | ----: | -----------: | ------: | -------: | --------: | --------: | ---: | ------: | ----------: | ---------: | ----------------------: | ---: | ---: | ---: | ----: | -----: | -------: | +| 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 1 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 2 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/4-Classification/2-Classifiers-1/assignment.md b/translations/ms/4-Classification/2-Classifiers-1/assignment.md new file mode 100644 index 000000000..a6b896b64 --- /dev/null +++ b/translations/ms/4-Classification/2-Classifiers-1/assignment.md @@ -0,0 +1,12 @@ +# Mengkaji Penyelesai +## Arahan + +Dalam pelajaran ini, anda telah mempelajari tentang pelbagai penyelesai yang memadankan algoritma dengan proses pembelajaran mesin untuk mencipta model yang tepat. Telusuri penyelesai yang disenaraikan dalam pelajaran dan pilih dua. Dengan kata-kata anda sendiri, bandingkan dan bezakan dua penyelesai ini. Jenis masalah apa yang mereka selesaikan? Bagaimana mereka bekerja dengan pelbagai struktur data? Mengapa anda akan memilih satu berbanding yang lain? +## Rubrik + +| Kriteria | Cemerlang | Memadai | Perlu Peningkatan | +| -------- | ---------------------------------------------------------------------------------------------- | ------------------------------------------------ | ---------------------------- | +| | Fail .doc disampaikan dengan dua perenggan, satu untuk setiap penyelesai, membandingkan mereka dengan teliti. | Fail .doc disampaikan dengan hanya satu perenggan | Tugasan tidak lengkap | + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat penting, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/4-Classification/2-Classifiers-1/solution/Julia/README.md b/translations/ms/4-Classification/2-Classifiers-1/solution/Julia/README.md new file mode 100644 index 000000000..4173b3b96 --- /dev/null +++ b/translations/ms/4-Classification/2-Classifiers-1/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/4-Classification/3-Classifiers-2/README.md b/translations/ms/4-Classification/3-Classifiers-2/README.md new file mode 100644 index 000000000..c6124bb51 --- /dev/null +++ b/translations/ms/4-Classification/3-Classifiers-2/README.md @@ -0,0 +1,238 @@ +# Pengelasan Masakan 2 + +Dalam pelajaran pengelasan kedua ini, anda akan meneroka lebih banyak cara untuk mengelaskan data numerik. Anda juga akan belajar tentang kesan memilih satu pengelas berbanding yang lain. + +## [Kuiz Pra-Kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/23/) + +### Prasyarat + +Kami menganggap bahawa anda telah menyelesaikan pelajaran sebelumnya dan mempunyai dataset yang dibersihkan dalam folder `data` anda yang dinamakan _cleaned_cuisines.csv_ di akar folder 4-pelajaran ini. + +### Persiapan + +Kami telah memuatkan fail _notebook.ipynb_ anda dengan dataset yang dibersihkan dan telah membahagikannya kepada dataframe X dan y, siap untuk proses pembinaan model. + +## Peta pengelasan + +Sebelumnya, anda telah belajar tentang pelbagai pilihan yang anda miliki ketika mengelaskan data menggunakan helaian cheat Microsoft. Scikit-learn menawarkan helaian cheat yang serupa tetapi lebih terperinci yang dapat membantu mempersempit pemilihan penganggar anda (istilah lain untuk pengelas): + + +> Tip: [kunjungi peta ini secara online](https://scikit-learn.org/stable/tutorial/machine_learning_map/) dan klik sepanjang jalan untuk membaca dokumentasi. + +### Pelan + +Peta ini sangat membantu apabila anda mempunyai pemahaman yang jelas tentang data anda, kerana anda boleh 'berjalan' sepanjang jalannya untuk membuat keputusan: + +- Kami mempunyai >50 sampel +- Kami ingin meramalkan kategori +- Kami mempunyai data yang berlabel +- Kami mempunyai kurang dari 100K sampel +- ✨ Kami boleh memilih Linear SVC +- Jika itu tidak berfungsi, kerana kami mempunyai data numerik + - Kami boleh mencuba ✨ KNeighbors Classifier + - Jika itu tidak berfungsi, cuba ✨ SVC dan ✨ Ensemble Classifiers + +Ini adalah jalan yang sangat membantu untuk diikuti. + +## Latihan - bahagikan data + +Mengikuti jalan ini, kita harus memulakan dengan mengimport beberapa perpustakaan untuk digunakan. + +1. Import perpustakaan yang diperlukan: + + ```python + from sklearn.neighbors import KNeighborsClassifier + from sklearn.linear_model import LogisticRegression + from sklearn.svm import SVC + from sklearn.ensemble import RandomForestClassifier, AdaBoostClassifier + from sklearn.model_selection import train_test_split, cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report, precision_recall_curve + import numpy as np + ``` + +1. Bahagikan data latihan dan ujian anda: + + ```python + X_train, X_test, y_train, y_test = train_test_split(cuisines_feature_df, cuisines_label_df, test_size=0.3) + ``` + +## Pengelas Linear SVC + +Support-Vector clustering (SVC) adalah sebahagian daripada keluarga teknik ML Support-Vector machines (pelajari lebih lanjut mengenai ini di bawah). Dalam kaedah ini, anda boleh memilih 'kernel' untuk menentukan bagaimana mengelompokkan label. Parameter 'C' merujuk kepada 'regularization' yang mengatur pengaruh parameter. Kernel boleh menjadi salah satu dari [beberapa](https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html#sklearn.svm.SVC); di sini kita menetapkannya kepada 'linear' untuk memastikan kita memanfaatkan linear SVC. Kebarangkalian secara default adalah 'false'; di sini kita menetapkannya kepada 'true' untuk mengumpulkan anggaran kebarangkalian. Kami menetapkan keadaan rawak kepada '0' untuk mengocok data untuk mendapatkan kebarangkalian. + +### Latihan - gunakan linear SVC + +Mulakan dengan mencipta array pengelas. Anda akan menambah secara progresif ke dalam array ini semasa kita menguji. + +1. Mulakan dengan Linear SVC: + + ```python + C = 10 + # Create different classifiers. + classifiers = { + 'Linear SVC': SVC(kernel='linear', C=C, probability=True,random_state=0) + } + ``` + +2. Latih model anda menggunakan Linear SVC dan cetak laporan: + + ```python + n_classifiers = len(classifiers) + + for index, (name, classifier) in enumerate(classifiers.items()): + classifier.fit(X_train, np.ravel(y_train)) + + y_pred = classifier.predict(X_test) + accuracy = accuracy_score(y_test, y_pred) + print("Accuracy (train) for %s: %0.1f%% " % (name, accuracy * 100)) + print(classification_report(y_test,y_pred)) + ``` + + Hasilnya agak baik: + + ```output + Accuracy (train) for Linear SVC: 78.6% + precision recall f1-score support + + chinese 0.71 0.67 0.69 242 + indian 0.88 0.86 0.87 234 + japanese 0.79 0.74 0.76 254 + korean 0.85 0.81 0.83 242 + thai 0.71 0.86 0.78 227 + + accuracy 0.79 1199 + macro avg 0.79 0.79 0.79 1199 + weighted avg 0.79 0.79 0.79 1199 + ``` + +## Pengelas K-Neighbors + +K-Neighbors adalah sebahagian daripada keluarga kaedah ML "neighbors", yang boleh digunakan untuk pembelajaran yang diselia dan tidak diselia. Dalam kaedah ini, sejumlah titik yang telah ditetapkan dibuat dan data dikumpulkan di sekitar titik-titik ini supaya label yang digeneralisasi dapat diramalkan untuk data tersebut. + +### Latihan - gunakan pengelas K-Neighbors + +Pengelas sebelumnya bagus, dan berfungsi dengan baik dengan data, tetapi mungkin kita boleh mendapatkan ketepatan yang lebih baik. Cuba pengelas K-Neighbors. + +1. Tambahkan satu baris ke array pengelas anda (tambahkan koma selepas item Linear SVC): + + ```python + 'KNN classifier': KNeighborsClassifier(C), + ``` + + Hasilnya sedikit lebih buruk: + + ```output + Accuracy (train) for KNN classifier: 73.8% + precision recall f1-score support + + chinese 0.64 0.67 0.66 242 + indian 0.86 0.78 0.82 234 + japanese 0.66 0.83 0.74 254 + korean 0.94 0.58 0.72 242 + thai 0.71 0.82 0.76 227 + + accuracy 0.74 1199 + macro avg 0.76 0.74 0.74 1199 + weighted avg 0.76 0.74 0.74 1199 + ``` + + ✅ Pelajari tentang [K-Neighbors](https://scikit-learn.org/stable/modules/neighbors.html#neighbors) + +## Pengelas Support Vector + +Pengelas Support-Vector adalah sebahagian daripada keluarga [Support-Vector Machine](https://wikipedia.org/wiki/Support-vector_machine) kaedah ML yang digunakan untuk tugas pengelasan dan regresi. SVMs "memetakan contoh latihan kepada titik di ruang" untuk memaksimumkan jarak antara dua kategori. Data seterusnya dipetakan ke dalam ruang ini supaya kategori mereka dapat diramalkan. + +### Latihan - gunakan pengelas Support Vector + +Mari cuba mendapatkan ketepatan yang sedikit lebih baik dengan pengelas Support Vector. + +1. Tambahkan koma selepas item K-Neighbors, dan kemudian tambahkan baris ini: + + ```python + 'SVC': SVC(), + ``` + + Hasilnya sangat baik! + + ```output + Accuracy (train) for SVC: 83.2% + precision recall f1-score support + + chinese 0.79 0.74 0.76 242 + indian 0.88 0.90 0.89 234 + japanese 0.87 0.81 0.84 254 + korean 0.91 0.82 0.86 242 + thai 0.74 0.90 0.81 227 + + accuracy 0.83 1199 + macro avg 0.84 0.83 0.83 1199 + weighted avg 0.84 0.83 0.83 1199 + ``` + + ✅ Pelajari tentang [Support-Vectors](https://scikit-learn.org/stable/modules/svm.html#svm) + +## Pengelas Ensemble + +Mari ikuti jalan ini hingga ke akhir, walaupun ujian sebelumnya cukup baik. Mari cuba beberapa 'Pengelas Ensemble', khususnya Random Forest dan AdaBoost: + +```python + 'RFST': RandomForestClassifier(n_estimators=100), + 'ADA': AdaBoostClassifier(n_estimators=100) +``` + +Hasilnya sangat baik, terutama untuk Random Forest: + +```output +Accuracy (train) for RFST: 84.5% + precision recall f1-score support + + chinese 0.80 0.77 0.78 242 + indian 0.89 0.92 0.90 234 + japanese 0.86 0.84 0.85 254 + korean 0.88 0.83 0.85 242 + thai 0.80 0.87 0.83 227 + + accuracy 0.84 1199 + macro avg 0.85 0.85 0.84 1199 +weighted avg 0.85 0.84 0.84 1199 + +Accuracy (train) for ADA: 72.4% + precision recall f1-score support + + chinese 0.64 0.49 0.56 242 + indian 0.91 0.83 0.87 234 + japanese 0.68 0.69 0.69 254 + korean 0.73 0.79 0.76 242 + thai 0.67 0.83 0.74 227 + + accuracy 0.72 1199 + macro avg 0.73 0.73 0.72 1199 +weighted avg 0.73 0.72 0.72 1199 +``` + +✅ Pelajari tentang [Pengelas Ensemble](https://scikit-learn.org/stable/modules/ensemble.html) + +Kaedah Pembelajaran Mesin ini "menggabungkan ramalan beberapa penganggar asas" untuk meningkatkan kualiti model. Dalam contoh kita, kita menggunakan Random Trees dan AdaBoost. + +- [Random Forest](https://scikit-learn.org/stable/modules/ensemble.html#forest), kaedah purata, membina 'hutan' 'pokok keputusan' yang disuntik dengan kebetulan untuk mengelakkan overfitting. Parameter n_estimators ditetapkan kepada jumlah pokok. + +- [AdaBoost](https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.AdaBoostClassifier.html) memadankan pengelas ke dataset dan kemudian memadankan salinan pengelas tersebut ke dataset yang sama. Ia memberi tumpuan kepada berat item yang salah dikelaskan dan menyesuaikan padanan untuk pengelas seterusnya untuk membetulkan. + +--- + +## 🚀Cabaran + +Setiap teknik ini mempunyai sejumlah besar parameter yang boleh anda ubah. Kajilah parameter default masing-masing dan fikirkan apa yang akan berlaku jika parameter ini diubah untuk kualiti model. + +## [Kuiz Pasca-Kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/24/) + +## Ulasan & Kajian Sendiri + +Terdapat banyak jargon dalam pelajaran ini, jadi luangkan masa sebentar untuk menyemak [senarai ini](https://docs.microsoft.com/dotnet/machine-learning/resources/glossary?WT.mc_id=academic-77952-leestott) istilah yang berguna! + +## Tugasan + +[Parameter play](assignment.md) + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/4-Classification/3-Classifiers-2/assignment.md b/translations/ms/4-Classification/3-Classifiers-2/assignment.md new file mode 100644 index 000000000..df9f3892b --- /dev/null +++ b/translations/ms/4-Classification/3-Classifiers-2/assignment.md @@ -0,0 +1,14 @@ +# Parameter Play + +## Arahan + +Terdapat banyak parameter yang ditetapkan secara default apabila bekerja dengan pengklasifikasi ini. Intellisense dalam VS Code boleh membantu anda menggali ke dalamnya. Gunakan salah satu Teknik Pengelasan ML dalam pelajaran ini dan latih semula model dengan menyesuaikan pelbagai nilai parameter. Bina sebuah notebook yang menerangkan mengapa beberapa perubahan membantu kualiti model sementara yang lain merosakkannya. Berikan jawapan anda dengan terperinci. + +## Rubrik + +| Kriteria | Cemerlang | Memadai | Perlu Penambahbaikan | +| -------- | ---------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------- | ----------------------------- | +| | Sebuah notebook dipersembahkan dengan pengklasifikasi yang dibina sepenuhnya dan parameternya disesuaikan serta perubahan dijelaskan dalam kotak teks | Sebuah notebook dipersembahkan sebahagian atau dijelaskan dengan lemah | Sebuah notebook yang bermasalah atau cacat | + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesalahan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/4-Classification/3-Classifiers-2/solution/Julia/README.md b/translations/ms/4-Classification/3-Classifiers-2/solution/Julia/README.md new file mode 100644 index 000000000..e1021ce8f --- /dev/null +++ b/translations/ms/4-Classification/3-Classifiers-2/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/4-Classification/4-Applied/README.md b/translations/ms/4-Classification/4-Applied/README.md new file mode 100644 index 000000000..eba4217ce --- /dev/null +++ b/translations/ms/4-Classification/4-Applied/README.md @@ -0,0 +1,317 @@ +# Bina Aplikasi Web Pencadang Masakan + +Dalam pelajaran ini, anda akan membina model klasifikasi menggunakan beberapa teknik yang telah anda pelajari dalam pelajaran sebelumnya dan dengan dataset masakan yang lazat yang digunakan sepanjang siri ini. Selain itu, anda akan membina aplikasi web kecil untuk menggunakan model yang disimpan, memanfaatkan runtime web Onnx. + +Salah satu kegunaan praktikal pembelajaran mesin yang paling berguna adalah membina sistem cadangan, dan anda boleh mengambil langkah pertama ke arah itu hari ini! + +[](https://youtu.be/17wdM9AHMfg "Applied ML") + +> 🎥 Klik gambar di atas untuk video: Jen Looper membina aplikasi web menggunakan data masakan yang diklasifikasikan + +## [Kuiz pra-kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/25/) + +Dalam pelajaran ini, anda akan belajar: + +- Cara membina model dan menyimpannya sebagai model Onnx +- Cara menggunakan Netron untuk memeriksa model +- Cara menggunakan model anda dalam aplikasi web untuk inferens + +## Bina model anda + +Membina sistem ML yang diterapkan adalah bahagian penting dalam memanfaatkan teknologi ini untuk sistem perniagaan anda. Anda boleh menggunakan model dalam aplikasi web anda (dan dengan itu menggunakannya dalam konteks luar talian jika diperlukan) dengan menggunakan Onnx. + +Dalam [pelajaran sebelumnya](../../3-Web-App/1-Web-App/README.md), anda telah membina model Regresi tentang penampakan UFO, "dipickle" dan menggunakannya dalam aplikasi Flask. Walaupun seni bina ini sangat berguna untuk diketahui, ia adalah aplikasi Python full-stack, dan keperluan anda mungkin termasuk penggunaan aplikasi JavaScript. + +Dalam pelajaran ini, anda boleh membina sistem asas berasaskan JavaScript untuk inferens. Pertama, bagaimanapun, anda perlu melatih model dan menukarnya untuk digunakan dengan Onnx. + +## Latihan - latih model klasifikasi + +Pertama, latih model klasifikasi menggunakan dataset masakan yang telah dibersihkan yang kita gunakan. + +1. Mulakan dengan mengimport perpustakaan yang berguna: + + ```python + !pip install skl2onnx + import pandas as pd + ``` + + Anda memerlukan '[skl2onnx](https://onnx.ai/sklearn-onnx/)' untuk membantu menukar model Scikit-learn anda kepada format Onnx. + +1. Kemudian, bekerja dengan data anda dengan cara yang sama seperti yang anda lakukan dalam pelajaran sebelumnya, dengan membaca fail CSV menggunakan `read_csv()`: + + ```python + data = pd.read_csv('../data/cleaned_cuisines.csv') + data.head() + ``` + +1. Keluarkan dua lajur pertama yang tidak diperlukan dan simpan data yang tinggal sebagai 'X': + + ```python + X = data.iloc[:,2:] + X.head() + ``` + +1. Simpan label sebagai 'y': + + ```python + y = data[['cuisine']] + y.head() + + ``` + +### Mulakan rutin latihan + +Kami akan menggunakan perpustakaan 'SVC' yang mempunyai ketepatan yang baik. + +1. Import perpustakaan yang sesuai dari Scikit-learn: + + ```python + from sklearn.model_selection import train_test_split + from sklearn.svm import SVC + from sklearn.model_selection import cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report + ``` + +1. Pisahkan set latihan dan ujian: + + ```python + X_train, X_test, y_train, y_test = train_test_split(X,y,test_size=0.3) + ``` + +1. Bina model Klasifikasi SVC seperti yang anda lakukan dalam pelajaran sebelumnya: + + ```python + model = SVC(kernel='linear', C=10, probability=True,random_state=0) + model.fit(X_train,y_train.values.ravel()) + ``` + +1. Sekarang, uji model anda, memanggil `predict()`: + + ```python + y_pred = model.predict(X_test) + ``` + +1. Cetak laporan klasifikasi untuk memeriksa kualiti model: + + ```python + print(classification_report(y_test,y_pred)) + ``` + + Seperti yang kita lihat sebelum ini, ketepatan adalah baik: + + ```output + precision recall f1-score support + + chinese 0.72 0.69 0.70 257 + indian 0.91 0.87 0.89 243 + japanese 0.79 0.77 0.78 239 + korean 0.83 0.79 0.81 236 + thai 0.72 0.84 0.78 224 + + accuracy 0.79 1199 + macro avg 0.79 0.79 0.79 1199 + weighted avg 0.79 0.79 0.79 1199 + ``` + +### Tukar model anda kepada Onnx + +Pastikan untuk melakukan penukaran dengan nombor Tensor yang betul. Dataset ini mempunyai 380 bahan yang disenaraikan, jadi anda perlu mencatatkan nombor itu dalam `FloatTensorType`: + +1. Tukar menggunakan nombor tensor 380. + + ```python + from skl2onnx import convert_sklearn + from skl2onnx.common.data_types import FloatTensorType + + initial_type = [('float_input', FloatTensorType([None, 380]))] + options = {id(model): {'nocl': True, 'zipmap': False}} + ``` + +1. Buat onx dan simpan sebagai fail **model.onnx**: + + ```python + onx = convert_sklearn(model, initial_types=initial_type, options=options) + with open("./model.onnx", "wb") as f: + f.write(onx.SerializeToString()) + ``` + + > Perhatikan, anda boleh memasukkan [pilihan](https://onnx.ai/sklearn-onnx/parameterized.html) dalam skrip penukaran anda. Dalam kes ini, kami memasukkan 'nocl' untuk menjadi Benar dan 'zipmap' untuk menjadi Palsu. Oleh kerana ini adalah model klasifikasi, anda mempunyai pilihan untuk mengeluarkan ZipMap yang menghasilkan senarai kamus (tidak diperlukan). `nocl` refers to class information being included in the model. Reduce your model's size by setting `nocl` to 'True'. + +Running the entire notebook will now build an Onnx model and save it to this folder. + +## View your model + +Onnx models are not very visible in Visual Studio code, but there's a very good free software that many researchers use to visualize the model to ensure that it is properly built. Download [Netron](https://github.com/lutzroeder/Netron) and open your model.onnx file. You can see your simple model visualized, with its 380 inputs and classifier listed: + + + +Netron is a helpful tool to view your models. + +Now you are ready to use this neat model in a web app. Let's build an app that will come in handy when you look in your refrigerator and try to figure out which combination of your leftover ingredients you can use to cook a given cuisine, as determined by your model. + +## Build a recommender web application + +You can use your model directly in a web app. This architecture also allows you to run it locally and even offline if needed. Start by creating an `index.html` file in the same folder where you stored your `model.onnx` fail. + +1. Dalam fail ini _index.html_, tambahkan markup berikut: + + ```html + + + + + + ... + + + ``` + +1. Sekarang, bekerja dalam tag `body`, tambahkan sedikit markup untuk menunjukkan senarai kotak semak yang mencerminkan beberapa bahan: + + ```html +Cuisine Matcher +Check your refrigerator. What can you create?
++++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + +++ ++ ``` + + Perhatikan bahawa setiap kotak semak diberi nilai. Ini mencerminkan indeks di mana bahan itu ditemui mengikut dataset. Epal, sebagai contoh, dalam senarai abjad ini, menduduki lajur kelima, jadi nilainya adalah '4' kerana kita mula mengira pada 0. Anda boleh merujuk kepada [lembaran ramuan](../../../../4-Classification/data/ingredient_indexes.csv) untuk mengetahui indeks bahan tertentu. + + Meneruskan kerja anda dalam fail index.html, tambahkan blok skrip di mana model dipanggil selepas penutupan akhir ``. + +1. Pertama, import [Onnx Runtime](https://www.onnxruntime.ai/): + + ```html + + ``` + + > Onnx Runtime digunakan untuk membolehkan menjalankan model Onnx anda di pelbagai platform perkakasan, termasuk pengoptimuman dan API untuk digunakan. + +1. Setelah Runtime ada, anda boleh memanggilnya: + + ```html + + ``` + +Dalam kod ini, terdapat beberapa perkara yang berlaku: + +1. Anda mencipta array 380 nilai yang mungkin (1 atau 0) untuk ditetapkan dan dihantar ke model untuk inferens, bergantung pada sama ada kotak semak bahan dicentang. +2. Anda mencipta array kotak semak dan cara untuk menentukan sama ada mereka dicentang dalam `init` function that is called when the application starts. When a checkbox is checked, the `ingredients` array is altered to reflect the chosen ingredient. +3. You created a `testCheckboxes` function that checks whether any checkbox was checked. +4. You use `startInference` function when the button is pressed and, if any checkbox is checked, you start inference. +5. The inference routine includes: + 1. Setting up an asynchronous load of the model + 2. Creating a Tensor structure to send to the model + 3. Creating 'feeds' that reflects the `float_input` input that you created when training your model (you can use Netron to verify that name) + 4. Sending these 'feeds' to the model and waiting for a response + +## Test your application + +Open a terminal session in Visual Studio Code in the folder where your index.html file resides. Ensure that you have [http-server](https://www.npmjs.com/package/http-server) installed globally, and type `http-server` pada arahan. Sebuah localhost harus dibuka dan anda boleh melihat aplikasi web anda. Periksa apa masakan yang disarankan berdasarkan pelbagai bahan: + + + +Tahniah, anda telah mencipta aplikasi web 'cadangan' dengan beberapa medan. Luangkan sedikit masa untuk membina sistem ini! +## 🚀Cabaran + +Aplikasi web anda sangat minimal, jadi teruskan membina dengan menggunakan bahan dan indeks mereka dari data [ingredient_indexes](../../../../4-Classification/data/ingredient_indexes.csv). Kombinasi rasa apa yang berfungsi untuk mencipta hidangan kebangsaan tertentu? + +## [Kuiz pasca-kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/26/) + +## Ulasan & Kajian Kendiri + +Walaupun pelajaran ini hanya menyentuh tentang kegunaan mencipta sistem cadangan untuk bahan makanan, kawasan aplikasi ML ini sangat kaya dengan contoh. Baca lebih lanjut tentang bagaimana sistem ini dibina: + +- https://www.sciencedirect.com/topics/computer-science/recommendation-engine +- https://www.technologyreview.com/2014/08/25/171547/the-ultimate-challenge-for-recommendation-engines/ +- https://www.technologyreview.com/2015/03/23/168831/everything-is-a-recommendation/ + +## Tugasan + +[Bina cadangan baru](assignment.md) + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila maklum bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber berwibawa. Untuk maklumat penting, terjemahan manusia profesional disarankan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/4-Classification/4-Applied/assignment.md b/translations/ms/4-Classification/4-Applied/assignment.md new file mode 100644 index 000000000..817913550 --- /dev/null +++ b/translations/ms/4-Classification/4-Applied/assignment.md @@ -0,0 +1,14 @@ +# Bina Pencadang + +## Arahan + +Berdasarkan latihan dalam pelajaran ini, anda kini tahu cara membina aplikasi web berasaskan JavaScript menggunakan Onnx Runtime dan model Onnx yang ditukar. Cuba bina pencadang baru menggunakan data dari pelajaran ini atau sumber lain (sila berikan kredit). Anda mungkin mencipta pencadang haiwan peliharaan berdasarkan pelbagai atribut personaliti, atau pencadang genre muzik berdasarkan mood seseorang. Jadilah kreatif! + +## Rubrik + +| Kriteria | Cemerlang | Memadai | Perlu Penambahbaikan | +| -------- | --------------------------------------------------------------------- | ------------------------------------- | --------------------------------- | +| | Aplikasi web dan buku nota disediakan, kedua-duanya didokumentasikan dengan baik dan berfungsi | Salah satu daripadanya hilang atau mempunyai kelemahan | Kedua-duanya sama ada hilang atau mempunyai kelemahan | + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila maklum bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab ke atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/4-Classification/README.md b/translations/ms/4-Classification/README.md new file mode 100644 index 000000000..1e73e7b93 --- /dev/null +++ b/translations/ms/4-Classification/README.md @@ -0,0 +1,30 @@ +# Memulakan dengan klasifikasi + +## Topik serantau: Masakan Asia dan India yang Lazat 🍜 + +Di Asia dan India, tradisi makanan sangat pelbagai dan sangat lazat! Mari kita lihat data tentang masakan serantau untuk cuba memahami bahan-bahan mereka. + + +> Foto oleh Lisheng Chang di Unsplash + +## Apa yang anda akan pelajari + +Dalam bahagian ini, anda akan membina dari kajian awal anda tentang Regresi dan belajar tentang pengklasifikasi lain yang boleh anda gunakan untuk memahami data dengan lebih baik. + +> Terdapat alat low-code yang berguna yang boleh membantu anda belajar tentang bekerja dengan model klasifikasi. Cuba [Azure ML untuk tugas ini](https://docs.microsoft.com/learn/modules/create-classification-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott) + +## Pelajaran + +1. [Pengenalan kepada klasifikasi](1-Introduction/README.md) +2. [Lebih banyak pengklasifikasi](2-Classifiers-1/README.md) +3. [Pengklasifikasi lain](3-Classifiers-2/README.md) +4. [ML Terapan: bina aplikasi web](4-Applied/README.md) + +## Kredit + +"Memulakan dengan klasifikasi" ditulis dengan ♥️ oleh [Cassie Breviu](https://www.twitter.com/cassiebreviu) dan [Jen Looper](https://www.twitter.com/jenlooper) + +Dataset masakan lazat diperoleh dari [Kaggle](https://www.kaggle.com/hoandan/asian-and-indian-cuisines). + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab ke atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/5-Clustering/1-Visualize/README.md b/translations/ms/5-Clustering/1-Visualize/README.md new file mode 100644 index 000000000..7df181a74 --- /dev/null +++ b/translations/ms/5-Clustering/1-Visualize/README.md @@ -0,0 +1,218 @@ +# Pengenalan kepada pengelompokan + +Pegelompokan adalah sejenis [Pembelajaran Tanpa Pengawasan](https://wikipedia.org/wiki/Unsupervised_learning) yang menganggap bahawa satu set data tidak dilabel atau inputnya tidak dipadankan dengan output yang telah ditetapkan. Ia menggunakan pelbagai algoritma untuk menyusun data yang tidak dilabel dan menyediakan pengelompokan mengikut corak yang ditemui dalam data tersebut. + +[](https://youtu.be/ty2advRiWJM "No One Like You oleh PSquare") + +> 🎥 Klik gambar di atas untuk video. Semasa anda mempelajari pembelajaran mesin dengan pengelompokan, nikmati beberapa lagu Dance Hall Nigeria - ini adalah lagu yang sangat dihargai dari tahun 2014 oleh PSquare. +## [Kuiz sebelum kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/27/) +### Pengenalan + +[Pegelompokan](https://link.springer.com/referenceworkentry/10.1007%2F978-0-387-30164-8_124) sangat berguna untuk penerokaan data. Mari kita lihat jika ia dapat membantu menemui tren dan corak dalam cara penonton Nigeria menikmati muzik. + +✅ Luangkan masa sebentar untuk memikirkan kegunaan pengelompokan. Dalam kehidupan sebenar, pengelompokan berlaku setiap kali anda mempunyai timbunan pakaian dan perlu menyusun pakaian ahli keluarga anda 🧦👕👖🩲. Dalam sains data, pengelompokan berlaku apabila cuba menganalisis pilihan pengguna, atau menentukan ciri-ciri mana-mana set data yang tidak dilabel. Pengelompokan, dalam cara tertentu, membantu memahami kekacauan, seperti laci stokin. + +[](https://youtu.be/esmzYhuFnds "Pengenalan kepada Pengelompokan") + +> 🎥 Klik gambar di atas untuk video: John Guttag dari MIT memperkenalkan pengelompokan + +Dalam suasana profesional, pengelompokan boleh digunakan untuk menentukan perkara seperti segmentasi pasaran, menentukan kumpulan umur yang membeli barangan tertentu, sebagai contoh. Kegunaan lain mungkin adalah pengesanan anomali, mungkin untuk mengesan penipuan daripada set data transaksi kad kredit. Atau anda mungkin menggunakan pengelompokan untuk menentukan tumor dalam sekumpulan imbasan perubatan. + +✅ Fikir sebentar tentang bagaimana anda mungkin pernah menemui pengelompokan 'di alam liar', dalam perbankan, e-dagang, atau perniagaan. + +> 🎓 Menariknya, analisis pengelompokan berasal dari bidang Antropologi dan Psikologi pada tahun 1930-an. Bolehkah anda bayangkan bagaimana ia mungkin digunakan? + +Sebagai alternatif, anda boleh menggunakannya untuk mengelompokkan hasil carian - melalui pautan membeli-belah, imej, atau ulasan, sebagai contoh. Pengelompokan berguna apabila anda mempunyai set data yang besar yang anda ingin kurangkan dan di mana anda ingin melakukan analisis yang lebih terperinci, jadi teknik ini boleh digunakan untuk mempelajari tentang data sebelum model lain dibina. + +✅ Setelah data anda disusun dalam kelompok, anda memberikan Id kelompok kepadanya, dan teknik ini boleh berguna apabila mengekalkan privasi set data; anda boleh merujuk kepada titik data dengan id kelompoknya, dan bukannya dengan data yang lebih mendedahkan. Bolehkah anda memikirkan sebab-sebab lain mengapa anda akan merujuk kepada Id kelompok dan bukannya elemen lain dalam kelompok untuk mengenalpastinya? + +Mendalami pemahaman anda tentang teknik pengelompokan dalam [modul Pembelajaran](https://docs.microsoft.com/learn/modules/train-evaluate-cluster-models?WT.mc_id=academic-77952-leestott) ini. +## Bermula dengan pengelompokan + +[Scikit-learn menawarkan pelbagai kaedah](https://scikit-learn.org/stable/modules/clustering.html) untuk melaksanakan pengelompokan. Jenis yang anda pilih akan bergantung pada kes penggunaan anda. Menurut dokumentasi, setiap kaedah mempunyai pelbagai manfaat. Berikut adalah jadual ringkas kaedah yang disokong oleh Scikit-learn dan kes penggunaan yang sesuai: + +| Nama kaedah | Kes penggunaan | +| :--------------------------- | :--------------------------------------------------------------------- | +| K-Means | tujuan umum, induktif | +| Penyebaran afiniti | banyak, kelompok tidak sekata, induktif | +| Mean-shift | banyak, kelompok tidak sekata, induktif | +| Pengelompokan spektral | beberapa, kelompok sekata, transduktif | +| Pengelompokan hierarki Ward | banyak, kelompok terhad, transduktif | +| Pengelompokan aglomeratif | banyak, terhad, jarak bukan Euclidean, transduktif | +| DBSCAN | geometri bukan rata, kelompok tidak sekata, transduktif | +| OPTICS | geometri bukan rata, kelompok tidak sekata dengan ketumpatan berubah, transduktif | +| Campuran Gaussian | geometri rata, induktif | +| BIRCH | set data besar dengan outlier, induktif | + +> 🎓 Bagaimana kita mencipta kelompok banyak bergantung pada bagaimana kita mengumpulkan titik data ke dalam kumpulan. Mari kita huraikan beberapa istilah: +> +> 🎓 ['Transduktif' vs. 'induktif'](https://wikipedia.org/wiki/Transduction_(machine_learning)) +> +> Inferens transduktif diperoleh daripada kes latihan yang diperhatikan yang memetakan kepada kes ujian tertentu. Inferens induktif diperoleh daripada kes latihan yang memetakan kepada peraturan umum yang hanya kemudian digunakan pada kes ujian. +> +> Contoh: Bayangkan anda mempunyai set data yang hanya dilabel sebahagiannya. Beberapa perkara adalah 'rekod', beberapa 'cd', dan beberapa kosong. Tugas anda adalah menyediakan label untuk yang kosong. Jika anda memilih pendekatan induktif, anda akan melatih model yang mencari 'rekod' dan 'cd', dan menggunakan label tersebut pada data yang tidak dilabel. Pendekatan ini akan menghadapi kesukaran untuk mengklasifikasikan perkara yang sebenarnya 'kaset'. Pendekatan transduktif, sebaliknya, menangani data yang tidak diketahui ini dengan lebih berkesan kerana ia berusaha untuk mengelompokkan item yang serupa bersama-sama dan kemudian memberikan label kepada kumpulan. Dalam kes ini, kelompok mungkin mencerminkan 'perkara muzik bulat' dan 'perkara muzik segi empat'. +> +> 🎓 ['Geometri bukan rata' vs. 'rata'](https://datascience.stackexchange.com/questions/52260/terminology-flat-geometry-in-the-context-of-clustering) +> +> Berasal daripada istilah matematik, geometri bukan rata vs. rata merujuk kepada ukuran jarak antara titik dengan kaedah geometri 'rata' ([Euclidean](https://wikipedia.org/wiki/Euclidean_geometry)) atau 'bukan rata' (bukan Euclidean). +> +>'Rata' dalam konteks ini merujuk kepada geometri Euclidean (sebahagian daripadanya diajar sebagai geometri 'pesawat'), dan bukan rata merujuk kepada geometri bukan Euclidean. Apa kaitannya geometri dengan pembelajaran mesin? Nah, sebagai dua bidang yang berakar pada matematik, mesti ada cara umum untuk mengukur jarak antara titik dalam kelompok, dan itu boleh dilakukan dengan cara 'rata' atau 'bukan rata', bergantung pada sifat data. [Jarak Euclidean](https://wikipedia.org/wiki/Euclidean_distance) diukur sebagai panjang segmen garis antara dua titik. [Jarak bukan Euclidean](https://wikipedia.org/wiki/Non-Euclidean_geometry) diukur sepanjang lengkung. Jika data anda, divisualisasikan, kelihatan tidak wujud pada satah, anda mungkin perlu menggunakan algoritma khusus untuk menanganinya. +> + +> Infografik oleh [Dasani Madipalli](https://twitter.com/dasani_decoded) +> +> 🎓 ['Jarak'](https://web.stanford.edu/class/cs345a/slides/12-clustering.pdf) +> +> Kelompok ditakrifkan oleh matriks jaraknya, contohnya jarak antara titik. Jarak ini boleh diukur dalam beberapa cara. Kelompok Euclidean ditakrifkan oleh purata nilai titik, dan mengandungi 'centroid' atau titik pusat. Jarak diukur dengan jarak ke centroid tersebut. Jarak bukan Euclidean merujuk kepada 'clustroids', titik terdekat dengan titik lain. Clustroids seterusnya boleh ditakrifkan dalam pelbagai cara. +> +> 🎓 ['Terhad'](https://wikipedia.org/wiki/Constrained_clustering) +> +> [Pengelompokan Terhad](https://web.cs.ucdavis.edu/~davidson/Publications/ICDMTutorial.pdf) memperkenalkan pembelajaran 'semi-supervised' ke dalam kaedah tanpa pengawasan ini. Hubungan antara titik ditandakan sebagai 'tidak boleh paut' atau 'mesti paut' jadi beberapa peraturan dipaksa ke atas set data. +> +>Contoh: Jika algoritma dilepaskan pada sekumpulan data yang tidak dilabel atau separa dilabel, kelompok yang dihasilkan mungkin berkualiti rendah. Dalam contoh di atas, kelompok mungkin mengelompokkan 'perkara muzik bulat' dan 'perkara muzik segi empat' dan 'perkara segi tiga' dan 'biskut'. Jika diberikan beberapa kekangan, atau peraturan untuk diikuti ("item mesti diperbuat daripada plastik", "item perlu dapat menghasilkan muzik") ini boleh membantu 'mengekang' algoritma untuk membuat pilihan yang lebih baik. +> +> 🎓 'Ketumpatan' +> +> Data yang 'berisik' dianggap 'padat'. Jarak antara titik dalam setiap kelompoknya mungkin terbukti, apabila diperiksa, lebih atau kurang padat, atau 'sesak' dan oleh itu data ini perlu dianalisis dengan kaedah pengelompokan yang sesuai. [Artikel ini](https://www.kdnuggets.com/2020/02/understanding-density-based-clustering.html) menunjukkan perbezaan antara menggunakan pengelompokan K-Means vs. algoritma HDBSCAN untuk meneroka set data yang berisik dengan ketumpatan kelompok yang tidak sekata. + +## Algoritma pengelompokan + +Terdapat lebih 100 algoritma pengelompokan, dan penggunaannya bergantung pada sifat data yang ada. Mari kita bincangkan beberapa yang utama: + +- **Pengelompokan hierarki**. Jika objek diklasifikasikan mengikut jaraknya dengan objek berdekatan, dan bukan dengan yang lebih jauh, kelompok dibentuk berdasarkan jarak anggotanya dengan objek lain. Pengelompokan aglomeratif Scikit-learn adalah hierarki. + +  + > Infografik oleh [Dasani Madipalli](https://twitter.com/dasani_decoded) + +- **Pengelompokan centroid**. Algoritma popular ini memerlukan pilihan 'k', atau bilangan kelompok untuk dibentuk, selepas itu algoritma menentukan titik pusat kelompok dan mengumpulkan data di sekitar titik tersebut. [Pengelompokan K-means](https://wikipedia.org/wiki/K-means_clustering) adalah versi pengelompokan centroid yang popular. Pusatnya ditentukan oleh min terdekat, oleh itu namanya. Jarak kuasa dua dari kelompok diminimumkan. + +  + > Infografik oleh [Dasani Madipalli](https://twitter.com/dasani_decoded) + +- **Pengelompokan berasaskan pengedaran**. Berdasarkan pemodelan statistik, pengelompokan berasaskan pengedaran berpusat pada menentukan kebarangkalian bahawa titik data tergolong dalam kelompok, dan menugaskannya dengan sewajarnya. Kaedah campuran Gaussian tergolong dalam jenis ini. + +- **Pengelompokan berasaskan ketumpatan**. Titik data ditugaskan kepada kelompok berdasarkan ketumpatannya, atau pengelompokan di sekitar satu sama lain. Titik data yang jauh dari kumpulan dianggap sebagai outlier atau bunyi. DBSCAN, Mean-shift dan OPTICS tergolong dalam jenis pengelompokan ini. + +- **Pengelompokan berasaskan grid**. Untuk set data berbilang dimensi, grid dicipta dan data dibahagikan di antara sel grid, dengan itu mencipta kelompok. + +## Latihan - mengelompokkan data anda + +Pengelompokan sebagai teknik sangat dibantu oleh visualisasi yang betul, jadi mari kita mulakan dengan memvisualisasikan data muzik kita. Latihan ini akan membantu kita memutuskan kaedah pengelompokan yang paling berkesan untuk digunakan berdasarkan sifat data ini. + +1. Buka fail [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/1-Visualize/notebook.ipynb) dalam folder ini. + +1. Import pakej `Seaborn` untuk visualisasi data yang baik. + + ```python + !pip install seaborn + ``` + +1. Lampirkan data lagu dari [_nigerian-songs.csv_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/data/nigerian-songs.csv). Muatkan dataframe dengan beberapa data tentang lagu-lagu tersebut. Bersedia untuk meneroka data ini dengan mengimport perpustakaan dan mengeluarkan data: + + ```python + import matplotlib.pyplot as plt + import pandas as pd + + df = pd.read_csv("../data/nigerian-songs.csv") + df.head() + ``` + + Semak beberapa baris pertama data: + + | | nama | album | artis | genre_teratas_artis | tarikh_keluar | panjang | populariti | kebolehdansaan | keakustikan | tenaga | keinstrumentalan | kesegaran | kelantangan | keceritaan | tempo | tanda_waktu | + | --- | ------------------------ | ---------------------------- | ------------------- | ---------------- | ------------ | ------ | ---------- | ------------ | ------------ | ------ | ---------------- | -------- | -------- | ----------- | ------- | -------------- | + | 0 | Sparky | Mandy & The Jungle | Cruel Santino | r&b alternatif | 2019 | 144000 | 48 | 0.666 | 0.851 | 0.42 | 0.534 | 0.11 | -6.699 | 0.0829 | 133.015 | 5 | + | 1 | shuga rush | EVERYTHING YOU HEARD IS TRUE | Odunsi (The Engine) | afropop | 2020 | 89488 | 30 | 0.71 | 0.0822 | 0.683 | 0.000169 | 0.101 | -5.64 | 0.36 | 129.993 | 3 | + | 2 | LITT! | LITT! | AYLØ | indie r&b | 2018 | 207758 | 40 | 0.836 | 0.272 | 0.564 | 0.000537 | 0.11 | -7.127 | 0.0424 | 130.005 | 4 | + | 3 | Confident / Feeling Cool | Enjoy Your Life | Lady Donli | pop Nigeria | 2019 | 175135 | 14 | 0.894 | 0.798 | 0.611 | 0.000187 | 0.0964 | -4.961 | 0.113 | 111.087 | 4 | + | 4 | wanted you | rare. | Odunsi (The Engine) | afropop | 2018 | 152049 | 25 | 0.702 | 0.116 | 0.833 | 0.91 | 0.348 | -6.044 | 0.0447 | 105.115 | 4 | + +1. Dapatkan beberapa maklumat tentang dataframe, dengan memanggil `info()`: + + ```python + df.info() + ``` + + Outputnya kelihatan seperti ini: + + ```output ++ RangeIndex: 530 entries, 0 to 529 + Data columns (total 16 columns): + # Column Non-Null Count Dtype + --- ------ -------------- ----- + 0 name 530 non-null object + 1 album 530 non-null object + 2 artist 530 non-null object + 3 artist_top_genre 530 non-null object + 4 release_date 530 non-null int64 + 5 length 530 non-null int64 + 6 popularity 530 non-null int64 + 7 danceability 530 non-null float64 + 8 acousticness 530 non-null float64 + 9 energy 530 non-null float64 + 10 instrumentalness 530 non-null float64 + 11 liveness 530 non-null float64 + 12 loudness 530 non-null float64 + 13 speechiness 530 non-null float64 + 14 tempo 530 non-null float64 + 15 time_signature 530 non-null int64 + dtypes: float64(8), int64(4), object(4) + memory usage: 66.4+ KB + ``` + +1. Periksa semula untuk nilai null, dengan memanggil `isnull()` dan mengesahkan jumlahnya adalah 0: + + ```python + df.isnull().sum() + ``` + + Kelihatan baik: + + ```output + name 0 + album 0 + artist 0 + artist_top_genre 0 + release_date 0 + length 0 + popularity 0 + danceability 0 + acousticness 0 + energy 0 + instrumentalness 0 + liveness 0 + loudness 0 + speechiness 0 + tempo 0 + time_signature 0 + dtype: int64 + ``` + +1. Huraikan data: + + ```python + df.describe() + ``` + + | | tarikh_keluar | panjang | populariti | kebolehdansaan | keakustikan | tenaga | keinstrumentalan | kesegaran | kelantangan | keceritaan | tempo | tanda_waktu | + | ----- | ------------ | ----------- | ---------- | ------------ | ------------ | -------- | ---------------- | -------- | --------- | ----------- | ---------- | -------------- | + | count | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | + | mean | 2015.390566 | 222298.1698 | 17.507547 | 0.741619 | 0.265412 | 0.760623 | 0.016305 | 0.147308 | -4.953011 | 0.130748 | 116.487864 | 3.986792 | + | std | 3.131688 | 39696.82226 | 18.992212 | 0.117522 | 0.208342 | 0.148533 | 0.090321 | 0.123588 | 2.464186 | 0.092939 | 23.518601 | 0.333701 | + | min | 1998 | 89488 | 0 | 0.255 | 0.000665 | 0.111 | 0 | 0.0283 | -19.362 | 0.0278 | 61.695 | 3 | + | 25% +## [Kuiz selepas kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/28/) + +## Kajian & Pembelajaran Sendiri + +Sebelum anda menggunakan algoritma pengelompokan, seperti yang telah kita pelajari, adalah idea yang baik untuk memahami sifat dataset anda. Baca lebih lanjut mengenai topik ini [di sini](https://www.kdnuggets.com/2019/10/right-clustering-algorithm.html) + +[Artikel yang berguna ini](https://www.freecodecamp.org/news/8-clustering-algorithms-in-machine-learning-that-all-data-scientists-should-know/) membimbing anda melalui pelbagai cara yang berbeza bagaimana algoritma pengelompokan berkelakuan, diberikan bentuk data yang berbeza. + +## Tugasan + +[Selidiki visualisasi lain untuk pengelompokan](assignment.md) + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila maklum bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab ke atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/5-Clustering/1-Visualize/assignment.md b/translations/ms/5-Clustering/1-Visualize/assignment.md new file mode 100644 index 000000000..d4e5eed55 --- /dev/null +++ b/translations/ms/5-Clustering/1-Visualize/assignment.md @@ -0,0 +1,14 @@ +# Menyiasat visualisasi lain untuk pengelompokan + +## Arahan + +Dalam pelajaran ini, anda telah bekerja dengan beberapa teknik visualisasi untuk memahami cara memplot data anda sebagai persiapan untuk pengelompokan. Scatterplot, khususnya, berguna untuk mencari kumpulan objek. Siasat pelbagai cara dan pelbagai perpustakaan untuk mencipta scatterplot dan dokumentasikan kerja anda dalam sebuah notebook. Anda boleh menggunakan data dari pelajaran ini, pelajaran lain, atau data yang anda cari sendiri (sila kreditkan sumbernya, bagaimanapun, dalam notebook anda). Plotkan beberapa data menggunakan scatterplot dan jelaskan apa yang anda temui. + +## Rubrik + +| Kriteria | Contoh Terbaik | Memadai | Perlu Penambahbaikan | +| -------- | -------------------------------------------------------------- | ---------------------------------------------------------------------------------------- | ----------------------------------- | +| | Sebuah notebook dipersembahkan dengan lima scatterplot yang didokumentasikan dengan baik | Sebuah notebook dipersembahkan dengan kurang dari lima scatterplot dan kurang didokumentasikan dengan baik | Sebuah notebook yang tidak lengkap dipersembahkan | + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/5-Clustering/1-Visualize/solution/Julia/README.md b/translations/ms/5-Clustering/1-Visualize/solution/Julia/README.md new file mode 100644 index 000000000..3a3ac99f6 --- /dev/null +++ b/translations/ms/5-Clustering/1-Visualize/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila maklum bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/5-Clustering/2-K-Means/README.md b/translations/ms/5-Clustering/2-K-Means/README.md new file mode 100644 index 000000000..3552a3b67 --- /dev/null +++ b/translations/ms/5-Clustering/2-K-Means/README.md @@ -0,0 +1,250 @@ +# Pengelompokan K-Means + +## [Kuiz Pra-kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/29/) + +Dalam pelajaran ini, anda akan belajar cara membuat kluster menggunakan Scikit-learn dan dataset musik Nigeria yang anda impor sebelumnya. Kita akan membahas dasar-dasar K-Means untuk Pengelompokan. Ingatlah bahwa, seperti yang telah anda pelajari dalam pelajaran sebelumnya, ada banyak cara untuk bekerja dengan kluster dan metode yang anda gunakan tergantung pada data anda. Kita akan mencoba K-Means karena ini adalah teknik pengelompokan yang paling umum. Mari kita mulai! + +Istilah-istilah yang akan anda pelajari: + +- Skor Silhouette +- Metode Elbow +- Inertia +- Variansi + +## Pengenalan + +[Pemgumpulan K-Means](https://wikipedia.org/wiki/K-means_clustering) adalah metode yang berasal dari domain pemrosesan sinyal. Metode ini digunakan untuk membagi dan mengelompokkan data menjadi 'k' kluster menggunakan serangkaian observasi. Setiap observasi berfungsi untuk mengelompokkan titik data yang diberikan ke 'mean' terdekatnya, atau titik tengah dari sebuah kluster. + +Kluster-kluster tersebut dapat divisualisasikan sebagai [diagram Voronoi](https://wikipedia.org/wiki/Voronoi_diagram), yang mencakup sebuah titik (atau 'benih') dan wilayah yang sesuai. + + + +> infografis oleh [Jen Looper](https://twitter.com/jenlooper) + +Proses pengelompokan K-Means [dijalankan dalam tiga langkah](https://scikit-learn.org/stable/modules/clustering.html#k-means): + +1. Algoritma memilih sejumlah k-titik tengah dengan mengambil sampel dari dataset. Setelah itu, algoritma melakukan iterasi: + 1. Menugaskan setiap sampel ke centroid terdekat. + 2. Membuat centroid baru dengan mengambil nilai rata-rata dari semua sampel yang ditugaskan ke centroid sebelumnya. + 3. Kemudian, menghitung perbedaan antara centroid baru dan lama dan mengulangi hingga centroid stabil. + +Salah satu kelemahan menggunakan K-Means adalah anda perlu menetapkan 'k', yaitu jumlah centroid. Untungnya, 'metode elbow' membantu memperkirakan nilai awal yang baik untuk 'k'. Anda akan mencobanya sebentar lagi. + +## Prasyarat + +Anda akan bekerja dalam file [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/2-K-Means/notebook.ipynb) dari pelajaran ini yang mencakup impor data dan pembersihan awal yang anda lakukan pada pelajaran sebelumnya. + +## Latihan - persiapan + +Mulailah dengan melihat kembali data lagu. + +1. Buat boxplot, panggil `boxplot()` untuk setiap kolom: + + ```python + plt.figure(figsize=(20,20), dpi=200) + + plt.subplot(4,3,1) + sns.boxplot(x = 'popularity', data = df) + + plt.subplot(4,3,2) + sns.boxplot(x = 'acousticness', data = df) + + plt.subplot(4,3,3) + sns.boxplot(x = 'energy', data = df) + + plt.subplot(4,3,4) + sns.boxplot(x = 'instrumentalness', data = df) + + plt.subplot(4,3,5) + sns.boxplot(x = 'liveness', data = df) + + plt.subplot(4,3,6) + sns.boxplot(x = 'loudness', data = df) + + plt.subplot(4,3,7) + sns.boxplot(x = 'speechiness', data = df) + + plt.subplot(4,3,8) + sns.boxplot(x = 'tempo', data = df) + + plt.subplot(4,3,9) + sns.boxplot(x = 'time_signature', data = df) + + plt.subplot(4,3,10) + sns.boxplot(x = 'danceability', data = df) + + plt.subplot(4,3,11) + sns.boxplot(x = 'length', data = df) + + plt.subplot(4,3,12) + sns.boxplot(x = 'release_date', data = df) + ``` + + Data ini agak bising: dengan mengamati setiap kolom sebagai boxplot, anda dapat melihat outlier. + +  + +Anda bisa melalui dataset dan menghapus outlier ini, tetapi itu akan membuat data cukup minimal. + +1. Untuk saat ini, pilih kolom mana yang akan anda gunakan untuk latihan pengelompokan. Pilih yang memiliki rentang yang serupa dan kodekan kolom `artist_top_genre` sebagai data numerik: + + ```python + from sklearn.preprocessing import LabelEncoder + le = LabelEncoder() + + X = df.loc[:, ('artist_top_genre','popularity','danceability','acousticness','loudness','energy')] + + y = df['artist_top_genre'] + + X['artist_top_genre'] = le.fit_transform(X['artist_top_genre']) + + y = le.transform(y) + ``` + +1. Sekarang anda perlu memilih berapa banyak kluster yang akan ditargetkan. Anda tahu ada 3 genre lagu yang kami ambil dari dataset, jadi mari coba 3: + + ```python + from sklearn.cluster import KMeans + + nclusters = 3 + seed = 0 + + km = KMeans(n_clusters=nclusters, random_state=seed) + km.fit(X) + + # Predict the cluster for each data point + + y_cluster_kmeans = km.predict(X) + y_cluster_kmeans + ``` + +Anda melihat array yang dicetak dengan kluster yang diprediksi (0, 1, atau 2) untuk setiap baris dataframe. + +1. Gunakan array ini untuk menghitung 'skor silhouette': + + ```python + from sklearn import metrics + score = metrics.silhouette_score(X, y_cluster_kmeans) + score + ``` + +## Skor Silhouette + +Carilah skor silhouette yang mendekati 1. Skor ini bervariasi dari -1 hingga 1, dan jika skornya 1, kluster tersebut padat dan terpisah dengan baik dari kluster lain. Nilai mendekati 0 mewakili kluster yang tumpang tindih dengan sampel yang sangat dekat dengan batas keputusan kluster tetangga. [(Sumber)](https://dzone.com/articles/kmeans-silhouette-score-explained-with-python-exam) + +Skor kita adalah **.53**, jadi tepat di tengah. Ini menunjukkan bahwa data kita tidak terlalu cocok untuk jenis pengelompokan ini, tetapi mari kita lanjutkan. + +### Latihan - membangun model + +1. Impor `KMeans` dan mulai proses pengelompokan. + + ```python + from sklearn.cluster import KMeans + wcss = [] + + for i in range(1, 11): + kmeans = KMeans(n_clusters = i, init = 'k-means++', random_state = 42) + kmeans.fit(X) + wcss.append(kmeans.inertia_) + + ``` + + Ada beberapa bagian di sini yang perlu dijelaskan. + + > 🎓 range: Ini adalah iterasi dari proses pengelompokan + + > 🎓 random_state: "Menentukan penghasil angka acak untuk inisialisasi centroid." [Sumber](https://scikit-learn.org/stable/modules/generated/sklearn.cluster.KMeans.html#sklearn.cluster.KMeans) + + > 🎓 WCSS: "within-cluster sums of squares" mengukur jarak rata-rata kuadrat dari semua titik dalam sebuah kluster ke centroid kluster. [Sumber](https://medium.com/@ODSC/unsupervised-learning-evaluating-clusters-bd47eed175ce). + + > 🎓 Inertia: Algoritma K-Means berusaha memilih centroid untuk meminimalkan 'inertia', "ukuran seberapa koheren kluster secara internal." [Sumber](https://scikit-learn.org/stable/modules/clustering.html). Nilainya ditambahkan ke variabel wcss pada setiap iterasi. + + > 🎓 k-means++: Dalam [Scikit-learn](https://scikit-learn.org/stable/modules/clustering.html#k-means) anda dapat menggunakan optimasi 'k-means++', yang "menginisialisasi centroid agar (secara umum) jauh dari satu sama lain, menghasilkan kemungkinan hasil yang lebih baik daripada inisialisasi acak. + +### Metode Elbow + +Sebelumnya, anda menduga bahwa, karena anda menargetkan 3 genre lagu, anda harus memilih 3 kluster. Tetapi apakah itu benar? + +1. Gunakan 'metode elbow' untuk memastikannya. + + ```python + plt.figure(figsize=(10,5)) + sns.lineplot(x=range(1, 11), y=wcss, marker='o', color='red') + plt.title('Elbow') + plt.xlabel('Number of clusters') + plt.ylabel('WCSS') + plt.show() + ``` + + Gunakan variabel `wcss` yang anda buat pada langkah sebelumnya untuk membuat grafik yang menunjukkan di mana 'tikungan' pada elbow, yang menunjukkan jumlah kluster yang optimal. Mungkin memang **3**! + +  + +## Latihan - menampilkan kluster + +1. Cobalah prosesnya lagi, kali ini menetapkan tiga kluster, dan tampilkan kluster sebagai scatterplot: + + ```python + from sklearn.cluster import KMeans + kmeans = KMeans(n_clusters = 3) + kmeans.fit(X) + labels = kmeans.predict(X) + plt.scatter(df['popularity'],df['danceability'],c = labels) + plt.xlabel('popularity') + plt.ylabel('danceability') + plt.show() + ``` + +1. Periksa akurasi model: + + ```python + labels = kmeans.labels_ + + correct_labels = sum(y == labels) + + print("Result: %d out of %d samples were correctly labeled." % (correct_labels, y.size)) + + print('Accuracy score: {0:0.2f}'. format(correct_labels/float(y.size))) + ``` + + Akurasi model ini tidak terlalu bagus, dan bentuk kluster memberi anda petunjuk mengapa. + +  + + Data ini terlalu tidak seimbang, terlalu sedikit berkorelasi dan ada terlalu banyak varians antara nilai kolom untuk dikelompokkan dengan baik. Faktanya, kluster yang terbentuk mungkin sangat dipengaruhi atau bias oleh tiga kategori genre yang kita definisikan di atas. Itu adalah proses pembelajaran! + + Dalam dokumentasi Scikit-learn, anda dapat melihat bahwa model seperti ini, dengan kluster yang tidak terlalu jelas, memiliki masalah 'varians': + +  + > Infografis dari Scikit-learn + +## Variansi + +Variansi didefinisikan sebagai "rata-rata dari perbedaan kuadrat dari Mean" [(Sumber)](https://www.mathsisfun.com/data/standard-deviation.html). Dalam konteks masalah pengelompokan ini, ini mengacu pada data yang angka-angka dalam dataset kita cenderung menyimpang terlalu jauh dari mean. + +✅ Ini adalah saat yang tepat untuk memikirkan semua cara anda dapat memperbaiki masalah ini. Mengubah data sedikit lebih banyak? Menggunakan kolom yang berbeda? Menggunakan algoritma yang berbeda? Petunjuk: Cobalah [menyelaraskan data anda](https://www.mygreatlearning.com/blog/learning-data-science-with-k-means-clustering/) untuk menormalkannya dan menguji kolom lain. + +> Cobalah '[kalkulator varians](https://www.calculatorsoup.com/calculators/statistics/variance-calculator.php)' ini untuk memahami konsep ini lebih lanjut. + +--- + +## 🚀Tantangan + +Habiskan waktu dengan notebook ini, mengubah parameter. Bisakah anda meningkatkan akurasi model dengan membersihkan data lebih banyak (menghapus outlier, misalnya)? Anda dapat menggunakan bobot untuk memberikan bobot lebih pada sampel data tertentu. Apa lagi yang bisa anda lakukan untuk membuat kluster yang lebih baik? + +Petunjuk: Cobalah untuk menyelaraskan data anda. Ada kode yang dikomentari dalam notebook yang menambahkan penskalaan standar untuk membuat kolom data lebih mirip satu sama lain dalam hal rentang. Anda akan menemukan bahwa meskipun skor silhouette turun, 'tikungan' dalam grafik elbow menjadi lebih halus. Ini karena membiarkan data tidak diskalakan memungkinkan data dengan varians lebih sedikit untuk membawa lebih banyak bobot. Baca lebih lanjut tentang masalah ini [di sini](https://stats.stackexchange.com/questions/21222/are-mean-normalization-and-feature-scaling-needed-for-k-means-clustering/21226#21226). + +## [Kuiz Pasca-kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/30/) + +## Tinjauan & Studi Mandiri + +Lihatlah Simulator K-Means [seperti yang ini](https://user.ceng.metu.edu.tr/~akifakkus/courses/ceng574/k-means/). Anda dapat menggunakan alat ini untuk memvisualisasikan titik data sampel dan menentukan centroidnya. Anda dapat mengedit keacakan data, jumlah kluster, dan jumlah centroid. Apakah ini membantu anda mendapatkan gambaran tentang bagaimana data dapat dikelompokkan? + +Juga, lihat [handout ini tentang K-Means](https://stanford.edu/~cpiech/cs221/handouts/kmeans.html) dari Stanford. + +## Tugas + +[Cobalah metode pengelompokan yang berbeda](assignment.md) + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/5-Clustering/2-K-Means/assignment.md b/translations/ms/5-Clustering/2-K-Means/assignment.md new file mode 100644 index 000000000..574843d09 --- /dev/null +++ b/translations/ms/5-Clustering/2-K-Means/assignment.md @@ -0,0 +1,13 @@ +# Cuba kaedah pengelompokan yang berbeza + +## Arahan + +Dalam pelajaran ini, anda telah mempelajari tentang pengelompokan K-Means. Kadang-kadang K-Means tidak sesuai untuk data anda. Buatlah sebuah notebook menggunakan data sama ada dari pelajaran ini atau dari sumber lain (nyatakan sumber anda) dan tunjukkan kaedah pengelompokan yang berbeza TANPA menggunakan K-Means. Apa yang anda pelajari? +## Rubrik + +| Kriteria | Cemerlang | Memadai | Perlu Penambahbaikan | +| -------- | --------------------------------------------------------------- | -------------------------------------------------------------------- | ---------------------------- | +| | Sebuah notebook disediakan dengan model pengelompokan yang didokumentasikan dengan baik | Sebuah notebook disediakan tanpa dokumentasi yang baik dan/atau tidak lengkap | Kerja yang tidak lengkap diserahkan | + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/5-Clustering/2-K-Means/solution/Julia/README.md b/translations/ms/5-Clustering/2-K-Means/solution/Julia/README.md new file mode 100644 index 000000000..d554defb7 --- /dev/null +++ b/translations/ms/5-Clustering/2-K-Means/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab ke atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/5-Clustering/README.md b/translations/ms/5-Clustering/README.md new file mode 100644 index 000000000..691ff2041 --- /dev/null +++ b/translations/ms/5-Clustering/README.md @@ -0,0 +1,31 @@ +# Model Pengelompokan untuk Pembelajaran Mesin + +Pengelompokan adalah tugas pembelajaran mesin di mana ia mencari objek yang menyerupai satu sama lain dan mengelompokkannya ke dalam kelompok yang disebut kelompok. Apa yang membedakan pengelompokan dari pendekatan lain dalam pembelajaran mesin adalah bahwa semuanya terjadi secara otomatis, sebenarnya, bisa dikatakan ini adalah kebalikan dari pembelajaran terawasi. + +## Topik Regional: model pengelompokan untuk selera musik audiens Nigeria 🎧 + +Audiens Nigeria yang beragam memiliki selera musik yang beragam. Menggunakan data yang diambil dari Spotify (terinspirasi oleh [artikel ini](https://towardsdatascience.com/country-wise-visual-analysis-of-music-taste-using-spotify-api-seaborn-in-python-77f5b749b421)), mari kita lihat beberapa musik yang populer di Nigeria. Dataset ini mencakup data tentang skor 'danceability', 'acousticness', kerasnya, 'speechiness', popularitas, dan energi dari berbagai lagu. Akan sangat menarik untuk menemukan pola dalam data ini! + + + +> Foto oleh Marcela Laskoski di Unsplash + +Dalam rangkaian pelajaran ini, Anda akan menemukan cara baru untuk menganalisis data menggunakan teknik pengelompokan. Pengelompokan sangat berguna ketika dataset Anda tidak memiliki label. Jika memiliki label, maka teknik klasifikasi seperti yang Anda pelajari di pelajaran sebelumnya mungkin lebih berguna. Tetapi dalam kasus di mana Anda mencari untuk mengelompokkan data tanpa label, pengelompokan adalah cara yang bagus untuk menemukan pola. + +> Ada alat low-code yang berguna yang dapat membantu Anda mempelajari tentang bekerja dengan model pengelompokan. Coba [Azure ML untuk tugas ini](https://docs.microsoft.com/learn/modules/create-clustering-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott) + +## Pelajaran + +1. [Pengantar pengelompokan](1-Visualize/README.md) +2. [Pengelompokan K-Means](2-K-Means/README.md) + +## Kredit + +Pelajaran ini ditulis dengan 🎶 oleh [Jen Looper](https://www.twitter.com/jenlooper) dengan ulasan yang bermanfaat oleh [Rishit Dagli](https://rishit_dagli) dan [Muhammad Sakib Khan Inan](https://twitter.com/Sakibinan). + +Dataset [Nigerian Songs](https://www.kaggle.com/sootersaalu/nigerian-songs-spotify) bersumber dari Kaggle sebagai hasil scraping dari Spotify. + +Contoh K-Means yang berguna yang membantu dalam membuat pelajaran ini termasuk [eksplorasi iris](https://www.kaggle.com/bburns/iris-exploration-pca-k-means-and-gmm-clustering) ini, [notebook pengantar](https://www.kaggle.com/prashant111/k-means-clustering-with-python) ini, dan [contoh hipotetis NGO](https://www.kaggle.com/ankandash/pca-k-means-clustering-hierarchical-clustering) ini. + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila maklum bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat penting, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/6-NLP/1-Introduction-to-NLP/README.md b/translations/ms/6-NLP/1-Introduction-to-NLP/README.md new file mode 100644 index 000000000..8cc2791d8 --- /dev/null +++ b/translations/ms/6-NLP/1-Introduction-to-NLP/README.md @@ -0,0 +1,168 @@ +# Pengenalan kepada pemprosesan bahasa semulajadi + +Pelajaran ini merangkumi sejarah ringkas dan konsep penting dalam *pemprosesan bahasa semulajadi*, satu cabang daripada *linguistik komputasi*. + +## [Kuiz pra-ceramah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/31/) + +## Pengenalan + +NLP, seperti yang biasa dikenali, adalah salah satu bidang yang paling terkenal di mana pembelajaran mesin telah digunakan dan diterapkan dalam perisian pengeluaran. + +✅ Bolehkah anda memikirkan perisian yang anda gunakan setiap hari yang mungkin mempunyai beberapa NLP di dalamnya? Bagaimana dengan program pemprosesan kata atau aplikasi mudah alih yang anda gunakan secara kerap? + +Anda akan belajar tentang: + +- **Idea tentang bahasa**. Bagaimana bahasa berkembang dan apakah bidang kajian utama. +- **Definisi dan konsep**. Anda juga akan belajar definisi dan konsep tentang bagaimana komputer memproses teks, termasuk penguraian, tatabahasa, dan mengenal pasti kata nama dan kata kerja. Terdapat beberapa tugas pengekodan dalam pelajaran ini, dan beberapa konsep penting diperkenalkan yang anda akan belajar untuk kod kemudian dalam pelajaran seterusnya. + +## Linguistik komputasi + +Linguistik komputasi adalah bidang penyelidikan dan pembangunan selama beberapa dekad yang mengkaji bagaimana komputer boleh bekerja dengan, dan bahkan memahami, menterjemah, dan berkomunikasi dengan bahasa. Pemprosesan bahasa semulajadi (NLP) adalah bidang berkaitan yang memberi tumpuan kepada bagaimana komputer boleh memproses bahasa 'semulajadi', atau bahasa manusia. + +### Contoh - pendiktean telefon + +Jika anda pernah mendikte kepada telefon anda daripada menaip atau bertanya kepada pembantu maya soalan, ucapan anda telah ditukar kepada bentuk teks dan kemudian diproses atau *diuraikan* dari bahasa yang anda gunakan. Kata kunci yang dikesan kemudian diproses ke dalam format yang telefon atau pembantu boleh faham dan bertindak balas. + + +> Pemahaman linguistik sebenar adalah sukar! Imej oleh [Jen Looper](https://twitter.com/jenlooper) + +### Bagaimana teknologi ini dibuat mungkin? + +Ini mungkin kerana seseorang menulis program komputer untuk melakukannya. Beberapa dekad yang lalu, beberapa penulis fiksyen sains meramalkan bahawa orang akan kebanyakannya bercakap dengan komputer mereka, dan komputer akan sentiasa memahami dengan tepat apa yang mereka maksudkan. Malangnya, ia ternyata menjadi masalah yang lebih sukar daripada yang dibayangkan oleh ramai, dan walaupun ia adalah masalah yang lebih difahami hari ini, terdapat cabaran yang ketara dalam mencapai pemprosesan bahasa semulajadi yang 'sempurna' apabila ia berkaitan dengan memahami makna ayat. Ini adalah masalah yang sangat sukar apabila ia berkaitan dengan memahami humor atau mengesan emosi seperti sindiran dalam ayat. + +Pada ketika ini, anda mungkin mengingati kelas sekolah di mana guru meliputi bahagian tatabahasa dalam ayat. Di sesetengah negara, pelajar diajar tatabahasa dan linguistik sebagai subjek khusus, tetapi di banyak negara, topik-topik ini dimasukkan sebagai sebahagian daripada pembelajaran bahasa: sama ada bahasa pertama anda di sekolah rendah (belajar membaca dan menulis) dan mungkin bahasa kedua di sekolah menengah. Jangan risau jika anda bukan pakar dalam membezakan kata nama daripada kata kerja atau kata keterangan daripada kata sifat! + +Jika anda bergelut dengan perbezaan antara *masa kini mudah* dan *masa kini progresif*, anda tidak bersendirian. Ini adalah perkara yang mencabar bagi ramai orang, bahkan penutur asli bahasa. Berita baiknya adalah bahawa komputer sangat baik dalam menerapkan peraturan formal, dan anda akan belajar untuk menulis kod yang boleh *menguraikan* ayat serta manusia. Cabaran yang lebih besar yang anda akan kaji kemudian ialah memahami *makna*, dan *sentimen*, sesuatu ayat. + +## Prasyarat + +Untuk pelajaran ini, prasyarat utama adalah dapat membaca dan memahami bahasa pelajaran ini. Tiada masalah matematik atau persamaan untuk diselesaikan. Walaupun pengarang asal menulis pelajaran ini dalam bahasa Inggeris, ia juga diterjemahkan ke dalam bahasa lain, jadi anda mungkin sedang membaca terjemahan. Terdapat contoh di mana beberapa bahasa yang berbeza digunakan (untuk membandingkan peraturan tatabahasa yang berbeza dari bahasa yang berbeza). Ini *tidak* diterjemahkan, tetapi teks penjelasan diterjemahkan, jadi maknanya harus jelas. + +Untuk tugas pengekodan, anda akan menggunakan Python dan contoh-contohnya menggunakan Python 3.8. + +Dalam bahagian ini, anda akan memerlukan, dan menggunakan: + +- **Pemahaman Python 3**. Pemahaman bahasa pengaturcaraan dalam Python 3, pelajaran ini menggunakan input, gelung, pembacaan fail, array. +- **Visual Studio Code + sambungan**. Kami akan menggunakan Visual Studio Code dan sambungan Python. Anda juga boleh menggunakan IDE Python pilihan anda. +- **TextBlob**. [TextBlob](https://github.com/sloria/TextBlob) adalah perpustakaan pemprosesan teks yang dipermudahkan untuk Python. Ikuti arahan di laman TextBlob untuk memasangnya pada sistem anda (pasang juga korpora, seperti yang ditunjukkan di bawah): + + ```bash + pip install -U textblob + python -m textblob.download_corpora + ``` + +> 💡 Tip: Anda boleh menjalankan Python secara langsung dalam persekitaran VS Code. Semak [dokumentasi](https://code.visualstudio.com/docs/languages/python?WT.mc_id=academic-77952-leestott) untuk maklumat lanjut. + +## Bercakap dengan mesin + +Sejarah mencuba untuk membuat komputer memahami bahasa manusia kembali beberapa dekad, dan salah seorang saintis terawal yang mempertimbangkan pemprosesan bahasa semulajadi adalah *Alan Turing*. + +### Ujian 'Turing' + +Ketika Turing sedang meneliti *kecerdasan buatan* pada tahun 1950-an, dia mempertimbangkan jika ujian perbualan boleh diberikan kepada seorang manusia dan komputer (melalui surat-menyurat yang ditaip) di mana manusia dalam perbualan itu tidak pasti sama ada mereka sedang berbual dengan manusia lain atau komputer. + +Jika, selepas tempoh perbualan tertentu, manusia tidak dapat menentukan bahawa jawapan itu dari komputer atau tidak, maka bolehkah komputer dikatakan *berfikir*? + +### Inspirasi - 'permainan tiruan' + +Idea untuk ini datang dari permainan pesta yang dipanggil *The Imitation Game* di mana seorang penyiasat berada sendirian dalam bilik dan ditugaskan untuk menentukan siapa daripada dua orang (di bilik lain) adalah lelaki dan wanita masing-masing. Penyiasat boleh menghantar nota, dan mesti cuba memikirkan soalan di mana jawapan bertulis mendedahkan jantina orang misteri itu. Sudah tentu, pemain di bilik lain cuba menipu penyiasat dengan menjawab soalan dengan cara yang mengelirukan atau mengelirukan penyiasat, sambil memberikan penampilan menjawab dengan jujur. + +### Membangunkan Eliza + +Pada tahun 1960-an, seorang saintis MIT bernama *Joseph Weizenbaum* membangunkan [*Eliza*](https://wikipedia.org/wiki/ELIZA), seorang 'terapis' komputer yang akan menanyakan soalan kepada manusia dan memberikan penampilan memahami jawapan mereka. Walau bagaimanapun, walaupun Eliza boleh menguraikan ayat dan mengenal pasti beberapa struktur tatabahasa dan kata kunci untuk memberikan jawapan yang munasabah, ia tidak boleh dikatakan *memahami* ayat itu. Jika Eliza diberi ayat yang mengikuti format "**I am** sedih" ia mungkin menyusun semula dan menggantikan kata-kata dalam ayat untuk membentuk jawapan "Berapa lama **anda telah** sedih". + +Ini memberikan kesan bahawa Eliza memahami kenyataan itu dan menanyakan soalan susulan, sedangkan sebenarnya, ia hanya mengubah masa dan menambah beberapa kata. Jika Eliza tidak dapat mengenal pasti kata kunci yang ia mempunyai jawapan untuk, ia akan memberikan jawapan rawak yang boleh digunakan untuk banyak kenyataan yang berbeza. Eliza boleh dengan mudah ditipu, contohnya jika pengguna menulis "**Anda adalah** sebuah basikal" ia mungkin menjawab dengan "Berapa lama **saya telah** sebuah basikal?", bukannya jawapan yang lebih beralasan. + +[](https://youtu.be/RMK9AphfLco "Berbual dengan Eliza") + +> 🎥 Klik imej di atas untuk video tentang program ELIZA asal + +> Nota: Anda boleh membaca keterangan asal [Eliza](https://cacm.acm.org/magazines/1966/1/13317-elizaa-computer-program-for-the-study-of-natural-language-communication-between-man-and-machine/abstract) yang diterbitkan pada tahun 1966 jika anda mempunyai akaun ACM. Sebagai alternatif, baca tentang Eliza di [wikipedia](https://wikipedia.org/wiki/ELIZA) + +## Latihan - mengekod bot perbualan asas + +Bot perbualan, seperti Eliza, adalah program yang meminta input pengguna dan kelihatan memahami dan memberi respons dengan bijak. Tidak seperti Eliza, bot kita tidak akan mempunyai beberapa peraturan yang memberikan penampilan mempunyai perbualan pintar. Sebaliknya, bot kita hanya akan mempunyai satu kebolehan, iaitu untuk meneruskan perbualan dengan respons rawak yang mungkin berfungsi dalam hampir mana-mana perbualan remeh. + +### Rancangan + +Langkah-langkah anda semasa membina bot perbualan: + +1. Cetak arahan yang menasihati pengguna cara berinteraksi dengan bot +2. Mulakan gelung + 1. Terima input pengguna + 2. Jika pengguna meminta untuk keluar, maka keluar + 3. Proses input pengguna dan tentukan respons (dalam kes ini, respons adalah pilihan rawak daripada senarai kemungkinan respons generik) + 4. Cetak respons +3. kembali ke langkah 2 + +### Membina bot + +Mari kita buat bot seterusnya. Kita akan mulakan dengan mendefinisikan beberapa frasa. + +1. Buat bot ini sendiri dalam Python dengan respons rawak berikut: + + ```python + random_responses = ["That is quite interesting, please tell me more.", + "I see. Do go on.", + "Why do you say that?", + "Funny weather we've been having, isn't it?", + "Let's change the subject.", + "Did you catch the game last night?"] + ``` + + Berikut adalah beberapa output contoh untuk panduan anda (input pengguna pada baris yang bermula dengan `>`): + + ```output + Hello, I am Marvin, the simple robot. + You can end this conversation at any time by typing 'bye' + After typing each answer, press 'enter' + How are you today? + > I am good thanks + That is quite interesting, please tell me more. + > today I went for a walk + Did you catch the game last night? + > I did, but my team lost + Funny weather we've been having, isn't it? + > yes but I hope next week is better + Let's change the subject. + > ok, lets talk about music + Why do you say that? + > because I like music! + Why do you say that? + > bye + It was nice talking to you, goodbye! + ``` + + Satu penyelesaian yang mungkin untuk tugas ini adalah [di sini](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/1-Introduction-to-NLP/solution/bot.py) + + ✅ Berhenti dan pertimbangkan + + 1. Adakah anda fikir respons rawak akan 'menipu' seseorang untuk berfikir bahawa bot sebenarnya memahami mereka? + 2. Apakah ciri-ciri yang perlu ada pada bot untuk menjadi lebih berkesan? + 3. Jika bot benar-benar boleh 'memahami' makna ayat, adakah ia perlu 'mengingati' makna ayat-ayat sebelumnya dalam perbualan juga? + +--- + +## 🚀Cabaran + +Pilih salah satu elemen "berhenti dan pertimbangkan" di atas dan sama ada cuba melaksanakannya dalam kod atau tulis penyelesaian di atas kertas menggunakan pseudokod. + +Dalam pelajaran seterusnya, anda akan belajar tentang beberapa pendekatan lain untuk menguraikan bahasa semulajadi dan pembelajaran mesin. + +## [Kuiz pasca-ceramah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/32/) + +## Kajian Semula & Kajian Sendiri + +Lihat rujukan di bawah sebagai peluang bacaan lanjut. + +### Rujukan + +1. Schubert, Lenhart, "Linguistik Komputasi", *The Stanford Encyclopedia of Philosophy* (Edisi Musim Bunga 2020), Edward N. Zalta (ed.), URL =
Negatif | Ulasan Positif | Tag | +| -------------- | ------------------- | ------------- | :------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | -------------------------------- | ----------------------------------------------------------------------------------------- | +| 7.8 | 1945 | 2.5 | Saat ini ini bukan hotel tetapi situs konstruksi Saya diteror dari pagi hari dan sepanjang hari dengan kebisingan bangunan yang tidak dapat diterima saat beristirahat setelah perjalanan panjang dan bekerja di kamar Orang-orang bekerja sepanjang hari dengan palu di kamar yang bersebelahan Saya meminta untuk pindah kamar tetapi tidak ada kamar yang tenang tersedia Untuk memperburuk keadaan saya dikenakan biaya lebih Saya check out di malam hari karena saya harus berangkat sangat pagi penerbangan dan menerima tagihan yang sesuai Sehari kemudian hotel membuat biaya lain tanpa persetujuan saya melebihi harga yang dipesan Ini tempat yang mengerikan Jangan menghukum diri Anda dengan memesan di sini | Tidak ada tempat yang mengerikan | Perjalanan bisnis Pasangan Kamar Double Standar Menginap 2 malam | + +Seperti yang Anda lihat, tamu ini tidak memiliki pengalaman menginap yang menyenangkan di hotel ini. Hotel ini memiliki skor rata-rata yang baik yaitu 7.8 dan 1945 ulasan, tetapi pengulas ini memberikan skor 2.5 dan menulis 115 kata tentang betapa negatifnya pengalaman mereka. Jika mereka tidak menulis apa pun di kolom Ulasan_Positive, Anda mungkin menyimpulkan bahwa tidak ada yang positif, tetapi sayangnya mereka menulis 7 kata peringatan. Jika kita hanya menghitung kata-kata alih-alih makna, atau sentimen dari kata-kata tersebut, kita mungkin memiliki pandangan yang miring tentang niat pengulas. Anehnya, skor mereka yang 2.5 membingungkan, karena jika pengalaman menginap di hotel itu sangat buruk, mengapa memberikan poin sama sekali? Menyelidiki dataset dengan cermat, Anda akan melihat bahwa skor terendah yang mungkin adalah 2.5, bukan 0. Skor tertinggi yang mungkin adalah 10. + +##### Tag + +Seperti disebutkan di atas, pada pandangan pertama, ide untuk menggunakan `Tags` untuk mengkategorikan data masuk akal. Sayangnya, tag ini tidak distandarisasi, yang berarti bahwa di hotel tertentu, opsinya mungkin *Kamar Single*, *Kamar Twin*, dan *Kamar Double*, tetapi di hotel berikutnya, mereka adalah *Kamar Single Deluxe*, *Kamar Queen Klasik*, dan *Kamar King Eksekutif*. Ini mungkin hal yang sama, tetapi ada begitu banyak variasi sehingga pilihannya menjadi: + +1. Mencoba mengubah semua istilah menjadi satu standar, yang sangat sulit, karena tidak jelas apa jalur konversinya dalam setiap kasus (misalnya *Kamar single klasik* dipetakan ke *Kamar single* tetapi *Kamar Queen Superior dengan Pemandangan Taman atau Kota* jauh lebih sulit untuk dipetakan) + +1. Kita dapat mengambil pendekatan NLP dan mengukur frekuensi istilah tertentu seperti *Solo*, *Pelancong Bisnis*, atau *Keluarga dengan anak kecil* karena berlaku untuk setiap hotel, dan memasukkan itu ke dalam rekomendasi + +Tag biasanya (tetapi tidak selalu) merupakan satu bidang yang berisi daftar 5 hingga 6 nilai yang dipisahkan dengan koma yang sesuai dengan *Jenis perjalanan*, *Jenis tamu*, *Jenis kamar*, *Jumlah malam*, dan *Jenis perangkat yang digunakan untuk mengirimkan ulasan*. Namun, karena beberapa pengulas tidak mengisi setiap bidang (mereka mungkin meninggalkan satu kosong), nilainya tidak selalu dalam urutan yang sama. + +Sebagai contoh, ambil *Jenis grup*. Ada 1025 kemungkinan unik dalam bidang ini di kolom `Tags`, dan sayangnya hanya beberapa dari mereka yang merujuk pada grup (beberapa adalah jenis kamar, dll.). Jika Anda memfilter hanya yang menyebutkan keluarga, hasilnya mengandung banyak hasil tipe *Kamar keluarga*. Jika Anda memasukkan istilah *dengan*, yaitu menghitung nilai *Keluarga dengan*, hasilnya lebih baik, dengan lebih dari 80.000 dari 515.000 hasil yang mengandung frasa "Keluarga dengan anak kecil" atau "Keluarga dengan anak yang lebih tua". + +Ini berarti kolom tag tidak sepenuhnya tidak berguna bagi kita, tetapi akan membutuhkan beberapa pekerjaan untuk membuatnya berguna. + +##### Skor rata-rata hotel + +Ada sejumlah keanehan atau ketidaksesuaian dengan dataset yang tidak bisa saya pahami, tetapi diilustrasikan di sini sehingga Anda menyadarinya saat membangun model Anda. Jika Anda mengetahuinya, beri tahu kami di bagian diskusi! + +Dataset ini memiliki kolom berikut yang berkaitan dengan skor rata-rata dan jumlah ulasan: + +1. Hotel_Name +2. Additional_Number_of_Scoring +3. Average_Score +4. Total_Number_of_Reviews +5. Reviewer_Score + +Hotel tunggal dengan ulasan terbanyak dalam dataset ini adalah *Britannia International Hotel Canary Wharf* dengan 4789 ulasan dari 515.000. Tetapi jika kita melihat nilai `Total_Number_of_Reviews` untuk hotel ini, nilainya adalah 9086. Anda mungkin menyimpulkan bahwa ada banyak skor tanpa ulasan, jadi mungkin kita harus menambahkan nilai kolom `Additional_Number_of_Scoring`. Nilai itu adalah 2682, dan menambahkannya ke 4789 memberi kita 7.471 yang masih 1615 kurang dari `Total_Number_of_Reviews`. + +Jika Anda mengambil kolom `Average_Score`, Anda mungkin menyimpulkan bahwa itu adalah rata-rata dari ulasan dalam dataset, tetapi deskripsi dari Kaggle adalah "*Skor Rata-rata hotel, dihitung berdasarkan komentar terbaru dalam setahun terakhir*". Itu tampaknya tidak terlalu berguna, tetapi kita dapat menghitung rata-rata kita sendiri berdasarkan skor ulasan dalam dataset. Menggunakan hotel yang sama sebagai contoh, skor rata-rata hotel yang diberikan adalah 7.1 tetapi skor yang dihitung (rata-rata skor pengulas *dalam* dataset) adalah 6.8. Ini dekat, tetapi bukan nilai yang sama, dan kita hanya bisa menebak bahwa skor yang diberikan dalam ulasan `Additional_Number_of_Scoring` meningkatkan rata-rata menjadi 7.1. Sayangnya, tanpa cara untuk menguji atau membuktikan pernyataan tersebut, sulit untuk menggunakan atau mempercayai `Average_Score`, `Additional_Number_of_Scoring` dan `Total_Number_of_Reviews` ketika mereka didasarkan pada, atau merujuk pada, data yang tidak kita miliki. + +Untuk memperumit masalah lebih lanjut, hotel dengan jumlah ulasan tertinggi kedua memiliki skor rata-rata yang dihitung sebesar 8.12 dan dataset `Average_Score` adalah 8.1. Apakah skor yang benar ini kebetulan atau apakah hotel pertama adalah ketidaksesuaian? + +Dengan kemungkinan bahwa hotel ini mungkin merupakan outlier, dan mungkin sebagian besar nilai cocok (tetapi beberapa tidak karena alasan tertentu) kita akan menulis program singkat berikutnya untuk mengeksplorasi nilai-nilai dalam dataset dan menentukan penggunaan yang benar (atau tidak- penggunaan) dari nilai-nilai tersebut. + +> 🚨 Sebuah catatan peringatan +> +> Saat bekerja dengan dataset ini, Anda akan menulis kode yang menghitung sesuatu dari teks tanpa harus membaca atau menganalisis teks sendiri. Ini adalah esensi dari NLP, menafsirkan makna atau sentimen tanpa harus ada manusia yang melakukannya. Namun, ada kemungkinan Anda akan membaca beberapa ulasan negatif. Saya akan menyarankan Anda untuk tidak melakukannya, karena Anda tidak perlu. Beberapa dari mereka konyol, atau ulasan hotel negatif yang tidak relevan, seperti "Cuacanya tidak bagus", sesuatu yang di luar kendali hotel, atau siapa pun. Tetapi ada sisi gelap dari beberapa ulasan juga. Terkadang ulasan negatif bersifat rasis, seksis, atau ageis. Ini tidak menyenangkan tetapi diharapkan dalam dataset yang diambil dari situs web publik. Beberapa pengulas meninggalkan ulasan yang Anda anggap tidak menyenangkan, tidak nyaman, atau mengganggu. Lebih baik biarkan kode yang mengukur sentimen daripada membaca sendiri dan merasa tidak nyaman. Yang mengatakan, itu adalah minoritas yang menulis hal-hal seperti itu, tetapi mereka tetap ada. + +## Latihan - Eksplorasi Data +### Memuat data + +Itu cukup memeriksa data secara visual, sekarang Anda akan menulis beberapa kode dan mendapatkan beberapa jawaban! Bagian ini menggunakan perpustakaan pandas. Tugas pertama Anda adalah memastikan Anda dapat memuat dan membaca data CSV. Perpustakaan pandas memiliki pemuat CSV yang cepat, dan hasilnya ditempatkan dalam dataframe, seperti pada pelajaran sebelumnya. CSV yang kita muat memiliki lebih dari setengah juta baris, tetapi hanya 17 kolom. Pandas memberi Anda banyak cara yang kuat untuk berinteraksi dengan dataframe, termasuk kemampuan untuk melakukan operasi pada setiap baris. + +Dari sini di pelajaran ini, akan ada cuplikan kode dan beberapa penjelasan tentang kode dan beberapa diskusi tentang apa arti hasilnya. Gunakan _notebook.ipynb_ yang disertakan untuk kode Anda. + +Mari kita mulai dengan memuat file data yang akan Anda gunakan: + +```python +# Load the hotel reviews from CSV +import pandas as pd +import time +# importing time so the start and end time can be used to calculate file loading time +print("Loading data file now, this could take a while depending on file size") +start = time.time() +# df is 'DataFrame' - make sure you downloaded the file to the data folder +df = pd.read_csv('../../data/Hotel_Reviews.csv') +end = time.time() +print("Loading took " + str(round(end - start, 2)) + " seconds") +``` + +Sekarang data sudah dimuat, kita bisa melakukan beberapa operasi pada data tersebut. Simpan kode ini di bagian atas program Anda untuk bagian selanjutnya. + +## Jelajahi data + +Dalam hal ini, datanya sudah *bersih*, artinya siap untuk digunakan, dan tidak memiliki karakter dalam bahasa lain yang mungkin mengganggu algoritma yang hanya mengharapkan karakter bahasa Inggris. + +✅ Anda mungkin harus bekerja dengan data yang memerlukan beberapa pemrosesan awal untuk memformatnya sebelum menerapkan teknik NLP, tetapi tidak kali ini. Jika Anda harus melakukannya, bagaimana Anda akan menangani karakter non-Inggris? + +Luangkan waktu sejenak untuk memastikan bahwa setelah data dimuat, Anda dapat menjelajahinya dengan kode. Sangat mudah untuk ingin fokus pada kolom `Negative_Review` dan `Positive_Review`. Mereka penuh dengan teks alami untuk diproses oleh algoritma NLP Anda. Tapi tunggu! Sebelum Anda terjun ke NLP dan sentimen, Anda harus mengikuti kode di bawah ini untuk memastikan bahwa nilai yang diberikan dalam dataset sesuai dengan nilai yang Anda hitung dengan pandas. + +## Operasi Dataframe + +Tugas pertama dalam pelajaran ini adalah memeriksa apakah pernyataan berikut benar dengan menulis beberapa kode yang memeriksa data frame (tanpa mengubahnya). + +> Seperti banyak tugas pemrograman, ada beberapa cara untuk menyelesaikannya, tetapi saran yang baik adalah melakukannya dengan cara yang paling sederhana dan termudah yang Anda bisa, terutama jika akan lebih mudah untuk dipahami saat Anda kembali ke kode ini di masa mendatang. Dengan dataframes, ada API yang komprehensif yang sering kali memiliki cara untuk melakukan apa yang Anda inginkan secara efisien. +Perlakukan pertanyaan-pertanyaan berikut sebagai tugas pemrograman dan cobalah menjawabnya tanpa melihat solusinya. 1. Cetak *shape* dari data frame yang baru saja Anda muat (shape adalah jumlah baris dan kolom) 2. Hitung frekuensi untuk kebangsaan pengulas: 1. Berapa banyak nilai berbeda yang ada untuk +baris mempunyai nilai lajur `Positive_Review` "No Positive" 9. Kira dan cetak berapa banyak baris yang mempunyai nilai lajur `Positive_Review` "No Positive" **dan** nilai lajur `Negative_Review` "No Negative" ### Jawapan Kod 1. Cetak *bentuk* data frame yang baru sahaja dimuatkan (bentuk adalah bilangan baris dan lajur) ```python + print("The shape of the data (rows, cols) is " + str(df.shape)) + > The shape of the data (rows, cols) is (515738, 17) + ``` 2. Kira jumlah kekerapan untuk kewarganegaraan pengulas: 1. Berapa banyak nilai yang berbeza ada untuk lajur `Reviewer_Nationality` dan apakah ia? 2. Apakah kewarganegaraan pengulas yang paling umum dalam dataset (cetak negara dan bilangan ulasan)? ```python + # value_counts() creates a Series object that has index and values in this case, the country and the frequency they occur in reviewer nationality + nationality_freq = df["Reviewer_Nationality"].value_counts() + print("There are " + str(nationality_freq.size) + " different nationalities") + # print first and last rows of the Series. Change to nationality_freq.to_string() to print all of the data + print(nationality_freq) + + There are 227 different nationalities + United Kingdom 245246 + United States of America 35437 + Australia 21686 + Ireland 14827 + United Arab Emirates 10235 + ... + Comoros 1 + Palau 1 + Northern Mariana Islands 1 + Cape Verde 1 + Guinea 1 + Name: Reviewer_Nationality, Length: 227, dtype: int64 + ``` 3. Apakah 10 kewarganegaraan yang paling kerap ditemui seterusnya, dan jumlah kekerapan mereka? ```python + print("The highest frequency reviewer nationality is " + str(nationality_freq.index[0]).strip() + " with " + str(nationality_freq[0]) + " reviews.") + # Notice there is a leading space on the values, strip() removes that for printing + # What is the top 10 most common nationalities and their frequencies? + print("The next 10 highest frequency reviewer nationalities are:") + print(nationality_freq[1:11].to_string()) + + The highest frequency reviewer nationality is United Kingdom with 245246 reviews. + The next 10 highest frequency reviewer nationalities are: + United States of America 35437 + Australia 21686 + Ireland 14827 + United Arab Emirates 10235 + Saudi Arabia 8951 + Netherlands 8772 + Switzerland 8678 + Germany 7941 + Canada 7894 + France 7296 + ``` 3. Apakah hotel yang paling kerap diulas untuk setiap 10 kewarganegaraan pengulas teratas? ```python + # What was the most frequently reviewed hotel for the top 10 nationalities + # Normally with pandas you will avoid an explicit loop, but wanted to show creating a new dataframe using criteria (don't do this with large amounts of data because it could be very slow) + for nat in nationality_freq[:10].index: + # First, extract all the rows that match the criteria into a new dataframe + nat_df = df[df["Reviewer_Nationality"] == nat] + # Now get the hotel freq + freq = nat_df["Hotel_Name"].value_counts() + print("The most reviewed hotel for " + str(nat).strip() + " was " + str(freq.index[0]) + " with " + str(freq[0]) + " reviews.") + + The most reviewed hotel for United Kingdom was Britannia International Hotel Canary Wharf with 3833 reviews. + The most reviewed hotel for United States of America was Hotel Esther a with 423 reviews. + The most reviewed hotel for Australia was Park Plaza Westminster Bridge London with 167 reviews. + The most reviewed hotel for Ireland was Copthorne Tara Hotel London Kensington with 239 reviews. + The most reviewed hotel for United Arab Emirates was Millennium Hotel London Knightsbridge with 129 reviews. + The most reviewed hotel for Saudi Arabia was The Cumberland A Guoman Hotel with 142 reviews. + The most reviewed hotel for Netherlands was Jaz Amsterdam with 97 reviews. + The most reviewed hotel for Switzerland was Hotel Da Vinci with 97 reviews. + The most reviewed hotel for Germany was Hotel Da Vinci with 86 reviews. + The most reviewed hotel for Canada was St James Court A Taj Hotel London with 61 reviews. + ``` 4. Berapa banyak ulasan terdapat bagi setiap hotel (jumlah kekerapan hotel) dalam dataset? ```python + # First create a new dataframe based on the old one, removing the uneeded columns + hotel_freq_df = df.drop(["Hotel_Address", "Additional_Number_of_Scoring", "Review_Date", "Average_Score", "Reviewer_Nationality", "Negative_Review", "Review_Total_Negative_Word_Counts", "Positive_Review", "Review_Total_Positive_Word_Counts", "Total_Number_of_Reviews_Reviewer_Has_Given", "Reviewer_Score", "Tags", "days_since_review", "lat", "lng"], axis = 1) + + # Group the rows by Hotel_Name, count them and put the result in a new column Total_Reviews_Found + hotel_freq_df['Total_Reviews_Found'] = hotel_freq_df.groupby('Hotel_Name').transform('count') + + # Get rid of all the duplicated rows + hotel_freq_df = hotel_freq_df.drop_duplicates(subset = ["Hotel_Name"]) + display(hotel_freq_df) + ``` | Hotel_Name | Total_Number_of_Reviews | Total_Reviews_Found | | :----------------------------------------: | :---------------------: | :-----------------: | | Britannia International Hotel Canary Wharf | 9086 | 4789 | | Park Plaza Westminster Bridge London | 12158 | 4169 | | Copthorne Tara Hotel London Kensington | 7105 | 3578 | | ... | ... | ... | | Mercure Paris Porte d Orleans | 110 | 10 | | Hotel Wagner | 135 | 10 | | Hotel Gallitzinberg | 173 | 8 | Anda mungkin perasan bahawa hasil *yang dikira dalam dataset* tidak sepadan dengan nilai dalam `Total_Number_of_Reviews`. Tidak jelas jika nilai dalam dataset ini mewakili jumlah ulasan yang hotel ada, tetapi tidak semua dikikis, atau beberapa pengiraan lain. `Total_Number_of_Reviews` tidak digunakan dalam model kerana ketidakjelasan ini. 5. Walaupun terdapat lajur `Average_Score` untuk setiap hotel dalam dataset, anda juga boleh mengira skor purata (mendapatkan purata semua skor pengulas dalam dataset untuk setiap hotel). Tambah lajur baru kepada dataframe anda dengan tajuk lajur `Calc_Average_Score` yang mengandungi purata yang dikira itu. Cetak lajur `Hotel_Name`, `Average_Score`, dan `Calc_Average_Score`. ```python + # define a function that takes a row and performs some calculation with it + def get_difference_review_avg(row): + return row["Average_Score"] - row["Calc_Average_Score"] + + # 'mean' is mathematical word for 'average' + df['Calc_Average_Score'] = round(df.groupby('Hotel_Name').Reviewer_Score.transform('mean'), 1) + + # Add a new column with the difference between the two average scores + df["Average_Score_Difference"] = df.apply(get_difference_review_avg, axis = 1) + + # Create a df without all the duplicates of Hotel_Name (so only 1 row per hotel) + review_scores_df = df.drop_duplicates(subset = ["Hotel_Name"]) + + # Sort the dataframe to find the lowest and highest average score difference + review_scores_df = review_scores_df.sort_values(by=["Average_Score_Difference"]) + + display(review_scores_df[["Average_Score_Difference", "Average_Score", "Calc_Average_Score", "Hotel_Name"]]) + ``` Anda mungkin juga tertanya-tanya tentang nilai `Average_Score` dan mengapa ia kadang-kadang berbeza daripada skor purata yang dikira. Oleh kerana kita tidak tahu mengapa beberapa nilai sepadan, tetapi yang lain mempunyai perbezaan, adalah lebih selamat dalam kes ini untuk menggunakan skor ulasan yang kita ada untuk mengira purata sendiri. Walau bagaimanapun, perbezaan biasanya sangat kecil, berikut adalah hotel dengan perbezaan terbesar dari purata dataset dan purata yang dikira: | Average_Score_Difference | Average_Score | Calc_Average_Score | Hotel_Name | | :----------------------: | :-----------: | :----------------: | ------------------------------------------: | | -0.8 | 7.7 | 8.5 | Best Western Hotel Astoria | | -0.7 | 8.8 | 9.5 | Hotel Stendhal Place Vend me Paris MGallery | | -0.7 | 7.5 | 8.2 | Mercure Paris Porte d Orleans | | -0.7 | 7.9 | 8.6 | Renaissance Paris Vendome Hotel | | -0.5 | 7.0 | 7.5 | Hotel Royal Elys es | | ... | ... | ... | ... | | 0.7 | 7.5 | 6.8 | Mercure Paris Op ra Faubourg Montmartre | | 0.8 | 7.1 | 6.3 | Holiday Inn Paris Montparnasse Pasteur | | 0.9 | 6.8 | 5.9 | Villa Eugenie | | 0.9 | 8.6 | 7.7 | MARQUIS Faubourg St Honor Relais Ch teaux | | 1.3 | 7.2 | 5.9 | Kube Hotel Ice Bar | Dengan hanya 1 hotel yang mempunyai perbezaan skor lebih daripada 1, ini bermakna kita mungkin boleh mengabaikan perbezaan tersebut dan menggunakan skor purata yang dikira. 6. Kira dan cetak berapa banyak baris yang mempunyai nilai lajur `Negative_Review` "No Negative" 7. Kira dan cetak berapa banyak baris yang mempunyai nilai lajur `Positive_Review` "No Positive" 8. Kira dan cetak berapa banyak baris yang mempunyai nilai lajur `Positive_Review` "No Positive" **dan** nilai lajur `Negative_Review` "No Negative" ```python + # with lambdas: + start = time.time() + no_negative_reviews = df.apply(lambda x: True if x['Negative_Review'] == "No Negative" else False , axis=1) + print("Number of No Negative reviews: " + str(len(no_negative_reviews[no_negative_reviews == True].index))) + + no_positive_reviews = df.apply(lambda x: True if x['Positive_Review'] == "No Positive" else False , axis=1) + print("Number of No Positive reviews: " + str(len(no_positive_reviews[no_positive_reviews == True].index))) + + both_no_reviews = df.apply(lambda x: True if x['Negative_Review'] == "No Negative" and x['Positive_Review'] == "No Positive" else False , axis=1) + print("Number of both No Negative and No Positive reviews: " + str(len(both_no_reviews[both_no_reviews == True].index))) + end = time.time() + print("Lambdas took " + str(round(end - start, 2)) + " seconds") + + Number of No Negative reviews: 127890 + Number of No Positive reviews: 35946 + Number of both No Negative and No Positive reviews: 127 + Lambdas took 9.64 seconds + ``` ## Cara lain Cara lain untuk mengira item tanpa Lambdas, dan menggunakan sum untuk mengira baris: ```python + # without lambdas (using a mixture of notations to show you can use both) + start = time.time() + no_negative_reviews = sum(df.Negative_Review == "No Negative") + print("Number of No Negative reviews: " + str(no_negative_reviews)) + + no_positive_reviews = sum(df["Positive_Review"] == "No Positive") + print("Number of No Positive reviews: " + str(no_positive_reviews)) + + both_no_reviews = sum((df.Negative_Review == "No Negative") & (df.Positive_Review == "No Positive")) + print("Number of both No Negative and No Positive reviews: " + str(both_no_reviews)) + + end = time.time() + print("Sum took " + str(round(end - start, 2)) + " seconds") + + Number of No Negative reviews: 127890 + Number of No Positive reviews: 35946 + Number of both No Negative and No Positive reviews: 127 + Sum took 0.19 seconds + ``` Anda mungkin perasan bahawa terdapat 127 baris yang mempunyai kedua-dua nilai "No Negative" dan "No Positive" untuk lajur `Negative_Review` dan `Positive_Review` masing-masing. Ini bermakna pengulas memberikan skor numerik kepada hotel, tetapi enggan menulis ulasan positif atau negatif. Nasib baik ini adalah jumlah baris yang kecil (127 daripada 515738, atau 0.02%), jadi mungkin tidak akan menjejaskan model atau keputusan kita dalam mana-mana arah tertentu, tetapi anda mungkin tidak menjangkakan dataset ulasan mempunyai baris tanpa ulasan, jadi ia patut meneroka data untuk menemui baris seperti ini. Sekarang setelah anda meneroka dataset, dalam pelajaran seterusnya anda akan menapis data dan menambah beberapa analisis sentimen. --- ## 🚀Cabaran Pelajaran ini menunjukkan, seperti yang kita lihat dalam pelajaran sebelumnya, betapa pentingnya untuk memahami data anda dan kekurangannya sebelum melakukan operasi ke atasnya. Data berasaskan teks, khususnya, memerlukan pemeriksaan yang teliti. Selidiki pelbagai set data yang berat dengan teks dan lihat jika anda dapat menemui kawasan yang boleh memperkenalkan bias atau sentimen yang menyimpang ke dalam model. ## [Kuiz selepas kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/38/) ## Kajian & Pembelajaran Kendiri Ambil [Laluan Pembelajaran ini mengenai NLP](https://docs.microsoft.com/learn/paths/explore-natural-language-processing/?WT.mc_id=academic-77952-leestott) untuk menemui alat yang boleh dicuba semasa membina model yang berat dengan ucapan dan teks. ## Tugasan [NLTK](assignment.md) + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/6-NLP/4-Hotel-Reviews-1/assignment.md b/translations/ms/6-NLP/4-Hotel-Reviews-1/assignment.md new file mode 100644 index 000000000..de49623cd --- /dev/null +++ b/translations/ms/6-NLP/4-Hotel-Reviews-1/assignment.md @@ -0,0 +1,8 @@ +# NLTK + +## Arahan + +NLTK adalah perpustakaan terkenal untuk digunakan dalam linguistik komputasi dan NLP. Ambil peluang ini untuk membaca melalui '[buku NLTK](https://www.nltk.org/book/)' dan cuba latihan-latihannya. Dalam tugasan yang tidak dinilai ini, anda akan mengenali perpustakaan ini dengan lebih mendalam. + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesalahan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/6-NLP/4-Hotel-Reviews-1/solution/Julia/README.md b/translations/ms/6-NLP/4-Hotel-Reviews-1/solution/Julia/README.md new file mode 100644 index 000000000..4173b3b96 --- /dev/null +++ b/translations/ms/6-NLP/4-Hotel-Reviews-1/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/6-NLP/4-Hotel-Reviews-1/solution/R/README.md b/translations/ms/6-NLP/4-Hotel-Reviews-1/solution/R/README.md new file mode 100644 index 000000000..7630a4570 --- /dev/null +++ b/translations/ms/6-NLP/4-Hotel-Reviews-1/solution/R/README.md @@ -0,0 +1,4 @@ + + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/6-NLP/5-Hotel-Reviews-2/README.md b/translations/ms/6-NLP/5-Hotel-Reviews-2/README.md new file mode 100644 index 000000000..535454b55 --- /dev/null +++ b/translations/ms/6-NLP/5-Hotel-Reviews-2/README.md @@ -0,0 +1,377 @@ +# Analisis Sentimen dengan Ulasan Hotel + +Sekarang setelah anda menjelajahi dataset secara detail, saatnya untuk menyaring kolom-kolom dan kemudian menggunakan teknik NLP pada dataset untuk mendapatkan wawasan baru tentang hotel-hotel tersebut. +## [Kuis Pra-Kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/39/) + +### Operasi Penyaringan & Analisis Sentimen + +Seperti yang mungkin sudah anda perhatikan, dataset ini memiliki beberapa masalah. Beberapa kolom diisi dengan informasi yang tidak berguna, yang lain tampaknya tidak benar. Jika mereka benar, tidak jelas bagaimana mereka dihitung, dan jawabannya tidak dapat diverifikasi secara independen oleh perhitungan anda sendiri. + +## Latihan: sedikit lagi pemrosesan data + +Bersihkan data sedikit lagi. Tambahkan kolom yang akan berguna nanti, ubah nilai di kolom lain, dan hapus beberapa kolom sepenuhnya. + +1. Pemrosesan kolom awal + + 1. Hapus `lat` dan `lng` + + 2. Ganti nilai `Hotel_Address` dengan nilai berikut (jika alamat berisi nama kota dan negara, ubah menjadi hanya kota dan negara). + + Ini adalah satu-satunya kota dan negara dalam dataset: + + Amsterdam, Netherlands + + Barcelona, Spain + + London, United Kingdom + + Milan, Italy + + Paris, France + + Vienna, Austria + + ```python + def replace_address(row): + if "Netherlands" in row["Hotel_Address"]: + return "Amsterdam, Netherlands" + elif "Barcelona" in row["Hotel_Address"]: + return "Barcelona, Spain" + elif "United Kingdom" in row["Hotel_Address"]: + return "London, United Kingdom" + elif "Milan" in row["Hotel_Address"]: + return "Milan, Italy" + elif "France" in row["Hotel_Address"]: + return "Paris, France" + elif "Vienna" in row["Hotel_Address"]: + return "Vienna, Austria" + + # Replace all the addresses with a shortened, more useful form + df["Hotel_Address"] = df.apply(replace_address, axis = 1) + # The sum of the value_counts() should add up to the total number of reviews + print(df["Hotel_Address"].value_counts()) + ``` + + Sekarang anda bisa meng-query data tingkat negara: + + ```python + display(df.groupby("Hotel_Address").agg({"Hotel_Name": "nunique"})) + ``` + + | Hotel_Address | Hotel_Name | + | :--------------------- | :--------: | + | Amsterdam, Netherlands | 105 | + | Barcelona, Spain | 211 | + | London, United Kingdom | 400 | + | Milan, Italy | 162 | + | Paris, France | 458 | + | Vienna, Austria | 158 | + +2. Proses kolom Meta-review Hotel + + 1. Hapus `Additional_Number_of_Scoring` + + 1. Replace `Total_Number_of_Reviews` with the total number of reviews for that hotel that are actually in the dataset + + 1. Replace `Average_Score` dengan skor yang dihitung sendiri + + ```python + # Drop `Additional_Number_of_Scoring` + df.drop(["Additional_Number_of_Scoring"], axis = 1, inplace=True) + # Replace `Total_Number_of_Reviews` and `Average_Score` with our own calculated values + df.Total_Number_of_Reviews = df.groupby('Hotel_Name').transform('count') + df.Average_Score = round(df.groupby('Hotel_Name').Reviewer_Score.transform('mean'), 1) + ``` + +3. Proses kolom ulasan + + 1. Hapus `Review_Total_Negative_Word_Counts`, `Review_Total_Positive_Word_Counts`, `Review_Date` and `days_since_review` + + 2. Keep `Reviewer_Score`, `Negative_Review`, and `Positive_Review` as they are, + + 3. Keep `Tags` for now + + - We'll be doing some additional filtering operations on the tags in the next section and then tags will be dropped + +4. Process reviewer columns + + 1. Drop `Total_Number_of_Reviews_Reviewer_Has_Given` + + 2. Keep `Reviewer_Nationality` + +### Tag columns + +The `Tag` column is problematic as it is a list (in text form) stored in the column. Unfortunately the order and number of sub sections in this column are not always the same. It's hard for a human to identify the correct phrases to be interested in, because there are 515,000 rows, and 1427 hotels, and each has slightly different options a reviewer could choose. This is where NLP shines. You can scan the text and find the most common phrases, and count them. + +Unfortunately, we are not interested in single words, but multi-word phrases (e.g. *Business trip*). Running a multi-word frequency distribution algorithm on that much data (6762646 words) could take an extraordinary amount of time, but without looking at the data, it would seem that is a necessary expense. This is where exploratory data analysis comes in useful, because you've seen a sample of the tags such as `[' Business trip ', ' Solo traveler ', ' Single Room ', ' Stayed 5 nights ', ' Submitted from a mobile device ']`, anda bisa mulai bertanya apakah mungkin untuk mengurangi pemrosesan yang harus dilakukan. Untungnya, itu mungkin - tetapi pertama-tama anda perlu mengikuti beberapa langkah untuk memastikan tag yang diminati. + +### Penyaringan tag + +Ingat bahwa tujuan dataset ini adalah untuk menambahkan sentimen dan kolom yang akan membantu anda memilih hotel terbaik (untuk diri sendiri atau mungkin untuk tugas klien yang meminta anda membuat bot rekomendasi hotel). Anda perlu bertanya pada diri sendiri apakah tag tersebut berguna atau tidak dalam dataset akhir. Berikut adalah satu interpretasi (jika anda membutuhkan dataset untuk alasan lain, tag yang berbeda mungkin tetap masuk/keluar dari seleksi): + +1. Jenis perjalanan itu relevan, dan itu harus tetap +2. Jenis kelompok tamu itu penting, dan itu harus tetap +3. Jenis kamar, suite, atau studio tempat tamu menginap tidak relevan (semua hotel pada dasarnya memiliki kamar yang sama) +4. Perangkat yang digunakan untuk mengirim ulasan tidak relevan +5. Jumlah malam yang dihabiskan pengulas *mungkin* relevan jika anda mengaitkan masa tinggal yang lebih lama dengan mereka yang lebih menyukai hotel tersebut, tetapi itu sedikit berlebihan, dan mungkin tidak relevan + +Singkatnya, **pertahankan 2 jenis tag dan hapus yang lain**. + +Pertama, anda tidak ingin menghitung tag sampai mereka dalam format yang lebih baik, jadi itu berarti menghapus tanda kurung siku dan kutipan. Anda bisa melakukannya dengan beberapa cara, tetapi anda ingin yang tercepat karena bisa memakan waktu lama untuk memproses banyak data. Untungnya, pandas memiliki cara mudah untuk melakukan masing-masing langkah ini. + +```Python +# Remove opening and closing brackets +df.Tags = df.Tags.str.strip("[']") +# remove all quotes too +df.Tags = df.Tags.str.replace(" ', '", ",", regex = False) +``` + +Setiap tag menjadi sesuatu seperti: `Business trip, Solo traveler, Single Room, Stayed 5 nights, Submitted from a mobile device`. + +Next we find a problem. Some reviews, or rows, have 5 columns, some 3, some 6. This is a result of how the dataset was created, and hard to fix. You want to get a frequency count of each phrase, but they are in different order in each review, so the count might be off, and a hotel might not get a tag assigned to it that it deserved. + +Instead you will use the different order to our advantage, because each tag is multi-word but also separated by a comma! The simplest way to do this is to create 6 temporary columns with each tag inserted in to the column corresponding to its order in the tag. You can then merge the 6 columns into one big column and run the `value_counts()` method on the resulting column. Printing that out, you'll see there was 2428 unique tags. Here is a small sample: + +| Tag | Count | +| ------------------------------ | ------ | +| Leisure trip | 417778 | +| Submitted from a mobile device | 307640 | +| Couple | 252294 | +| Stayed 1 night | 193645 | +| Stayed 2 nights | 133937 | +| Solo traveler | 108545 | +| Stayed 3 nights | 95821 | +| Business trip | 82939 | +| Group | 65392 | +| Family with young children | 61015 | +| Stayed 4 nights | 47817 | +| Double Room | 35207 | +| Standard Double Room | 32248 | +| Superior Double Room | 31393 | +| Family with older children | 26349 | +| Deluxe Double Room | 24823 | +| Double or Twin Room | 22393 | +| Stayed 5 nights | 20845 | +| Standard Double or Twin Room | 17483 | +| Classic Double Room | 16989 | +| Superior Double or Twin Room | 13570 | +| 2 rooms | 12393 | + +Some of the common tags like `Submitted from a mobile device` are of no use to us, so it might be a smart thing to remove them before counting phrase occurrence, but it is such a fast operation you can leave them in and ignore them. + +### Removing the length of stay tags + +Removing these tags is step 1, it reduces the total number of tags to be considered slightly. Note you do not remove them from the dataset, just choose to remove them from consideration as values to count/keep in the reviews dataset. + +| Length of stay | Count | +| ---------------- | ------ | +| Stayed 1 night | 193645 | +| Stayed 2 nights | 133937 | +| Stayed 3 nights | 95821 | +| Stayed 4 nights | 47817 | +| Stayed 5 nights | 20845 | +| Stayed 6 nights | 9776 | +| Stayed 7 nights | 7399 | +| Stayed 8 nights | 2502 | +| Stayed 9 nights | 1293 | +| ... | ... | + +There are a huge variety of rooms, suites, studios, apartments and so on. They all mean roughly the same thing and not relevant to you, so remove them from consideration. + +| Type of room | Count | +| ----------------------------- | ----- | +| Double Room | 35207 | +| Standard Double Room | 32248 | +| Superior Double Room | 31393 | +| Deluxe Double Room | 24823 | +| Double or Twin Room | 22393 | +| Standard Double or Twin Room | 17483 | +| Classic Double Room | 16989 | +| Superior Double or Twin Room | 13570 | + +Finally, and this is delightful (because it didn't take much processing at all), you will be left with the following *useful* tags: + +| Tag | Count | +| --------------------------------------------- | ------ | +| Leisure trip | 417778 | +| Couple | 252294 | +| Solo traveler | 108545 | +| Business trip | 82939 | +| Group (combined with Travellers with friends) | 67535 | +| Family with young children | 61015 | +| Family with older children | 26349 | +| With a pet | 1405 | + +You could argue that `Travellers with friends` is the same as `Group` more or less, and that would be fair to combine the two as above. The code for identifying the correct tags is [the Tags notebook](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/1-notebook.ipynb). + +The final step is to create new columns for each of these tags. Then, for every review row, if the `Tag` kolom cocok dengan salah satu kolom baru, tambahkan 1, jika tidak, tambahkan 0. Hasil akhirnya adalah hitungan berapa banyak pengulas yang memilih hotel ini (secara agregat) untuk, misalnya, bisnis vs liburan, atau untuk membawa hewan peliharaan, dan ini adalah informasi yang berguna saat merekomendasikan hotel. + +```python +# Process the Tags into new columns +# The file Hotel_Reviews_Tags.py, identifies the most important tags +# Leisure trip, Couple, Solo traveler, Business trip, Group combined with Travelers with friends, +# Family with young children, Family with older children, With a pet +df["Leisure_trip"] = df.Tags.apply(lambda tag: 1 if "Leisure trip" in tag else 0) +df["Couple"] = df.Tags.apply(lambda tag: 1 if "Couple" in tag else 0) +df["Solo_traveler"] = df.Tags.apply(lambda tag: 1 if "Solo traveler" in tag else 0) +df["Business_trip"] = df.Tags.apply(lambda tag: 1 if "Business trip" in tag else 0) +df["Group"] = df.Tags.apply(lambda tag: 1 if "Group" in tag or "Travelers with friends" in tag else 0) +df["Family_with_young_children"] = df.Tags.apply(lambda tag: 1 if "Family with young children" in tag else 0) +df["Family_with_older_children"] = df.Tags.apply(lambda tag: 1 if "Family with older children" in tag else 0) +df["With_a_pet"] = df.Tags.apply(lambda tag: 1 if "With a pet" in tag else 0) + +``` + +### Simpan file anda + +Akhirnya, simpan dataset sebagaimana adanya sekarang dengan nama baru. + +```python +df.drop(["Review_Total_Negative_Word_Counts", "Review_Total_Positive_Word_Counts", "days_since_review", "Total_Number_of_Reviews_Reviewer_Has_Given"], axis = 1, inplace=True) + +# Saving new data file with calculated columns +print("Saving results to Hotel_Reviews_Filtered.csv") +df.to_csv(r'../data/Hotel_Reviews_Filtered.csv', index = False) +``` + +## Operasi Analisis Sentimen + +Di bagian akhir ini, anda akan menerapkan analisis sentimen pada kolom ulasan dan menyimpan hasilnya dalam dataset. + +## Latihan: memuat dan menyimpan data yang sudah disaring + +Perhatikan bahwa sekarang anda memuat dataset yang sudah disaring yang disimpan di bagian sebelumnya, **bukan** dataset asli. + +```python +import time +import pandas as pd +import nltk as nltk +from nltk.corpus import stopwords +from nltk.sentiment.vader import SentimentIntensityAnalyzer +nltk.download('vader_lexicon') + +# Load the filtered hotel reviews from CSV +df = pd.read_csv('../../data/Hotel_Reviews_Filtered.csv') + +# You code will be added here + + +# Finally remember to save the hotel reviews with new NLP data added +print("Saving results to Hotel_Reviews_NLP.csv") +df.to_csv(r'../data/Hotel_Reviews_NLP.csv', index = False) +``` + +### Menghapus kata-kata stop + +Jika anda menjalankan Analisis Sentimen pada kolom Ulasan Negatif dan Positif, itu bisa memakan waktu lama. Diuji pada laptop uji yang kuat dengan CPU cepat, itu memakan waktu 12 - 14 menit tergantung pada perpustakaan sentimen yang digunakan. Itu adalah waktu yang (relatif) lama, jadi patut diselidiki apakah itu bisa dipercepat. + +Menghapus kata-kata stop, atau kata-kata umum dalam bahasa Inggris yang tidak mengubah sentimen suatu kalimat, adalah langkah pertama. Dengan menghapusnya, analisis sentimen harus berjalan lebih cepat, tetapi tidak kurang akurat (karena kata-kata stop tidak mempengaruhi sentimen, tetapi mereka memperlambat analisis). + +Ulasan negatif terpanjang adalah 395 kata, tetapi setelah menghapus kata-kata stop, itu menjadi 195 kata. + +Menghapus kata-kata stop juga merupakan operasi yang cepat, menghapus kata-kata stop dari 2 kolom ulasan lebih dari 515.000 baris memakan waktu 3,3 detik pada perangkat uji. Itu bisa memakan waktu sedikit lebih atau kurang untuk anda tergantung pada kecepatan CPU perangkat anda, RAM, apakah anda memiliki SSD atau tidak, dan beberapa faktor lainnya. Relatif singkatnya operasi ini berarti bahwa jika itu meningkatkan waktu analisis sentimen, maka itu layak dilakukan. + +```python +from nltk.corpus import stopwords + +# Load the hotel reviews from CSV +df = pd.read_csv("../../data/Hotel_Reviews_Filtered.csv") + +# Remove stop words - can be slow for a lot of text! +# Ryan Han (ryanxjhan on Kaggle) has a great post measuring performance of different stop words removal approaches +# https://www.kaggle.com/ryanxjhan/fast-stop-words-removal # using the approach that Ryan recommends +start = time.time() +cache = set(stopwords.words("english")) +def remove_stopwords(review): + text = " ".join([word for word in review.split() if word not in cache]) + return text + +# Remove the stop words from both columns +df.Negative_Review = df.Negative_Review.apply(remove_stopwords) +df.Positive_Review = df.Positive_Review.apply(remove_stopwords) +``` + +### Melakukan analisis sentimen + +Sekarang anda harus menghitung analisis sentimen untuk kolom ulasan negatif dan positif, dan menyimpan hasilnya dalam 2 kolom baru. Uji sentimen akan membandingkannya dengan skor pengulas untuk ulasan yang sama. Misalnya, jika sentimen berpikir ulasan negatif memiliki sentimen 1 (sentimen sangat positif) dan sentimen ulasan positif 1, tetapi pengulas memberi hotel skor terendah yang mungkin, maka teks ulasan tidak cocok dengan skor, atau analisis sentimen tidak dapat mengenali sentimen dengan benar. Anda harus mengharapkan beberapa skor sentimen sepenuhnya salah, dan sering kali itu bisa dijelaskan, misalnya ulasan bisa sangat sarkastis "Tentu saja saya SANGAT MENYUKAI tidur di kamar tanpa pemanas" dan analisis sentimen berpikir itu adalah sentimen positif, meskipun manusia yang membacanya akan tahu itu adalah sarkasme. + +NLTK menyediakan berbagai analis sentimen untuk dipelajari, dan anda bisa menggantinya dan melihat apakah sentimen lebih atau kurang akurat. Analisis sentimen VADER digunakan di sini. + +> Hutto, C.J. & Gilbert, E.E. (2014). VADER: Model Berbasis Aturan yang Parsimonious untuk Analisis Sentimen Teks Media Sosial. Konferensi Internasional Kedelapan tentang Weblogs dan Media Sosial (ICWSM-14). Ann Arbor, MI, Juni 2014. + +```python +from nltk.sentiment.vader import SentimentIntensityAnalyzer + +# Create the vader sentiment analyser (there are others in NLTK you can try too) +vader_sentiment = SentimentIntensityAnalyzer() +# Hutto, C.J. & Gilbert, E.E. (2014). VADER: A Parsimonious Rule-based Model for Sentiment Analysis of Social Media Text. Eighth International Conference on Weblogs and Social Media (ICWSM-14). Ann Arbor, MI, June 2014. + +# There are 3 possibilities of input for a review: +# It could be "No Negative", in which case, return 0 +# It could be "No Positive", in which case, return 0 +# It could be a review, in which case calculate the sentiment +def calc_sentiment(review): + if review == "No Negative" or review == "No Positive": + return 0 + return vader_sentiment.polarity_scores(review)["compound"] +``` + +Nantinya dalam program anda ketika anda siap menghitung sentimen, anda bisa menerapkannya pada setiap ulasan sebagai berikut: + +```python +# Add a negative sentiment and positive sentiment column +print("Calculating sentiment columns for both positive and negative reviews") +start = time.time() +df["Negative_Sentiment"] = df.Negative_Review.apply(calc_sentiment) +df["Positive_Sentiment"] = df.Positive_Review.apply(calc_sentiment) +end = time.time() +print("Calculating sentiment took " + str(round(end - start, 2)) + " seconds") +``` + +Ini memakan waktu sekitar 120 detik di komputer saya, tetapi akan bervariasi di setiap komputer. Jika anda ingin mencetak hasilnya dan melihat apakah sentimen sesuai dengan ulasan: + +```python +df = df.sort_values(by=["Negative_Sentiment"], ascending=True) +print(df[["Negative_Review", "Negative_Sentiment"]]) +df = df.sort_values(by=["Positive_Sentiment"], ascending=True) +print(df[["Positive_Review", "Positive_Sentiment"]]) +``` + +Hal terakhir yang harus dilakukan dengan file sebelum menggunakannya dalam tantangan adalah menyimpannya! Anda juga harus mempertimbangkan untuk mengatur ulang semua kolom baru anda agar mudah digunakan (untuk manusia, ini adalah perubahan kosmetik). + +```python +# Reorder the columns (This is cosmetic, but to make it easier to explore the data later) +df = df.reindex(["Hotel_Name", "Hotel_Address", "Total_Number_of_Reviews", "Average_Score", "Reviewer_Score", "Negative_Sentiment", "Positive_Sentiment", "Reviewer_Nationality", "Leisure_trip", "Couple", "Solo_traveler", "Business_trip", "Group", "Family_with_young_children", "Family_with_older_children", "With_a_pet", "Negative_Review", "Positive_Review"], axis=1) + +print("Saving results to Hotel_Reviews_NLP.csv") +df.to_csv(r"../data/Hotel_Reviews_NLP.csv", index = False) +``` + +Anda harus menjalankan seluruh kode untuk [notebook analisis](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/3-notebook.ipynb) (setelah anda menjalankan [notebook penyaringan](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/1-notebook.ipynb) untuk menghasilkan file Hotel_Reviews_Filtered.csv). + +Untuk meninjau, langkah-langkahnya adalah: + +1. File dataset asli **Hotel_Reviews.csv** dieksplorasi dalam pelajaran sebelumnya dengan [notebook penjelajah](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/4-Hotel-Reviews-1/solution/notebook.ipynb) +2. Hotel_Reviews.csv disaring oleh [notebook penyaringan](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/1-notebook.ipynb) menghasilkan **Hotel_Reviews_Filtered.csv** +3. Hotel_Reviews_Filtered.csv diproses oleh [notebook analisis sentimen](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/3-notebook.ipynb) menghasilkan **Hotel_Reviews_NLP.csv** +4. Gunakan Hotel_Reviews_NLP.csv dalam Tantangan NLP di bawah ini + +### Kesimpulan + +Ketika anda mulai, anda memiliki dataset dengan kolom dan data tetapi tidak semuanya dapat diverifikasi atau digunakan. Anda telah menjelajahi data, menyaring apa yang tidak anda butuhkan, mengubah tag menjadi sesuatu yang berguna, menghitung rata-rata anda sendiri, menambahkan beberapa kolom sentimen dan semoga, mempelajari beberapa hal menarik tentang pemrosesan teks alami. + +## [Kuis Pasca-Kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/40/) + +## Tantangan + +Sekarang setelah anda menganalisis dataset untuk sentimen, lihat apakah anda bisa menggunakan strategi yang telah anda pelajari dalam kurikulum ini (klastering, mungkin?) untuk menentukan pola di sekitar sentimen. + +## Tinjauan & Studi Mandiri + +Ikuti [modul Learn ini](https://docs.microsoft.com/en-us/learn/modules/classify-user-feedback-with-the-text-analytics-api/?WT.mc_id=academic-77952-leestott) untuk mempelajari lebih lanjut dan menggunakan alat yang berbeda untuk menjelajahi sentimen dalam teks. +## Tugas + +[Coba dataset yang berbeda](assignment.md) + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/6-NLP/5-Hotel-Reviews-2/assignment.md b/translations/ms/6-NLP/5-Hotel-Reviews-2/assignment.md new file mode 100644 index 000000000..d2734f220 --- /dev/null +++ b/translations/ms/6-NLP/5-Hotel-Reviews-2/assignment.md @@ -0,0 +1,14 @@ +# Cuba dataset yang berbeza + +## Arahan + +Sekarang setelah anda belajar tentang menggunakan NLTK untuk menetapkan sentimen kepada teks, cuba dataset yang berbeza. Anda mungkin perlu melakukan beberapa pemprosesan data, jadi buat notebook dan dokumentasikan proses pemikiran anda. Apa yang anda temui? + +## Rubrik + +| Kriteria | Cemerlang | Memadai | Perlu Penambahbaikan | +| -------- | ----------------------------------------------------------------------------------------------------------------- | ----------------------------------------- | ---------------------- | +| | Notebook lengkap dan dataset disertakan dengan sel-sel yang didokumentasikan dengan baik menerangkan bagaimana sentimen ditetapkan | Notebook kekurangan penjelasan yang baik | Notebook mempunyai kecacatan | + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/6-NLP/5-Hotel-Reviews-2/solution/Julia/README.md b/translations/ms/6-NLP/5-Hotel-Reviews-2/solution/Julia/README.md new file mode 100644 index 000000000..84c037866 --- /dev/null +++ b/translations/ms/6-NLP/5-Hotel-Reviews-2/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila maklum bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/6-NLP/5-Hotel-Reviews-2/solution/R/README.md b/translations/ms/6-NLP/5-Hotel-Reviews-2/solution/R/README.md new file mode 100644 index 000000000..6e0249da4 --- /dev/null +++ b/translations/ms/6-NLP/5-Hotel-Reviews-2/solution/R/README.md @@ -0,0 +1,4 @@ + + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber berwibawa. Untuk maklumat penting, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab ke atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/6-NLP/README.md b/translations/ms/6-NLP/README.md new file mode 100644 index 000000000..4523ca0fd --- /dev/null +++ b/translations/ms/6-NLP/README.md @@ -0,0 +1,27 @@ +# Memulakan dengan pemprosesan bahasa semula jadi + +Pemprosesan bahasa semula jadi (NLP) adalah keupayaan program komputer untuk memahami bahasa manusia seperti yang dituturkan dan ditulis -- dirujuk sebagai bahasa semula jadi. Ia adalah komponen kecerdasan buatan (AI). NLP telah wujud lebih daripada 50 tahun dan mempunyai akar dalam bidang linguistik. Keseluruhan bidang ini ditujukan untuk membantu mesin memahami dan memproses bahasa manusia. Ini kemudian boleh digunakan untuk melaksanakan tugas seperti pemeriksaan ejaan atau terjemahan mesin. Ia mempunyai pelbagai aplikasi dunia sebenar dalam beberapa bidang, termasuk penyelidikan perubatan, enjin carian dan kecerdasan perniagaan. + +## Topik serantau: Bahasa dan sastera Eropah dan hotel romantik di Eropah ❤️ + +Dalam bahagian kurikulum ini, anda akan diperkenalkan kepada salah satu penggunaan pembelajaran mesin yang paling meluas: pemprosesan bahasa semula jadi (NLP). Diperoleh daripada linguistik komputasi, kategori kecerdasan buatan ini adalah jambatan antara manusia dan mesin melalui komunikasi suara atau teks. + +Dalam pelajaran ini kita akan belajar asas-asas NLP dengan membina bot perbualan kecil untuk mempelajari bagaimana pembelajaran mesin membantu menjadikan perbualan ini semakin 'pintar'. Anda akan mengembara ke masa lalu, berbual dengan Elizabeth Bennett dan Mr. Darcy dari novel klasik Jane Austen, **Pride and Prejudice**, yang diterbitkan pada tahun 1813. Kemudian, anda akan menambah pengetahuan anda dengan mempelajari tentang analisis sentimen melalui ulasan hotel di Eropah. + + +> Foto oleh Elaine Howlin di Unsplash + +## Pelajaran + +1. [Pengenalan kepada pemprosesan bahasa semula jadi](1-Introduction-to-NLP/README.md) +2. [Tugas dan teknik NLP yang biasa](2-Tasks/README.md) +3. [Terjemahan dan analisis sentimen dengan pembelajaran mesin](3-Translation-Sentiment/README.md) +4. [Menyiapkan data anda](4-Hotel-Reviews-1/README.md) +5. [NLTK untuk Analisis Sentimen](5-Hotel-Reviews-2/README.md) + +## Kredit + +Pelajaran pemprosesan bahasa semula jadi ini ditulis dengan ☕ oleh [Stephen Howell](https://twitter.com/Howell_MSFT) + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat penting, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab ke atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/6-NLP/data/README.md b/translations/ms/6-NLP/data/README.md new file mode 100644 index 000000000..4173b3b96 --- /dev/null +++ b/translations/ms/6-NLP/data/README.md @@ -0,0 +1,4 @@ + + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/7-TimeSeries/1-Introduction/README.md b/translations/ms/7-TimeSeries/1-Introduction/README.md new file mode 100644 index 000000000..b1d34b59f --- /dev/null +++ b/translations/ms/7-TimeSeries/1-Introduction/README.md @@ -0,0 +1,188 @@ +# Pengenalan kepada ramalan siri masa + + + +> Sketchnote oleh [Tomomi Imura](https://www.twitter.com/girlie_mac) + +Dalam pelajaran ini dan pelajaran berikutnya, anda akan mempelajari sedikit tentang ramalan siri masa, satu bahagian yang menarik dan berharga dalam repertoir seorang saintis ML yang kurang dikenali berbanding topik lain. Ramalan siri masa adalah sejenis 'bola kristal': berdasarkan prestasi lalu sesuatu pembolehubah seperti harga, anda boleh meramalkan nilai potensinya pada masa depan. + +[](https://youtu.be/cBojo1hsHiI "Pengenalan kepada ramalan siri masa") + +> 🎥 Klik imej di atas untuk video tentang ramalan siri masa + +## [Kuiz pra-kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/41/) + +Ia adalah bidang yang berguna dan menarik dengan nilai sebenar kepada perniagaan, memandangkan aplikasinya yang langsung kepada masalah penentuan harga, inventori, dan isu rantaian bekalan. Walaupun teknik pembelajaran mendalam telah mula digunakan untuk mendapatkan lebih banyak wawasan bagi meramalkan prestasi masa depan dengan lebih baik, ramalan siri masa tetap menjadi bidang yang banyak dimaklumkan oleh teknik ML klasik. + +> Kurikulum siri masa yang berguna dari Penn State boleh didapati [di sini](https://online.stat.psu.edu/stat510/lesson/1) + +## Pengenalan + +Bayangkan anda menyelenggara satu rangkaian meter parkir pintar yang menyediakan data tentang seberapa kerap ia digunakan dan untuk berapa lama dari semasa ke semasa. + +> Bagaimana jika anda boleh meramalkan, berdasarkan prestasi lalu meter tersebut, nilai masa depannya mengikut undang-undang penawaran dan permintaan? + +Meramalkan dengan tepat bila untuk bertindak bagi mencapai matlamat anda adalah cabaran yang boleh ditangani oleh ramalan siri masa. Ia mungkin tidak menyenangkan orang ramai apabila dikenakan bayaran lebih tinggi pada masa sibuk ketika mereka mencari tempat parkir, tetapi ia adalah cara yang pasti untuk menjana pendapatan untuk membersihkan jalan! + +Mari kita terokai beberapa jenis algoritma siri masa dan mulakan sebuah buku nota untuk membersihkan dan menyediakan beberapa data. Data yang akan anda analisis diambil dari pertandingan ramalan GEFCom2014. Ia terdiri daripada 3 tahun nilai beban elektrik dan suhu setiap jam antara 2012 dan 2014. Berdasarkan corak sejarah beban elektrik dan suhu, anda boleh meramalkan nilai masa depan beban elektrik. + +Dalam contoh ini, anda akan belajar bagaimana untuk meramalkan satu langkah masa ke hadapan, hanya menggunakan data beban sejarah. Sebelum memulakan, bagaimanapun, adalah berguna untuk memahami apa yang berlaku di sebalik tabir. + +## Beberapa definisi + +Apabila menghadapi istilah 'siri masa' anda perlu memahami penggunaannya dalam beberapa konteks yang berbeza. + +🎓 **Siri masa** + +Dalam matematik, "siri masa adalah satu siri titik data yang diindeks (atau disenaraikan atau diplot) mengikut urutan masa. Selalunya, siri masa adalah urutan yang diambil pada titik masa yang sama jarak." Contoh siri masa adalah nilai penutupan harian [Dow Jones Industrial Average](https://wikipedia.org/wiki/Time_series). Penggunaan plot siri masa dan pemodelan statistik sering ditemui dalam pemprosesan isyarat, ramalan cuaca, ramalan gempa bumi, dan bidang lain di mana peristiwa berlaku dan titik data boleh diplot mengikut masa. + +🎓 **Analisis siri masa** + +Analisis siri masa adalah analisis data siri masa yang disebutkan di atas. Data siri masa boleh mengambil bentuk yang berbeza, termasuk 'siri masa terganggu' yang mengesan corak dalam evolusi siri masa sebelum dan selepas peristiwa yang mengganggu. Jenis analisis yang diperlukan untuk siri masa bergantung pada sifat data. Data siri masa itu sendiri boleh berbentuk siri nombor atau aksara. + +Analisis yang akan dijalankan menggunakan pelbagai kaedah, termasuk domain frekuensi dan domain masa, linear dan tidak linear, dan banyak lagi. [Ketahui lebih lanjut](https://www.itl.nist.gov/div898/handbook/pmc/section4/pmc4.htm) tentang pelbagai cara untuk menganalisis jenis data ini. + +🎓 **Ramalan siri masa** + +Ramalan siri masa adalah penggunaan model untuk meramalkan nilai masa depan berdasarkan corak yang dipamerkan oleh data yang dikumpulkan sebelum ini seperti yang berlaku pada masa lalu. Walaupun mungkin untuk menggunakan model regresi untuk meneroka data siri masa, dengan indeks masa sebagai pembolehubah x pada plot, data sedemikian paling baik dianalisis menggunakan jenis model khas. + +Data siri masa adalah senarai pemerhatian yang dipesan, tidak seperti data yang boleh dianalisis dengan regresi linear. Yang paling biasa adalah ARIMA, akronim yang bermaksud "Autoregressive Integrated Moving Average". + +[Model ARIMA](https://online.stat.psu.edu/stat510/lesson/1/1.1) "mengaitkan nilai semasa siri kepada nilai masa lalu dan ralat ramalan masa lalu." Ia paling sesuai untuk menganalisis data domain masa, di mana data diatur mengikut masa. + +> Terdapat beberapa jenis model ARIMA, yang boleh anda pelajari [di sini](https://people.duke.edu/~rnau/411arim.htm) dan yang akan anda sentuh dalam pelajaran seterusnya. + +Dalam pelajaran seterusnya, anda akan membina model ARIMA menggunakan [Univariate Time Series](https://itl.nist.gov/div898/handbook/pmc/section4/pmc44.htm), yang menumpukan pada satu pembolehubah yang mengubah nilainya dari semasa ke semasa. Contoh jenis data ini adalah [set data ini](https://itl.nist.gov/div898/handbook/pmc/section4/pmc4411.htm) yang merekodkan kepekatan C02 bulanan di Observatori Mauna Loa: + +| CO2 | YearMonth | Year | Month | +| :----: | :-------: | :---: | :---: | +| 330.62 | 1975.04 | 1975 | 1 | +| 331.40 | 1975.13 | 1975 | 2 | +| 331.87 | 1975.21 | 1975 | 3 | +| 333.18 | 1975.29 | 1975 | 4 | +| 333.92 | 1975.38 | 1975 | 5 | +| 333.43 | 1975.46 | 1975 | 6 | +| 331.85 | 1975.54 | 1975 | 7 | +| 330.01 | 1975.63 | 1975 | 8 | +| 328.51 | 1975.71 | 1975 | 9 | +| 328.41 | 1975.79 | 1975 | 10 | +| 329.25 | 1975.88 | 1975 | 11 | +| 330.97 | 1975.96 | 1975 | 12 | + +✅ Kenal pasti pembolehubah yang berubah dari semasa ke semasa dalam set data ini + +## Ciri-ciri data siri masa untuk dipertimbangkan + +Apabila melihat data siri masa, anda mungkin perasan bahawa ia mempunyai [ciri-ciri tertentu](https://online.stat.psu.edu/stat510/lesson/1/1.1) yang perlu anda ambil kira dan kurangkan untuk lebih memahami coraknya. Jika anda menganggap data siri masa berpotensi memberikan 'isyarat' yang anda ingin analisis, ciri-ciri ini boleh dianggap sebagai 'bunyi'. Anda sering perlu mengurangkan 'bunyi' ini dengan mengimbangi beberapa ciri ini menggunakan beberapa teknik statistik. + +Berikut adalah beberapa konsep yang anda perlu tahu untuk bekerja dengan siri masa: + +🎓 **Tren** + +Tren ditakrifkan sebagai peningkatan dan penurunan yang boleh diukur dari semasa ke semasa. [Baca lebih lanjut](https://machinelearningmastery.com/time-series-trends-in-python). Dalam konteks siri masa, ia adalah tentang cara menggunakan dan, jika perlu, menghapuskan tren dari siri masa anda. + +🎓 **[Musim](https://machinelearningmastery.com/time-series-seasonality-with-python/)** + +Musim ditakrifkan sebagai turun naik berkala, seperti lonjakan cuti yang mungkin mempengaruhi jualan, sebagai contoh. [Lihat](https://itl.nist.gov/div898/handbook/pmc/section4/pmc443.htm) bagaimana jenis plot yang berbeza memaparkan musim dalam data. + +🎓 **Pelepasan** + +Pelepasan adalah jauh dari varians data standard. + +🎓 **Kitaran jangka panjang** + +Bebas daripada musim, data mungkin memaparkan kitaran jangka panjang seperti kemerosotan ekonomi yang berlangsung lebih lama daripada setahun. + +🎓 **Varians tetap** + +Dari semasa ke semasa, sesetengah data memaparkan turun naik yang tetap, seperti penggunaan tenaga setiap hari dan malam. + +🎓 **Perubahan mendadak** + +Data mungkin memaparkan perubahan mendadak yang mungkin memerlukan analisis lanjut. Penutupan perniagaan secara mendadak akibat COVID, sebagai contoh, menyebabkan perubahan dalam data. + +✅ Berikut adalah [contoh plot siri masa](https://www.kaggle.com/kashnitsky/topic-9-part-1-time-series-analysis-in-python) yang menunjukkan perbelanjaan mata wang dalam permainan harian selama beberapa tahun. Bolehkah anda mengenal pasti mana-mana ciri yang disenaraikan di atas dalam data ini? + + + +## Latihan - bermula dengan data penggunaan kuasa + +Mari kita mula mencipta model siri masa untuk meramalkan penggunaan kuasa masa depan berdasarkan penggunaan masa lalu. + +> Data dalam contoh ini diambil dari pertandingan ramalan GEFCom2014. Ia terdiri daripada 3 tahun nilai beban elektrik dan suhu setiap jam antara 2012 dan 2014. +> +> Tao Hong, Pierre Pinson, Shu Fan, Hamidreza Zareipour, Alberto Troccoli dan Rob J. Hyndman, "Ramalan tenaga probabilistik: Pertandingan Ramalan Tenaga Global 2014 dan seterusnya", International Journal of Forecasting, vol.32, no.3, pp 896-913, Julai-September, 2016. + +1. Dalam folder `working` pelajaran ini, buka fail _notebook.ipynb_. Mulakan dengan menambah perpustakaan yang akan membantu anda memuat dan memvisualisasikan data + + ```python + import os + import matplotlib.pyplot as plt + from common.utils import load_data + %matplotlib inline + ``` + + Perhatikan, anda menggunakan fail daripada `common` folder which set up your environment and handle downloading the data. + +2. Next, examine the data as a dataframe calling `load_data()` and `head()` yang disertakan: + + ```python + data_dir = './data' + energy = load_data(data_dir)[['load']] + energy.head() + ``` + + Anda dapat melihat bahawa terdapat dua lajur yang mewakili tarikh dan beban: + + | | load | + | :-----------------: | :----: | + | 2012-01-01 00:00:00 | 2698.0 | + | 2012-01-01 01:00:00 | 2558.0 | + | 2012-01-01 02:00:00 | 2444.0 | + | 2012-01-01 03:00:00 | 2402.0 | + | 2012-01-01 04:00:00 | 2403.0 | + +3. Sekarang, plot data dengan memanggil `plot()`: + + ```python + energy.plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + +4. Sekarang, plot minggu pertama bulan Julai 2014, dengan memberikannya sebagai input kepada corak `energy` in `[from date]: [to date]`: + + ```python + energy['2014-07-01':'2014-07-07'].plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + + Plot yang cantik! Lihatlah plot-plot ini dan lihat jika anda boleh menentukan mana-mana ciri yang disenaraikan di atas. Apa yang boleh kita simpulkan dengan memvisualisasikan data? + +Dalam pelajaran seterusnya, anda akan mencipta model ARIMA untuk membuat beberapa ramalan. + +--- + +## 🚀Cabaran + +Buat senarai semua industri dan bidang kajian yang anda boleh fikirkan yang akan mendapat manfaat daripada ramalan siri masa. Bolehkah anda memikirkan aplikasi teknik-teknik ini dalam seni? Dalam Ekonometrik? Ekologi? Runcit? Industri? Kewangan? Di mana lagi? + +## [Kuiz pasca-kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/42/) + +## Tinjauan & Kajian Sendiri + +Walaupun kita tidak akan membincangkannya di sini, rangkaian neural kadangkala digunakan untuk meningkatkan kaedah klasik ramalan siri masa. Baca lebih lanjut tentang mereka [dalam artikel ini](https://medium.com/microsoftazure/neural-networks-for-forecasting-financial-and-economic-time-series-6aca370ff412) + +## Tugasan + +[Visualisasikan lebih banyak siri masa](assignment.md) + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila maklum bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/7-TimeSeries/1-Introduction/assignment.md b/translations/ms/7-TimeSeries/1-Introduction/assignment.md new file mode 100644 index 000000000..8bcfec973 --- /dev/null +++ b/translations/ms/7-TimeSeries/1-Introduction/assignment.md @@ -0,0 +1,14 @@ +# Visualisasikan Beberapa Lagi Siri Masa + +## Arahan + +Anda telah mula mempelajari tentang Ramalan Siri Masa dengan melihat jenis data yang memerlukan pemodelan khas ini. Anda telah memvisualisasikan beberapa data berkaitan tenaga. Sekarang, carilah beberapa data lain yang akan mendapat manfaat daripada Ramalan Siri Masa. Cari tiga contoh (cuba [Kaggle](https://kaggle.com) dan [Azure Open Datasets](https://azure.microsoft.com/en-us/services/open-datasets/catalog/?WT.mc_id=academic-77952-leestott)) dan buat satu notebook untuk memvisualisasikannya. Catatkan sebarang ciri khas yang mereka ada (musim, perubahan mendadak, atau trend lain) dalam notebook tersebut. + +## Rubrik + +| Kriteria | Contoh Terbaik | Memadai | Perlu Penambahbaikan | +| -------- | ---------------------------------------------------------- | --------------------------------------------------- | -------------------------------------------------------------------------------------------- | +| | Tiga set data diplot dan dijelaskan dalam notebook | Dua set data diplot dan dijelaskan dalam notebook | Beberapa set data diplot atau dijelaskan dalam notebook atau data yang disampaikan tidak mencukupi | + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat penting, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/7-TimeSeries/1-Introduction/solution/Julia/README.md b/translations/ms/7-TimeSeries/1-Introduction/solution/Julia/README.md new file mode 100644 index 000000000..7630a4570 --- /dev/null +++ b/translations/ms/7-TimeSeries/1-Introduction/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/7-TimeSeries/1-Introduction/solution/R/README.md b/translations/ms/7-TimeSeries/1-Introduction/solution/R/README.md new file mode 100644 index 000000000..d554defb7 --- /dev/null +++ b/translations/ms/7-TimeSeries/1-Introduction/solution/R/README.md @@ -0,0 +1,4 @@ + + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab ke atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/7-TimeSeries/2-ARIMA/README.md b/translations/ms/7-TimeSeries/2-ARIMA/README.md new file mode 100644 index 000000000..de5b8df54 --- /dev/null +++ b/translations/ms/7-TimeSeries/2-ARIMA/README.md @@ -0,0 +1,396 @@ +# Ramalan siri masa dengan ARIMA + +Dalam pelajaran sebelumnya, anda telah mempelajari sedikit tentang ramalan siri masa dan memuat dataset yang menunjukkan turun naik beban elektrik dalam satu tempoh masa. + +[](https://youtu.be/IUSk-YDau10 "Pengenalan kepada ARIMA") + +> 🎥 Klik pada imej di atas untuk video: Pengenalan ringkas kepada model ARIMA. Contoh dilakukan dalam R, tetapi konsepnya adalah universal. + +## [Kuiz pra-kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/43/) + +## Pengenalan + +Dalam pelajaran ini, anda akan menemui cara khusus untuk membina model dengan [ARIMA: *A*uto*R*egressive *I*ntegrated *M*oving *A*verage](https://wikipedia.org/wiki/Autoregressive_integrated_moving_average). Model ARIMA sangat sesuai untuk data yang menunjukkan [ketidakstasioner](https://wikipedia.org/wiki/Stationary_process). + +## Konsep umum + +Untuk dapat bekerja dengan ARIMA, terdapat beberapa konsep yang perlu anda ketahui: + +- 🎓 **Stasioneriti**. Dari konteks statistik, stasioneriti merujuk kepada data yang taburannya tidak berubah apabila digeser dalam masa. Data yang tidak stasioner, kemudian, menunjukkan turun naik akibat tren yang mesti ditransformasikan untuk dianalisis. Musim, sebagai contoh, boleh memperkenalkan turun naik dalam data dan boleh dihapuskan melalui proses 'perbezaan bermusim'. + +- 🎓 **[Perbezaan](https://wikipedia.org/wiki/Autoregressive_integrated_moving_average#Differencing)**. Membezakan data, sekali lagi dari konteks statistik, merujuk kepada proses mengubah data yang tidak stasioner untuk menjadikannya stasioner dengan menghapuskan tren yang tidak tetap. "Perbezaan menghapuskan perubahan dalam tahap siri masa, menghapuskan tren dan musim dan seterusnya menstabilkan purata siri masa." [Kertas oleh Shixiong et al](https://arxiv.org/abs/1904.07632) + +## ARIMA dalam konteks siri masa + +Mari kita huraikan bahagian-bahagian ARIMA untuk lebih memahami bagaimana ia membantu kita memodelkan siri masa dan membantu kita membuat ramalan terhadapnya. + +- **AR - untuk AutoRegressive**. Model autoregressive, seperti namanya, melihat 'ke belakang' dalam masa untuk menganalisis nilai-nilai terdahulu dalam data anda dan membuat anggapan mengenainya. Nilai-nilai terdahulu ini dipanggil 'lags'. Contohnya ialah data yang menunjukkan jualan bulanan pensel. Jumlah jualan setiap bulan akan dianggap sebagai 'pembolehubah yang berkembang' dalam dataset. Model ini dibina kerana "pembolehubah yang berkembang menarik minat diregresi pada nilai terdahulunya sendiri (iaitu, nilai sebelumnya)." [wikipedia](https://wikipedia.org/wiki/Autoregressive_integrated_moving_average) + +- **I - untuk Integrated**. Berbeza dengan model 'ARMA' yang serupa, 'I' dalam ARIMA merujuk kepada aspek *[terintegrasi](https://wikipedia.org/wiki/Order_of_integration)*. Data 'terintegrasi' apabila langkah-langkah perbezaan diterapkan untuk menghapuskan ketidakstasioner. + +- **MA - untuk Moving Average**. Aspek [moving-average](https://wikipedia.org/wiki/Moving-average_model) model ini merujuk kepada pembolehubah output yang ditentukan dengan memerhati nilai semasa dan masa lalu lag. + +Kesimpulan: ARIMA digunakan untuk membuat model sesuai dengan bentuk khas data siri masa seakrab mungkin. + +## Latihan - bina model ARIMA + +Buka folder [_/working_](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA/working) dalam pelajaran ini dan cari fail [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/7-TimeSeries/2-ARIMA/working/notebook.ipynb). + +1. Jalankan notebook untuk memuat perpustakaan `statsmodels` Python; anda akan memerlukannya untuk model ARIMA. + +1. Muatkan perpustakaan yang diperlukan + +1. Sekarang, muatkan beberapa perpustakaan lagi yang berguna untuk melukis data: + + ```python + import os + import warnings + import matplotlib.pyplot as plt + import numpy as np + import pandas as pd + import datetime as dt + import math + + from pandas.plotting import autocorrelation_plot + from statsmodels.tsa.statespace.sarimax import SARIMAX + from sklearn.preprocessing import MinMaxScaler + from common.utils import load_data, mape + from IPython.display import Image + + %matplotlib inline + pd.options.display.float_format = '{:,.2f}'.format + np.set_printoptions(precision=2) + warnings.filterwarnings("ignore") # specify to ignore warning messages + ``` + +1. Muat data dari fail `/data/energy.csv` ke dalam dataframe Pandas dan lihat: + + ```python + energy = load_data('./data')[['load']] + energy.head(10) + ``` + +1. Lukis semua data tenaga yang tersedia dari Januari 2012 hingga Disember 2014. Tidak sepatutnya ada kejutan kerana kita telah melihat data ini dalam pelajaran lepas: + + ```python + energy.plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + + Sekarang, mari kita bina model! + +### Buat dataset latihan dan ujian + +Sekarang data anda telah dimuatkan, jadi anda boleh memisahkannya ke dalam set latihan dan ujian. Anda akan melatih model anda pada set latihan. Seperti biasa, selepas model selesai dilatih, anda akan menilai ketepatannya menggunakan set ujian. Anda perlu memastikan bahawa set ujian meliputi tempoh masa yang lebih lewat daripada set latihan untuk memastikan bahawa model tidak memperoleh maklumat daripada tempoh masa hadapan. + +1. Peruntukkan tempoh dua bulan dari 1 September hingga 31 Oktober 2014 kepada set latihan. Set ujian akan merangkumi tempoh dua bulan dari 1 November hingga 31 Disember 2014: + + ```python + train_start_dt = '2014-11-01 00:00:00' + test_start_dt = '2014-12-30 00:00:00' + ``` + + Oleh kerana data ini mencerminkan penggunaan tenaga harian, terdapat corak bermusim yang kuat, tetapi penggunaan adalah paling serupa dengan penggunaan pada hari-hari yang lebih baru. + +1. Visualisasikan perbezaannya: + + ```python + energy[(energy.index < test_start_dt) & (energy.index >= train_start_dt)][['load']].rename(columns={'load':'train'}) \ + .join(energy[test_start_dt:][['load']].rename(columns={'load':'test'}), how='outer') \ + .plot(y=['train', 'test'], figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + + Oleh itu, menggunakan jangka masa yang agak kecil untuk melatih data sepatutnya mencukupi. + + > Nota: Oleh kerana fungsi yang kita gunakan untuk menyesuaikan model ARIMA menggunakan pengesahan dalam-sampel semasa pemasangan, kita akan mengabaikan data pengesahan. + +### Sediakan data untuk latihan + +Sekarang, anda perlu menyediakan data untuk latihan dengan melakukan penapisan dan penskalaan data anda. Tapis dataset anda untuk hanya merangkumi tempoh masa dan lajur yang anda perlukan, dan penskalaan untuk memastikan data diproyeksikan dalam selang 0,1. + +1. Tapis dataset asal untuk hanya merangkumi tempoh masa yang disebutkan di atas setiap set dan hanya termasuk lajur 'load' yang diperlukan serta tarikh: + + ```python + train = energy.copy()[(energy.index >= train_start_dt) & (energy.index < test_start_dt)][['load']] + test = energy.copy()[energy.index >= test_start_dt][['load']] + + print('Training data shape: ', train.shape) + print('Test data shape: ', test.shape) + ``` + + Anda boleh melihat bentuk data: + + ```output + Training data shape: (1416, 1) + Test data shape: (48, 1) + ``` + +1. Skala data untuk berada dalam julat (0, 1). + + ```python + scaler = MinMaxScaler() + train['load'] = scaler.fit_transform(train) + train.head(10) + ``` + +1. Visualisasikan data asal vs. data berskala: + + ```python + energy[(energy.index >= train_start_dt) & (energy.index < test_start_dt)][['load']].rename(columns={'load':'original load'}).plot.hist(bins=100, fontsize=12) + train.rename(columns={'load':'scaled load'}).plot.hist(bins=100, fontsize=12) + plt.show() + ``` + +  + + > Data asal + +  + + > Data berskala + +1. Sekarang bahawa anda telah menentukur data berskala, anda boleh menskala data ujian: + + ```python + test['load'] = scaler.transform(test) + test.head() + ``` + +### Laksanakan ARIMA + +Sudah tiba masanya untuk melaksanakan ARIMA! Anda kini akan menggunakan perpustakaan `statsmodels` yang anda pasang sebelum ini. + +Sekarang anda perlu mengikuti beberapa langkah + + 1. Tentukan model dengan memanggil `SARIMAX()` and passing in the model parameters: p, d, and q parameters, and P, D, and Q parameters. + 2. Prepare the model for the training data by calling the fit() function. + 3. Make predictions calling the `forecast()` function and specifying the number of steps (the `horizon`) to forecast. + +> 🎓 What are all these parameters for? In an ARIMA model there are 3 parameters that are used to help model the major aspects of a time series: seasonality, trend, and noise. These parameters are: + +`p`: the parameter associated with the auto-regressive aspect of the model, which incorporates *past* values. +`d`: the parameter associated with the integrated part of the model, which affects the amount of *differencing* (🎓 remember differencing 👆?) to apply to a time series. +`q`: the parameter associated with the moving-average part of the model. + +> Note: If your data has a seasonal aspect - which this one does - , we use a seasonal ARIMA model (SARIMA). In that case you need to use another set of parameters: `P`, `D`, and `Q` which describe the same associations as `p`, `d`, and `q`, tetapi sepadan dengan komponen bermusim model. + +1. Mulakan dengan menetapkan nilai horizon pilihan anda. Mari cuba 3 jam: + + ```python + # Specify the number of steps to forecast ahead + HORIZON = 3 + print('Forecasting horizon:', HORIZON, 'hours') + ``` + + Memilih nilai terbaik untuk parameter model ARIMA boleh menjadi mencabar kerana ia agak subjektif dan memerlukan masa. Anda mungkin mempertimbangkan untuk menggunakan `auto_arima()` function from the [`pyramid` library](https://alkaline-ml.com/pmdarima/0.9.0/modules/generated/pyramid.arima.auto_arima.html), + +1. Buat masa ini cuba beberapa pilihan manual untuk mencari model yang baik. + + ```python + order = (4, 1, 0) + seasonal_order = (1, 1, 0, 24) + + model = SARIMAX(endog=train, order=order, seasonal_order=seasonal_order) + results = model.fit() + + print(results.summary()) + ``` + + Jadual keputusan dicetak. + +Anda telah membina model pertama anda! Sekarang kita perlu mencari cara untuk menilainya. + +### Menilai model anda + +Untuk menilai model anda, anda boleh melakukan pengesahan `walk forward`. Dalam amalan, model siri masa dilatih semula setiap kali data baru tersedia. Ini membolehkan model membuat ramalan terbaik pada setiap langkah masa. + +Bermula dari awal siri masa menggunakan teknik ini, latih model pada set data latihan. Kemudian buat ramalan pada langkah masa seterusnya. Ramalan dinilai terhadap nilai yang diketahui. Set latihan kemudian diperluas untuk merangkumi nilai yang diketahui dan proses diulang. + +> Nota: Anda harus memastikan tetingkap set latihan tetap untuk latihan yang lebih cekap supaya setiap kali anda menambah pemerhatian baru pada set latihan, anda menghapuskan pemerhatian dari permulaan set. + +Proses ini menyediakan anggaran yang lebih kukuh tentang bagaimana model akan berfungsi dalam amalan. Walau bagaimanapun, ia datang pada kos pengiraan untuk mencipta begitu banyak model. Ini boleh diterima jika data kecil atau model mudah, tetapi boleh menjadi isu pada skala besar. + +Pengesahan 'walk-forward' adalah standard emas penilaian model siri masa dan disyorkan untuk projek anda sendiri. + +1. Pertama, buat titik data ujian untuk setiap langkah HORIZON. + + ```python + test_shifted = test.copy() + + for t in range(1, HORIZON+1): + test_shifted['load+'+str(t)] = test_shifted['load'].shift(-t, freq='H') + + test_shifted = test_shifted.dropna(how='any') + test_shifted.head(5) + ``` + + | | | load | load+1 | load+2 | + | ---------- | -------- | ---- | ------ | ------ | + | 2014-12-30 | 00:00:00 | 0.33 | 0.29 | 0.27 | + | 2014-12-30 | 01:00:00 | 0.29 | 0.27 | 0.27 | + | 2014-12-30 | 02:00:00 | 0.27 | 0.27 | 0.30 | + | 2014-12-30 | 03:00:00 | 0.27 | 0.30 | 0.41 | + | 2014-12-30 | 04:00:00 | 0.30 | 0.41 | 0.57 | + + Data digeser secara mendatar mengikut titik horizon. + +1. Buat ramalan pada data ujian anda menggunakan pendekatan tetingkap gelongsor ini dalam gelung sepanjang panjang data ujian: + + ```python + %%time + training_window = 720 # dedicate 30 days (720 hours) for training + + train_ts = train['load'] + test_ts = test_shifted + + history = [x for x in train_ts] + history = history[(-training_window):] + + predictions = list() + + order = (2, 1, 0) + seasonal_order = (1, 1, 0, 24) + + for t in range(test_ts.shape[0]): + model = SARIMAX(endog=history, order=order, seasonal_order=seasonal_order) + model_fit = model.fit() + yhat = model_fit.forecast(steps = HORIZON) + predictions.append(yhat) + obs = list(test_ts.iloc[t]) + # move the training window + history.append(obs[0]) + history.pop(0) + print(test_ts.index[t]) + print(t+1, ': predicted =', yhat, 'expected =', obs) + ``` + + Anda boleh melihat latihan berlaku: + + ```output + 2014-12-30 00:00:00 + 1 : predicted = [0.32 0.29 0.28] expected = [0.32945389435989236, 0.2900626678603402, 0.2739480752014323] + + 2014-12-30 01:00:00 + 2 : predicted = [0.3 0.29 0.3 ] expected = [0.2900626678603402, 0.2739480752014323, 0.26812891674127126] + + 2014-12-30 02:00:00 + 3 : predicted = [0.27 0.28 0.32] expected = [0.2739480752014323, 0.26812891674127126, 0.3025962399283795] + ``` + +1. Bandingkan ramalan dengan beban sebenar: + + ```python + eval_df = pd.DataFrame(predictions, columns=['t+'+str(t) for t in range(1, HORIZON+1)]) + eval_df['timestamp'] = test.index[0:len(test.index)-HORIZON+1] + eval_df = pd.melt(eval_df, id_vars='timestamp', value_name='prediction', var_name='h') + eval_df['actual'] = np.array(np.transpose(test_ts)).ravel() + eval_df[['prediction', 'actual']] = scaler.inverse_transform(eval_df[['prediction', 'actual']]) + eval_df.head() + ``` + + Output + | | | timestamp | h | prediction | actual | + | --- | ---------- | --------- | --- | ---------- | -------- | + | 0 | 2014-12-30 | 00:00:00 | t+1 | 3,008.74 | 3,023.00 | + | 1 | 2014-12-30 | 01:00:00 | t+1 | 2,955.53 | 2,935.00 | + | 2 | 2014-12-30 | 02:00:00 | t+1 | 2,900.17 | 2,899.00 | + | 3 | 2014-12-30 | 03:00:00 | t+1 | 2,917.69 | 2,886.00 | + | 4 | 2014-12-30 | 04:00:00 | t+1 | 2,946.99 | 2,963.00 | + + Perhatikan ramalan data setiap jam, berbanding beban sebenar. Sejauh mana ketepatannya? + +### Semak ketepatan model + +Periksa ketepatan model anda dengan menguji ralat peratusan mutlak purata (MAPE) ke atas semua ramalan. + +> **🧮 Tunjukkan saya matematik** +> +>  +> +> [MAPE](https://www.linkedin.com/pulse/what-mape-mad-msd-time-series-allameh-statistics/) digunakan untuk menunjukkan ketepatan ramalan sebagai nisbah yang ditakrifkan oleh formula di atas. Perbezaan antara actualt dan predictedt dibahagikan dengan actualt. "Nilai mutlak dalam pengiraan ini dijumlahkan untuk setiap titik ramalan dalam masa dan dibahagikan dengan bilangan titik yang dipasangkan n." [wikipedia](https://wikipedia.org/wiki/Mean_absolute_percentage_error) + +1. Nyatakan persamaan dalam kod: + + ```python + if(HORIZON > 1): + eval_df['APE'] = (eval_df['prediction'] - eval_df['actual']).abs() / eval_df['actual'] + print(eval_df.groupby('h')['APE'].mean()) + ``` + +1. Kira MAPE satu langkah: + + ```python + print('One step forecast MAPE: ', (mape(eval_df[eval_df['h'] == 't+1']['prediction'], eval_df[eval_df['h'] == 't+1']['actual']))*100, '%') + ``` + + MAPE ramalan satu langkah: 0.5570581332313952 % + +1. Cetak MAPE ramalan pelbagai langkah: + + ```python + print('Multi-step forecast MAPE: ', mape(eval_df['prediction'], eval_df['actual'])*100, '%') + ``` + + ```output + Multi-step forecast MAPE: 1.1460048657704118 % + ``` + + Nombor yang rendah adalah yang terbaik: pertimbangkan bahawa ramalan yang mempunyai MAPE 10 adalah meleset sebanyak 10%. + +1. Tetapi seperti biasa, lebih mudah untuk melihat jenis ukuran ketepatan ini secara visual, jadi mari kita plotkannya: + + ```python + if(HORIZON == 1): + ## Plotting single step forecast + eval_df.plot(x='timestamp', y=['actual', 'prediction'], style=['r', 'b'], figsize=(15, 8)) + + else: + ## Plotting multi step forecast + plot_df = eval_df[(eval_df.h=='t+1')][['timestamp', 'actual']] + for t in range(1, HORIZON+1): + plot_df['t+'+str(t)] = eval_df[(eval_df.h=='t+'+str(t))]['prediction'].values + + fig = plt.figure(figsize=(15, 8)) + ax = plt.plot(plot_df['timestamp'], plot_df['actual'], color='red', linewidth=4.0) + ax = fig.add_subplot(111) + for t in range(1, HORIZON+1): + x = plot_df['timestamp'][(t-1):] + y = plot_df['t+'+str(t)][0:len(x)] + ax.plot(x, y, color='blue', linewidth=4*math.pow(.9,t), alpha=math.pow(0.8,t)) + + ax.legend(loc='best') + + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + +🏆 Plot yang sangat bagus, menunjukkan model dengan ketepatan yang baik. Syabas! + +--- + +## 🚀Cabaran + +Selidik cara untuk menguji ketepatan model Siri Masa. Kami menyentuh tentang MAPE dalam pelajaran ini, tetapi adakah terdapat kaedah lain yang boleh anda gunakan? Selidik dan anotasi mereka. Dokumen yang berguna boleh didapati [di sini](https://otexts.com/fpp2/accuracy.html) + +## [Kuiz pasca-kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/44/) + +## Kajian & Pembelajaran Sendiri + +Pelajaran ini hanya menyentuh asas-asas Ramalan Siri Masa dengan ARIMA. Luangkan masa untuk mendalami pengetahuan anda dengan menyelidik [repositori ini](https://microsoft.github.io/forecasting/) dan jenis modelnya yang pelbagai untuk mempelajari cara lain membina model Siri Masa. + +## Tugasan + +[Model ARIMA baru](assignment.md) + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat penting, terjemahan manusia profesional disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/7-TimeSeries/2-ARIMA/assignment.md b/translations/ms/7-TimeSeries/2-ARIMA/assignment.md new file mode 100644 index 000000000..5319365b8 --- /dev/null +++ b/translations/ms/7-TimeSeries/2-ARIMA/assignment.md @@ -0,0 +1,14 @@ +# Model ARIMA Baru + +## Arahan + +Sekarang setelah anda membina model ARIMA, bina satu lagi dengan data baru (cuba salah satu [set data dari Duke](http://www2.stat.duke.edu/~mw/ts_data_sets.html)). Catatkan kerja anda dalam buku nota, visualkan data dan model anda, dan uji ketepatannya menggunakan MAPE. + +## Rubrik + +| Kriteria | Cemerlang | Memadai | Perlu Penambahbaikan | +| -------- | ------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------- | ---------------------------------- | +| | Buku nota disediakan dengan model ARIMA baru yang dibina, diuji dan dijelaskan dengan visualisasi dan ketepatan dinyatakan. | Buku nota yang disediakan tidak dicatat atau mengandungi pepijat | Buku nota yang tidak lengkap disediakan | + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat penting, terjemahan manusia profesional disarankan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/7-TimeSeries/2-ARIMA/solution/Julia/README.md b/translations/ms/7-TimeSeries/2-ARIMA/solution/Julia/README.md new file mode 100644 index 000000000..1ce7ed17d --- /dev/null +++ b/translations/ms/7-TimeSeries/2-ARIMA/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/7-TimeSeries/2-ARIMA/solution/R/README.md b/translations/ms/7-TimeSeries/2-ARIMA/solution/R/README.md new file mode 100644 index 000000000..88a76427d --- /dev/null +++ b/translations/ms/7-TimeSeries/2-ARIMA/solution/R/README.md @@ -0,0 +1,4 @@ + + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila maklum bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat penting, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/7-TimeSeries/3-SVR/README.md b/translations/ms/7-TimeSeries/3-SVR/README.md new file mode 100644 index 000000000..819b96884 --- /dev/null +++ b/translations/ms/7-TimeSeries/3-SVR/README.md @@ -0,0 +1,389 @@ +# Ramalan Siri Masa dengan Support Vector Regressor + +Dalam pelajaran sebelumnya, anda telah belajar cara menggunakan model ARIMA untuk membuat ramalan siri masa. Sekarang anda akan melihat model Support Vector Regressor yang merupakan model regressor yang digunakan untuk meramalkan data berterusan. + +## [Kuiz Pra-ceramah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/51/) + +## Pengenalan + +Dalam pelajaran ini, anda akan menemui cara khusus untuk membina model dengan [**SVM**: **S**upport **V**ector **M**achine](https://en.wikipedia.org/wiki/Support-vector_machine) untuk regresi, atau **SVR: Support Vector Regressor**. + +### SVR dalam konteks siri masa [^1] + +Sebelum memahami kepentingan SVR dalam ramalan siri masa, berikut adalah beberapa konsep penting yang perlu anda ketahui: + +- **Regresi:** Teknik pembelajaran terkawal untuk meramalkan nilai berterusan dari set input yang diberikan. Ideanya adalah untuk memadankan lengkung (atau garis) dalam ruang ciri yang mempunyai bilangan titik data maksimum. [Klik di sini](https://en.wikipedia.org/wiki/Regression_analysis) untuk maklumat lanjut. +- **Support Vector Machine (SVM):** Jenis model pembelajaran mesin terkawal yang digunakan untuk klasifikasi, regresi dan pengesanan pencilan. Model ini adalah hyperplane dalam ruang ciri, yang dalam kes klasifikasi bertindak sebagai sempadan, dan dalam kes regresi bertindak sebagai garis padanan terbaik. Dalam SVM, fungsi Kernel biasanya digunakan untuk mengubah set data ke ruang dengan bilangan dimensi yang lebih tinggi, supaya mereka dapat dipisahkan dengan mudah. [Klik di sini](https://en.wikipedia.org/wiki/Support-vector_machine) untuk maklumat lanjut mengenai SVM. +- **Support Vector Regressor (SVR):** Jenis SVM, untuk mencari garis padanan terbaik (yang dalam kes SVM adalah hyperplane) yang mempunyai bilangan titik data maksimum. + +### Mengapa SVR? [^1] + +Dalam pelajaran lepas anda belajar tentang ARIMA, yang merupakan kaedah statistik linear yang sangat berjaya untuk meramalkan data siri masa. Walau bagaimanapun, dalam banyak kes, data siri masa mempunyai *non-linearity*, yang tidak dapat dipetakan oleh model linear. Dalam kes sedemikian, keupayaan SVM untuk mempertimbangkan non-linearity dalam data untuk tugas regresi menjadikan SVR berjaya dalam ramalan siri masa. + +## Latihan - bina model SVR + +Langkah pertama untuk penyediaan data adalah sama seperti pelajaran sebelumnya mengenai [ARIMA](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA). + +Buka folder [_/working_](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/3-SVR/working) dalam pelajaran ini dan cari fail [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/7-TimeSeries/3-SVR/working/notebook.ipynb).[^2] + +1. Jalankan notebook dan import perpustakaan yang diperlukan: [^2] + + ```python + import sys + sys.path.append('../../') + ``` + + ```python + import os + import warnings + import matplotlib.pyplot as plt + import numpy as np + import pandas as pd + import datetime as dt + import math + + from sklearn.svm import SVR + from sklearn.preprocessing import MinMaxScaler + from common.utils import load_data, mape + ``` + +2. Muatkan data dari fail `/data/energy.csv` ke dalam dataframe Pandas dan lihat: [^2] + + ```python + energy = load_data('../../data')[['load']] + ``` + +3. Plot semua data tenaga yang tersedia dari Januari 2012 hingga Disember 2014: [^2] + + ```python + energy.plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + + Sekarang, mari bina model SVR kita. + +### Buat dataset latihan dan ujian + +Sekarang data anda dimuatkan, anda boleh memisahkannya ke dalam set latihan dan ujian. Kemudian anda akan mengubah bentuk data untuk mencipta dataset berdasarkan langkah masa yang diperlukan untuk SVR. Anda akan melatih model anda pada set latihan. Selepas model selesai latihan, anda akan menilai ketepatannya pada set latihan, set ujian dan kemudian keseluruhan dataset untuk melihat prestasi keseluruhan. Anda perlu memastikan bahawa set ujian meliputi tempoh masa yang lebih lewat dari set latihan untuk memastikan model tidak mendapat maklumat dari tempoh masa depan [^2] (situasi yang dikenali sebagai *Overfitting*). + +1. Peruntukkan tempoh dua bulan dari 1 September hingga 31 Oktober 2014 ke set latihan. Set ujian akan merangkumi tempoh dua bulan dari 1 November hingga 31 Disember 2014: [^2] + + ```python + train_start_dt = '2014-11-01 00:00:00' + test_start_dt = '2014-12-30 00:00:00' + ``` + +2. Visualisasikan perbezaannya: [^2] + + ```python + energy[(energy.index < test_start_dt) & (energy.index >= train_start_dt)][['load']].rename(columns={'load':'train'}) \ + .join(energy[test_start_dt:][['load']].rename(columns={'load':'test'}), how='outer') \ + .plot(y=['train', 'test'], figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + + + +### Sediakan data untuk latihan + +Sekarang, anda perlu menyediakan data untuk latihan dengan melakukan penapisan dan penskalaan data anda. Tapis dataset anda untuk hanya merangkumi tempoh masa dan lajur yang anda perlukan, dan penskalaan untuk memastikan data diproyeksikan dalam julat 0,1. + +1. Tapis dataset asal untuk hanya merangkumi tempoh masa yang disebutkan di atas per set dan hanya termasuk lajur 'load' yang diperlukan serta tarikh: [^2] + + ```python + train = energy.copy()[(energy.index >= train_start_dt) & (energy.index < test_start_dt)][['load']] + test = energy.copy()[energy.index >= test_start_dt][['load']] + + print('Training data shape: ', train.shape) + print('Test data shape: ', test.shape) + ``` + + ```output + Training data shape: (1416, 1) + Test data shape: (48, 1) + ``` + +2. Skala data latihan untuk berada dalam julat (0, 1): [^2] + + ```python + scaler = MinMaxScaler() + train['load'] = scaler.fit_transform(train) + ``` + +4. Sekarang, anda skala data ujian: [^2] + + ```python + test['load'] = scaler.transform(test) + ``` + +### Cipta data dengan langkah masa [^1] + +Untuk SVR, anda mengubah input data menjadi bentuk `[batch, timesteps]`. So, you reshape the existing `train_data` and `test_data` supaya terdapat dimensi baru yang merujuk kepada langkah masa. + +```python +# Converting to numpy arrays +train_data = train.values +test_data = test.values +``` + +Untuk contoh ini, kita ambil `timesteps = 5`. Jadi, input kepada model adalah data untuk 4 langkah masa pertama, dan output akan menjadi data untuk langkah masa ke-5. + +```python +timesteps=5 +``` + +Menukar data latihan kepada tensor 2D menggunakan senarai bersarang: + +```python +train_data_timesteps=np.array([[j for j in train_data[i:i+timesteps]] for i in range(0,len(train_data)-timesteps+1)])[:,:,0] +train_data_timesteps.shape +``` + +```output +(1412, 5) +``` + +Menukar data ujian kepada tensor 2D: + +```python +test_data_timesteps=np.array([[j for j in test_data[i:i+timesteps]] for i in range(0,len(test_data)-timesteps+1)])[:,:,0] +test_data_timesteps.shape +``` + +```output +(44, 5) +``` + + Memilih input dan output dari data latihan dan ujian: + +```python +x_train, y_train = train_data_timesteps[:,:timesteps-1],train_data_timesteps[:,[timesteps-1]] +x_test, y_test = test_data_timesteps[:,:timesteps-1],test_data_timesteps[:,[timesteps-1]] + +print(x_train.shape, y_train.shape) +print(x_test.shape, y_test.shape) +``` + +```output +(1412, 4) (1412, 1) +(44, 4) (44, 1) +``` + +### Laksanakan SVR [^1] + +Sekarang, tiba masanya untuk melaksanakan SVR. Untuk membaca lebih lanjut mengenai pelaksanaan ini, anda boleh merujuk kepada [dokumentasi ini](https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVR.html). Untuk pelaksanaan kita, kita ikut langkah-langkah ini: + + 1. Tentukan model dengan memanggil `SVR()` and passing in the model hyperparameters: kernel, gamma, c and epsilon + 2. Prepare the model for the training data by calling the `fit()` function + 3. Make predictions calling the `predict()` function + +Sekarang kita cipta model SVR. Di sini kita gunakan [RBF kernel](https://scikit-learn.org/stable/modules/svm.html#parameters-of-the-rbf-kernel), dan tetapkan hyperparameters gamma, C dan epsilon sebagai 0.5, 10 dan 0.05 masing-masing. + +```python +model = SVR(kernel='rbf',gamma=0.5, C=10, epsilon = 0.05) +``` + +#### Latih model pada data latihan [^1] + +```python +model.fit(x_train, y_train[:,0]) +``` + +```output +SVR(C=10, cache_size=200, coef0=0.0, degree=3, epsilon=0.05, gamma=0.5, + kernel='rbf', max_iter=-1, shrinking=True, tol=0.001, verbose=False) +``` + +#### Buat ramalan model [^1] + +```python +y_train_pred = model.predict(x_train).reshape(-1,1) +y_test_pred = model.predict(x_test).reshape(-1,1) + +print(y_train_pred.shape, y_test_pred.shape) +``` + +```output +(1412, 1) (44, 1) +``` + +Anda telah membina SVR anda! Sekarang kita perlu menilai ia. + +### Nilai model anda [^1] + +Untuk penilaian, pertama kita akan skala kembali data ke skala asal kita. Kemudian, untuk memeriksa prestasi, kita akan plot siri masa asal dan ramalan, dan juga cetak keputusan MAPE. + +Skala data ramalan dan output asal: + +```python +# Scaling the predictions +y_train_pred = scaler.inverse_transform(y_train_pred) +y_test_pred = scaler.inverse_transform(y_test_pred) + +print(len(y_train_pred), len(y_test_pred)) +``` + +```python +# Scaling the original values +y_train = scaler.inverse_transform(y_train) +y_test = scaler.inverse_transform(y_test) + +print(len(y_train), len(y_test)) +``` + +#### Periksa prestasi model pada data latihan dan ujian [^1] + +Kita ekstrak cap waktu dari dataset untuk ditunjukkan pada paksi-x plot kita. Perhatikan bahawa kita menggunakan ```timesteps-1``` nilai pertama sebagai input untuk output pertama, jadi cap waktu untuk output akan bermula selepas itu. + +```python +train_timestamps = energy[(energy.index < test_start_dt) & (energy.index >= train_start_dt)].index[timesteps-1:] +test_timestamps = energy[test_start_dt:].index[timesteps-1:] + +print(len(train_timestamps), len(test_timestamps)) +``` + +```output +1412 44 +``` + +Plot ramalan untuk data latihan: + +```python +plt.figure(figsize=(25,6)) +plt.plot(train_timestamps, y_train, color = 'red', linewidth=2.0, alpha = 0.6) +plt.plot(train_timestamps, y_train_pred, color = 'blue', linewidth=0.8) +plt.legend(['Actual','Predicted']) +plt.xlabel('Timestamp') +plt.title("Training data prediction") +plt.show() +``` + + + +Cetak MAPE untuk data latihan + +```python +print('MAPE for training data: ', mape(y_train_pred, y_train)*100, '%') +``` + +```output +MAPE for training data: 1.7195710200875551 % +``` + +Plot ramalan untuk data ujian + +```python +plt.figure(figsize=(10,3)) +plt.plot(test_timestamps, y_test, color = 'red', linewidth=2.0, alpha = 0.6) +plt.plot(test_timestamps, y_test_pred, color = 'blue', linewidth=0.8) +plt.legend(['Actual','Predicted']) +plt.xlabel('Timestamp') +plt.show() +``` + + + +Cetak MAPE untuk data ujian + +```python +print('MAPE for testing data: ', mape(y_test_pred, y_test)*100, '%') +``` + +```output +MAPE for testing data: 1.2623790187854018 % +``` + +🏆 Anda mempunyai hasil yang sangat baik pada dataset ujian! + +### Periksa prestasi model pada dataset penuh [^1] + +```python +# Extracting load values as numpy array +data = energy.copy().values + +# Scaling +data = scaler.transform(data) + +# Transforming to 2D tensor as per model input requirement +data_timesteps=np.array([[j for j in data[i:i+timesteps]] for i in range(0,len(data)-timesteps+1)])[:,:,0] +print("Tensor shape: ", data_timesteps.shape) + +# Selecting inputs and outputs from data +X, Y = data_timesteps[:,:timesteps-1],data_timesteps[:,[timesteps-1]] +print("X shape: ", X.shape,"\nY shape: ", Y.shape) +``` + +```output +Tensor shape: (26300, 5) +X shape: (26300, 4) +Y shape: (26300, 1) +``` + +```python +# Make model predictions +Y_pred = model.predict(X).reshape(-1,1) + +# Inverse scale and reshape +Y_pred = scaler.inverse_transform(Y_pred) +Y = scaler.inverse_transform(Y) +``` + +```python +plt.figure(figsize=(30,8)) +plt.plot(Y, color = 'red', linewidth=2.0, alpha = 0.6) +plt.plot(Y_pred, color = 'blue', linewidth=0.8) +plt.legend(['Actual','Predicted']) +plt.xlabel('Timestamp') +plt.show() +``` + + + +```python +print('MAPE: ', mape(Y_pred, Y)*100, '%') +``` + +```output +MAPE: 2.0572089029888656 % +``` + + + +🏆 Plot yang sangat bagus, menunjukkan model dengan ketepatan yang baik. Syabas! + +--- + +## 🚀Cabaran + +- Cuba ubah hyperparameters (gamma, C, epsilon) semasa mencipta model dan nilai pada data untuk melihat set hyperparameters mana yang memberikan hasil terbaik pada data ujian. Untuk mengetahui lebih lanjut mengenai hyperparameters ini, anda boleh merujuk kepada dokumen [di sini](https://scikit-learn.org/stable/modules/svm.html#parameters-of-the-rbf-kernel). +- Cuba gunakan fungsi kernel yang berbeza untuk model dan analisis prestasi mereka pada dataset. Dokumen yang berguna boleh didapati [di sini](https://scikit-learn.org/stable/modules/svm.html#kernel-functions). +- Cuba gunakan nilai yang berbeza untuk `timesteps` untuk model melihat ke belakang untuk membuat ramalan. + +## [Kuiz Pasca-ceramah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/52/) + +## Ulasan & Kajian Kendiri + +Pelajaran ini adalah untuk memperkenalkan aplikasi SVR untuk Ramalan Siri Masa. Untuk membaca lebih lanjut mengenai SVR, anda boleh merujuk kepada [blog ini](https://www.analyticsvidhya.com/blog/2020/03/support-vector-regression-tutorial-for-machine-learning/). [Dokumentasi ini pada scikit-learn](https://scikit-learn.org/stable/modules/svm.html) menyediakan penjelasan yang lebih komprehensif mengenai SVM secara umum, [SVRs](https://scikit-learn.org/stable/modules/svm.html#regression) dan juga butiran pelaksanaan lain seperti pelbagai [fungsi kernel](https://scikit-learn.org/stable/modules/svm.html#kernel-functions) yang boleh digunakan, dan parameter mereka. + +## Tugasan + +[Sebuah model SVR baru](assignment.md) + + + +## Kredit + + +[^1]: Teks, kod dan output dalam seksyen ini disumbangkan oleh [@AnirbanMukherjeeXD](https://github.com/AnirbanMukherjeeXD) +[^2]: Teks, kod dan output dalam seksyen ini diambil dari [ARIMA](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA) + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat penting, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/7-TimeSeries/3-SVR/assignment.md b/translations/ms/7-TimeSeries/3-SVR/assignment.md new file mode 100644 index 000000000..554144f4b --- /dev/null +++ b/translations/ms/7-TimeSeries/3-SVR/assignment.md @@ -0,0 +1,15 @@ +# Model SVR Baru + +## Arahan [^1] + +Sekarang setelah anda telah membina model SVR, bina satu lagi dengan data baru (cuba salah satu [dataset dari Duke](http://www2.stat.duke.edu/~mw/ts_data_sets.html)). Anotasikan kerja anda dalam buku nota, visualisasikan data dan model anda, dan uji ketepatannya menggunakan plot yang sesuai dan MAPE. Juga cuba laraskan pelbagai hiperparameter dan juga menggunakan nilai berbeza untuk timesteps. +## Rubrik [^1] + +| Kriteria | Cemerlang | Memadai | Perlu Penambahbaikan | +| -------- | ------------------------------------------------------------ | -------------------------------------------------------- | ---------------------------------- | +| | Buku nota dibentangkan dengan model SVR yang dibina, diuji dan dijelaskan dengan visualisasi dan ketepatan dinyatakan. | Buku nota yang dibentangkan tidak dianotasi atau mengandungi pepijat. | Buku nota yang tidak lengkap dibentangkan | + +[^1]:Teks dalam bahagian ini berdasarkan [tugasan dari ARIMA](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA/assignment.md) + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat penting, terjemahan manusia profesional disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/7-TimeSeries/README.md b/translations/ms/7-TimeSeries/README.md new file mode 100644 index 000000000..13b246d0f --- /dev/null +++ b/translations/ms/7-TimeSeries/README.md @@ -0,0 +1,26 @@ +# Pengenalan kepada Ramalan Siri Masa + +Apa itu ramalan siri masa? Ia mengenai meramalkan peristiwa masa depan dengan menganalisis trend masa lalu. + +## Topik serantau: penggunaan elektrik di seluruh dunia ✨ + +Dalam dua pelajaran ini, anda akan diperkenalkan kepada ramalan siri masa, satu bidang pembelajaran mesin yang kurang dikenali tetapi sangat berharga untuk aplikasi industri dan perniagaan, antara bidang lain. Walaupun rangkaian neural boleh digunakan untuk meningkatkan kegunaan model-model ini, kita akan mengkajinya dalam konteks pembelajaran mesin klasik kerana model membantu meramalkan prestasi masa depan berdasarkan masa lalu. + +Fokus serantau kita adalah penggunaan elektrik di dunia, satu set data yang menarik untuk mempelajari tentang ramalan penggunaan kuasa masa depan berdasarkan corak beban masa lalu. Anda boleh melihat bagaimana jenis ramalan ini sangat berguna dalam persekitaran perniagaan. + + + +Foto oleh [Peddi Sai hrithik](https://unsplash.com/@shutter_log?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText) menara elektrik di jalan raya di Rajasthan di [Unsplash](https://unsplash.com/s/photos/electric-india?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText) + +## Pelajaran + +1. [Pengenalan kepada ramalan siri masa](1-Introduction/README.md) +2. [Membina model siri masa ARIMA](2-ARIMA/README.md) +3. [Membina Support Vector Regressor untuk ramalan siri masa](3-SVR/README.md) + +## Kredit + +"Pengenalan kepada ramalan siri masa" ditulis dengan ⚡️ oleh [Francesca Lazzeri](https://twitter.com/frlazzeri) dan [Jen Looper](https://twitter.com/jenlooper). Notebook pertama kali muncul dalam talian di [Azure "Deep Learning For Time Series" repo](https://github.com/Azure/DeepLearningForTimeSeriesForecasting) yang asalnya ditulis oleh Francesca Lazzeri. Pelajaran SVR ditulis oleh [Anirban Mukherjee](https://github.com/AnirbanMukherjeeXD) + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat penting, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/8-Reinforcement/1-QLearning/README.md b/translations/ms/8-Reinforcement/1-QLearning/README.md new file mode 100644 index 000000000..7fdee320e --- /dev/null +++ b/translations/ms/8-Reinforcement/1-QLearning/README.md @@ -0,0 +1,59 @@ +## Memeriksa polisi + +Oleh kerana Jadual-Q menyenaraikan "tarikan" setiap tindakan pada setiap keadaan, adalah mudah untuk menggunakannya bagi menentukan navigasi yang cekap dalam dunia kita. Dalam kes yang paling mudah, kita boleh memilih tindakan yang sepadan dengan nilai Jadual-Q tertinggi: (blok kod 9) + +```python +def qpolicy_strict(m): + x,y = m.human + v = probs(Q[x,y]) + a = list(actions)[np.argmax(v)] + return a + +walk(m,qpolicy_strict) +``` + +> Jika anda mencuba kod di atas beberapa kali, anda mungkin perasan bahawa kadang-kadang ia "tergantung", dan anda perlu menekan butang HENTI dalam buku nota untuk menghentikannya. Ini berlaku kerana mungkin terdapat situasi apabila dua keadaan "menunjuk" antara satu sama lain dari segi nilai Q yang optimum, di mana agen akhirnya bergerak antara keadaan tersebut tanpa henti. + +## 🚀Cabaran + +> **Tugas 1:** Ubah suai `walk` function to limit the maximum length of path by a certain number of steps (say, 100), and watch the code above return this value from time to time. + +> **Task 2:** Modify the `walk` function so that it does not go back to the places where it has already been previously. This will prevent `walk` from looping, however, the agent can still end up being "trapped" in a location from which it is unable to escape. + +## Navigation + +A better navigation policy would be the one that we used during training, which combines exploitation and exploration. In this policy, we will select each action with a certain probability, proportional to the values in the Q-Table. This strategy may still result in the agent returning back to a position it has already explored, but, as you can see from the code below, it results in a very short average path to the desired location (remember that `print_statistics` menjalankan simulasi 100 kali): (blok kod 10) + +```python +def qpolicy(m): + x,y = m.human + v = probs(Q[x,y]) + a = random.choices(list(actions),weights=v)[0] + return a + +print_statistics(qpolicy) +``` + +Selepas menjalankan kod ini, anda sepatutnya mendapat panjang laluan purata yang lebih kecil daripada sebelumnya, dalam lingkungan 3-6. + +## Menyiasat proses pembelajaran + +Seperti yang telah kita sebutkan, proses pembelajaran adalah keseimbangan antara penerokaan dan penerokaan pengetahuan yang diperoleh tentang struktur ruang masalah. Kita telah melihat bahawa hasil pembelajaran (keupayaan untuk membantu agen mencari laluan pendek ke matlamat) telah bertambah baik, tetapi juga menarik untuk melihat bagaimana panjang laluan purata berkelakuan semasa proses pembelajaran: + +## Ringkasan pembelajaran + +- **Panjang laluan purata meningkat**. Apa yang kita lihat di sini adalah bahawa pada mulanya, panjang laluan purata meningkat. Ini mungkin disebabkan oleh fakta bahawa apabila kita tidak tahu apa-apa tentang persekitaran, kita cenderung terperangkap dalam keadaan buruk, air atau serigala. Apabila kita belajar lebih banyak dan mula menggunakan pengetahuan ini, kita boleh meneroka persekitaran lebih lama, tetapi kita masih tidak tahu di mana epal berada dengan baik. + +- **Panjang laluan berkurangan, apabila kita belajar lebih banyak**. Setelah kita belajar cukup, ia menjadi lebih mudah untuk agen mencapai matlamat, dan panjang laluan mula berkurangan. Walau bagaimanapun, kita masih terbuka kepada penerokaan, jadi kita sering menyimpang dari laluan terbaik, dan meneroka pilihan baru, menjadikan laluan lebih panjang daripada yang optimum. + +- **Panjang meningkat secara mendadak**. Apa yang kita juga perhatikan pada graf ini ialah pada satu ketika, panjang meningkat secara mendadak. Ini menunjukkan sifat stokastik proses, dan bahawa kita pada satu ketika boleh "merosakkan" pekali Jadual-Q dengan menulis semula mereka dengan nilai baru. Ini sepatutnya diminimumkan dengan mengurangkan kadar pembelajaran (contohnya, menjelang akhir latihan, kita hanya menyesuaikan nilai Jadual-Q dengan nilai kecil). + +Secara keseluruhan, adalah penting untuk diingat bahawa kejayaan dan kualiti proses pembelajaran sangat bergantung kepada parameter, seperti kadar pembelajaran, pengurangan kadar pembelajaran, dan faktor diskaun. Ini sering dipanggil **hiperparameter**, untuk membezakannya daripada **parameter**, yang kita optimakan semasa latihan (contohnya, pekali Jadual-Q). Proses mencari nilai hiperparameter terbaik dipanggil **pengoptimuman hiperparameter**, dan ia layak mendapat topik yang berasingan. + +## [Kuiz selepas kuliah](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/46/) + +## Tugasan +[Dunia yang Lebih Realistik](assignment.md) + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila maklum bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/8-Reinforcement/1-QLearning/assignment.md b/translations/ms/8-Reinforcement/1-QLearning/assignment.md new file mode 100644 index 000000000..952402725 --- /dev/null +++ b/translations/ms/8-Reinforcement/1-QLearning/assignment.md @@ -0,0 +1,30 @@ +# Dunia yang Lebih Realistik + +Dalam situasi kita, Peter dapat bergerak hampir tanpa merasa lelah atau lapar. Dalam dunia yang lebih realistik, dia perlu duduk dan berehat dari semasa ke semasa, dan juga makan untuk mendapatkan tenaga. Mari kita buat dunia kita lebih realistik dengan melaksanakan peraturan berikut: + +1. Dengan bergerak dari satu tempat ke tempat lain, Peter kehilangan **tenaga** dan mendapat sedikit **keletihan**. +2. Peter boleh mendapatkan lebih banyak tenaga dengan memakan epal. +3. Peter boleh menghilangkan keletihan dengan berehat di bawah pokok atau di atas rumput (iaitu berjalan ke lokasi papan dengan pokok atau rumput - padang hijau) +4. Peter perlu mencari dan membunuh serigala +5. Untuk membunuh serigala, Peter perlu mempunyai tahap tenaga dan keletihan tertentu, jika tidak, dia akan kalah dalam pertempuran. + +## Arahan + +Gunakan notebook asal [notebook.ipynb](../../../../8-Reinforcement/1-QLearning/notebook.ipynb) sebagai titik permulaan untuk penyelesaian anda. + +Ubah fungsi ganjaran di atas mengikut peraturan permainan, jalankan algoritma pembelajaran pengukuhan untuk mempelajari strategi terbaik untuk memenangi permainan, dan bandingkan hasil jalan rawak dengan algoritma anda dari segi jumlah permainan yang dimenangi dan kalah. + +> **Note**: Dalam dunia baru anda, keadaan adalah lebih kompleks, dan selain daripada kedudukan manusia, juga termasuk tahap keletihan dan tenaga. Anda boleh memilih untuk mewakili keadaan sebagai tuple (Board,energy,fatigue), atau mendefinisikan kelas untuk keadaan tersebut (anda juga boleh mengembangkannya daripada `Board`), atau bahkan mengubah kelas asal `Board` dalam [rlboard.py](../../../../8-Reinforcement/1-QLearning/rlboard.py). + +Dalam penyelesaian anda, sila simpan kod yang bertanggungjawab untuk strategi jalan rawak, dan bandingkan hasil algoritma anda dengan jalan rawak pada akhir. + +> **Note**: Anda mungkin perlu menyesuaikan hiperparameter untuk membuatnya berfungsi, terutamanya jumlah epoch. Oleh kerana kejayaan permainan (melawan serigala) adalah kejadian yang jarang berlaku, anda boleh mengharapkan masa latihan yang lebih lama. + +## Rubrik + +| Kriteria | Cemerlang | Memadai | Perlu Penambahbaikan | +| -------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------ | +| | Notebook disediakan dengan definisi peraturan dunia baru, algoritma Q-Learning dan beberapa penjelasan teks. Q-Learning mampu meningkatkan hasil dengan ketara berbanding jalan rawak. | Notebook disediakan, Q-Learning dilaksanakan dan meningkatkan hasil berbanding jalan rawak, tetapi tidak dengan ketara; atau notebook kurang didokumentasikan dan kod tidak disusun dengan baik | Beberapa percubaan untuk mentakrifkan semula peraturan dunia dibuat, tetapi algoritma Q-Learning tidak berfungsi, atau fungsi ganjaran tidak sepenuhnya ditakrifkan | + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila maklum bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/8-Reinforcement/1-QLearning/solution/Julia/README.md b/translations/ms/8-Reinforcement/1-QLearning/solution/Julia/README.md new file mode 100644 index 000000000..7630a4570 --- /dev/null +++ b/translations/ms/8-Reinforcement/1-QLearning/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/8-Reinforcement/1-QLearning/solution/R/README.md b/translations/ms/8-Reinforcement/1-QLearning/solution/R/README.md new file mode 100644 index 000000000..7630a4570 --- /dev/null +++ b/translations/ms/8-Reinforcement/1-QLearning/solution/R/README.md @@ -0,0 +1,4 @@ + + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/8-Reinforcement/2-Gym/README.md b/translations/ms/8-Reinforcement/2-Gym/README.md new file mode 100644 index 000000000..dbbe00e7e --- /dev/null +++ b/translations/ms/8-Reinforcement/2-Gym/README.md @@ -0,0 +1,324 @@ +## Prasyarat + +Dalam pelajaran ini, kita akan menggunakan pustaka yang disebut **OpenAI Gym** untuk mensimulasikan berbagai **lingkungan**. Anda dapat menjalankan kode pelajaran ini secara lokal (misalnya dari Visual Studio Code), di mana simulasi akan terbuka di jendela baru. Saat menjalankan kode secara online, Anda mungkin perlu melakukan beberapa penyesuaian pada kode, seperti yang dijelaskan [di sini](https://towardsdatascience.com/rendering-openai-gym-envs-on-binder-and-google-colab-536f99391cc7). + +## OpenAI Gym + +Dalam pelajaran sebelumnya, aturan permainan dan keadaan diberikan oleh kelas `Board` yang kita definisikan sendiri. Di sini kita akan menggunakan **lingkungan simulasi** khusus, yang akan mensimulasikan fisika di balik keseimbangan tiang. Salah satu lingkungan simulasi paling populer untuk melatih algoritma pembelajaran penguatan disebut [Gym](https://gym.openai.com/), yang dikelola oleh [OpenAI](https://openai.com/). Dengan menggunakan gym ini kita dapat membuat berbagai **lingkungan** dari simulasi cartpole hingga permainan Atari. + +> **Catatan**: Anda dapat melihat lingkungan lain yang tersedia dari OpenAI Gym [di sini](https://gym.openai.com/envs/#classic_control). + +Pertama, mari kita instal gym dan impor pustaka yang diperlukan (kode blok 1): + +```python +import sys +!{sys.executable} -m pip install gym + +import gym +import matplotlib.pyplot as plt +import numpy as np +import random +``` + +## Latihan - inisialisasi lingkungan cartpole + +Untuk bekerja dengan masalah keseimbangan cartpole, kita perlu menginisialisasi lingkungan yang sesuai. Setiap lingkungan terkait dengan: + +- **Observation space** yang mendefinisikan struktur informasi yang kita terima dari lingkungan. Untuk masalah cartpole, kita menerima posisi tiang, kecepatan, dan beberapa nilai lainnya. + +- **Action space** yang mendefinisikan tindakan yang mungkin dilakukan. Dalam kasus kita, action space bersifat diskrit, dan terdiri dari dua tindakan - **kiri** dan **kanan**. (kode blok 2) + +1. Untuk menginisialisasi, ketik kode berikut: + + ```python + env = gym.make("CartPole-v1") + print(env.action_space) + print(env.observation_space) + print(env.action_space.sample()) + ``` + +Untuk melihat bagaimana lingkungan bekerja, mari kita jalankan simulasi singkat selama 100 langkah. Pada setiap langkah, kita memberikan salah satu tindakan yang akan diambil - dalam simulasi ini kita hanya memilih tindakan secara acak dari `action_space`. + +1. Jalankan kode di bawah ini dan lihat hasilnya. + + ✅ Ingat bahwa lebih disukai untuk menjalankan kode ini pada instalasi Python lokal! (kode blok 3) + + ```python + env.reset() + + for i in range(100): + env.render() + env.step(env.action_space.sample()) + env.close() + ``` + + Anda harus melihat sesuatu yang mirip dengan gambar ini: + +  + +1. Selama simulasi, kita perlu mendapatkan pengamatan untuk memutuskan bagaimana bertindak. Faktanya, fungsi langkah mengembalikan pengamatan saat ini, fungsi reward, dan flag selesai yang menunjukkan apakah masuk akal untuk melanjutkan simulasi atau tidak: (kode blok 4) + + ```python + env.reset() + + done = False + while not done: + env.render() + obs, rew, done, info = env.step(env.action_space.sample()) + print(f"{obs} -> {rew}") + env.close() + ``` + + Anda akan melihat sesuatu seperti ini di output notebook: + + ```text + [ 0.03403272 -0.24301182 0.02669811 0.2895829 ] -> 1.0 + [ 0.02917248 -0.04828055 0.03248977 0.00543839] -> 1.0 + [ 0.02820687 0.14636075 0.03259854 -0.27681916] -> 1.0 + [ 0.03113408 0.34100283 0.02706215 -0.55904489] -> 1.0 + [ 0.03795414 0.53573468 0.01588125 -0.84308041] -> 1.0 + ... + [ 0.17299878 0.15868546 -0.20754175 -0.55975453] -> 1.0 + [ 0.17617249 0.35602306 -0.21873684 -0.90998894] -> 1.0 + ``` + + Vektor pengamatan yang dikembalikan pada setiap langkah simulasi berisi nilai-nilai berikut: + - Posisi kereta + - Kecepatan kereta + - Sudut tiang + - Laju rotasi tiang + +1. Dapatkan nilai min dan max dari angka-angka tersebut: (kode blok 5) + + ```python + print(env.observation_space.low) + print(env.observation_space.high) + ``` + + Anda mungkin juga memperhatikan bahwa nilai reward pada setiap langkah simulasi selalu 1. Ini karena tujuan kita adalah bertahan selama mungkin, yaitu menjaga tiang tetap dalam posisi vertikal selama mungkin. + + ✅ Faktanya, simulasi CartPole dianggap berhasil jika kita berhasil mendapatkan reward rata-rata 195 selama 100 percobaan berturut-turut. + +## Diskritisasi State + +Dalam Q-Learning, kita perlu membangun Q-Table yang mendefinisikan apa yang harus dilakukan pada setiap state. Untuk dapat melakukan ini, kita memerlukan state yang **diskrit**, lebih tepatnya, harus mengandung sejumlah nilai diskrit yang terbatas. Oleh karena itu, kita perlu **mendiskritkan** pengamatan kita, memetakan mereka ke dalam satu set state yang terbatas. + +Ada beberapa cara kita bisa melakukannya: + +- **Membagi menjadi bin**. Jika kita mengetahui interval dari nilai tertentu, kita bisa membagi interval ini menjadi beberapa **bin**, dan kemudian mengganti nilai dengan nomor bin yang dimasukinya. Ini bisa dilakukan menggunakan metode numpy [`digitize`](https://numpy.org/doc/stable/reference/generated/numpy.digitize.html). Dalam kasus ini, kita akan mengetahui ukuran state dengan tepat, karena akan tergantung pada jumlah bin yang kita pilih untuk digitalisasi. + +✅ Kita bisa menggunakan interpolasi linier untuk membawa nilai ke beberapa interval terbatas (misalnya, dari -20 hingga 20), dan kemudian mengonversi angka menjadi bilangan bulat dengan membulatkannya. Ini memberi kita sedikit kontrol lebih pada ukuran state, terutama jika kita tidak mengetahui rentang nilai input yang tepat. Misalnya, dalam kasus kita, 2 dari 4 nilai tidak memiliki batas atas/bawah pada nilai mereka, yang dapat mengakibatkan jumlah state yang tak terbatas. + +Dalam contoh kita, kita akan menggunakan pendekatan kedua. Seperti yang mungkin Anda perhatikan nanti, meskipun batas atas/bawah tidak ditentukan, nilai-nilai tersebut jarang mengambil nilai di luar interval terbatas tertentu, sehingga state dengan nilai ekstrem akan sangat jarang. + +1. Berikut adalah fungsi yang akan mengambil pengamatan dari model kita dan menghasilkan tuple dari 4 nilai integer: (kode blok 6) + + ```python + def discretize(x): + return tuple((x/np.array([0.25, 0.25, 0.01, 0.1])).astype(np.int)) + ``` + +1. Mari kita juga eksplorasi metode diskritisasi lain menggunakan bin: (kode blok 7) + + ```python + def create_bins(i,num): + return np.arange(num+1)*(i[1]-i[0])/num+i[0] + + print("Sample bins for interval (-5,5) with 10 bins\n",create_bins((-5,5),10)) + + ints = [(-5,5),(-2,2),(-0.5,0.5),(-2,2)] # intervals of values for each parameter + nbins = [20,20,10,10] # number of bins for each parameter + bins = [create_bins(ints[i],nbins[i]) for i in range(4)] + + def discretize_bins(x): + return tuple(np.digitize(x[i],bins[i]) for i in range(4)) + ``` + +1. Sekarang mari kita jalankan simulasi singkat dan amati nilai lingkungan diskrit tersebut. Silakan coba keduanya `discretize` and `discretize_bins` dan lihat apakah ada perbedaan. + + ✅ discretize_bins mengembalikan nomor bin, yang berbasis 0. Jadi untuk nilai variabel input sekitar 0, ia mengembalikan nomor dari tengah interval (10). Dalam discretize, kita tidak peduli dengan rentang nilai output, memungkinkan mereka menjadi negatif, sehingga nilai state tidak bergeser, dan 0 sesuai dengan 0. (kode blok 8) + + ```python + env.reset() + + done = False + while not done: + #env.render() + obs, rew, done, info = env.step(env.action_space.sample()) + #print(discretize_bins(obs)) + print(discretize(obs)) + env.close() + ``` + + ✅ Hapus komentar pada baris yang dimulai dengan env.render jika Anda ingin melihat bagaimana lingkungan dieksekusi. Jika tidak, Anda dapat mengeksekusinya di latar belakang, yang lebih cepat. Kita akan menggunakan eksekusi "tak terlihat" ini selama proses Q-Learning kita. + +## Struktur Q-Table + +Dalam pelajaran sebelumnya, state adalah pasangan angka sederhana dari 0 hingga 8, dan dengan demikian nyaman untuk mewakili Q-Table dengan tensor numpy dengan bentuk 8x8x2. Jika kita menggunakan diskritisasi bin, ukuran vektor state kita juga diketahui, sehingga kita dapat menggunakan pendekatan yang sama dan mewakili state dengan array berbentuk 20x20x10x10x2 (di sini 2 adalah dimensi dari action space, dan dimensi pertama sesuai dengan jumlah bin yang kita pilih untuk digunakan untuk setiap parameter dalam observation space). + +Namun, terkadang dimensi tepat dari observation space tidak diketahui. Dalam kasus fungsi `discretize`, kita mungkin tidak pernah yakin bahwa state kita tetap dalam batas tertentu, karena beberapa nilai asli tidak dibatasi. Oleh karena itu, kita akan menggunakan pendekatan yang sedikit berbeda dan mewakili Q-Table dengan kamus. + +1. Gunakan pasangan *(state,action)* sebagai kunci kamus, dan nilai akan sesuai dengan nilai entri Q-Table. (kode blok 9) + + ```python + Q = {} + actions = (0,1) + + def qvalues(state): + return [Q.get((state,a),0) for a in actions] + ``` + + Di sini kita juga mendefinisikan fungsi `qvalues()`, yang mengembalikan daftar nilai Q-Table untuk state tertentu yang sesuai dengan semua tindakan yang mungkin. Jika entri tidak ada dalam Q-Table, kita akan mengembalikan 0 sebagai default. + +## Mari Mulai Q-Learning + +Sekarang kita siap mengajarkan Peter untuk menjaga keseimbangan! + +1. Pertama, mari kita atur beberapa hyperparameter: (kode blok 10) + + ```python + # hyperparameters + alpha = 0.3 + gamma = 0.9 + epsilon = 0.90 + ``` + + Di sini, `alpha` is the **learning rate** that defines to which extent we should adjust the current values of Q-Table at each step. In the previous lesson we started with 1, and then decreased `alpha` to lower values during training. In this example we will keep it constant just for simplicity, and you can experiment with adjusting `alpha` values later. + + `gamma` is the **discount factor** that shows to which extent we should prioritize future reward over current reward. + + `epsilon` is the **exploration/exploitation factor** that determines whether we should prefer exploration to exploitation or vice versa. In our algorithm, we will in `epsilon` percent of the cases select the next action according to Q-Table values, and in the remaining number of cases we will execute a random action. This will allow us to explore areas of the search space that we have never seen before. + + ✅ In terms of balancing - choosing random action (exploration) would act as a random punch in the wrong direction, and the pole would have to learn how to recover the balance from those "mistakes" + +### Improve the algorithm + +We can also make two improvements to our algorithm from the previous lesson: + +- **Calculate average cumulative reward**, over a number of simulations. We will print the progress each 5000 iterations, and we will average out our cumulative reward over that period of time. It means that if we get more than 195 point - we can consider the problem solved, with even higher quality than required. + +- **Calculate maximum average cumulative result**, `Qmax`, and we will store the Q-Table corresponding to that result. When you run the training you will notice that sometimes the average cumulative result starts to drop, and we want to keep the values of Q-Table that correspond to the best model observed during training. + +1. Collect all cumulative rewards at each simulation at `rewards` vektor untuk plot lebih lanjut. (kode blok 11) + + ```python + def probs(v,eps=1e-4): + v = v-v.min()+eps + v = v/v.sum() + return v + + Qmax = 0 + cum_rewards = [] + rewards = [] + for epoch in range(100000): + obs = env.reset() + done = False + cum_reward=0 + # == do the simulation == + while not done: + s = discretize(obs) + if random.random()- [Python](2-Regression/1-Tools/README.md)
- [R](../../2-Regression/1-Tools/solution/R/lesson_1.html)
- Jen
- Eric Wanjau
- [Python](2-Regression/2-Data/README.md)
- [R](../../2-Regression/2-Data/solution/R/lesson_2.html)
- Jen
- Eric Wanjau
- [Python](2-Regression/3-Linear/README.md)
- [R](../../2-Regression/3-Linear/solution/R/lesson_3.html)
- Jen dan Dmitry
- Eric Wanjau
- [Python](2-Regression/4-Logistic/README.md)
- [R](../../2-Regression/4-Logistic/solution/R/lesson_4.html)
- Jen
- Eric Wanjau
- [Python](4-Classification/1-Introduction/README.md)
- [R](../../4-Classification/1-Introduction/solution/R/lesson_10.html) |
- Jen dan Cassie
- Eric Wanjau
- [Python](4-Classification/2-Classifiers-1/README.md)
- [R](../../4-Classification/2-Classifiers-1/solution/R/lesson_11.html) |
- Jen dan Cassie
- Eric Wanjau
- [Python](4-Classification/3-Classifiers-2/README.md)
- [R](../../4-Classification/3-Classifiers-2/solution/R/lesson_12.html) |
- Jen dan Cassie
- Eric Wanjau
- [Python](5-Clustering/1-Visualize/README.md)
- [R](../../5-Clustering/1-Visualize/solution/R/lesson_14.html) |
- Jen
- Eric Wanjau
- [Python](5-Clustering/2-K-Means/README.md)
- [R](../../5-Clustering/2-K-Means/solution/R/lesson_15.html) |
- Jen
- Eric Wanjau
.yml). Aliran kerja ini akan mengendalikan proses pembinaan dan pelancaran. + +6. Pantau Pelancaran +Pergi ke tab "Actions" dalam repositori GitHub anda. +Anda sepatutnya melihat aliran kerja sedang berjalan. Aliran kerja ini akan membina dan melancarkan aplikasi web statik anda ke Azure. +Setelah aliran kerja selesai, aplikasi anda akan hidup di URL Azure yang disediakan. + +### Fail Aliran Kerja Contoh + +Berikut adalah contoh bagaimana fail aliran kerja GitHub Actions mungkin kelihatan: +name: Azure Static Web Apps CI/CD +``` +on: + push: + branches: + - main + pull_request: + types: [opened, synchronize, reopened, closed] + branches: + - main + +jobs: + build_and_deploy_job: + runs-on: ubuntu-latest + name: Build and Deploy Job + steps: + - uses: actions/checkout@v2 + - name: Build And Deploy + id: builddeploy + uses: Azure/static-web-apps-deploy@v1 + with: + azure_static_web_apps_api_token: ${{ secrets.AZURE_STATIC_WEB_APPS_API_TOKEN }} + repo_token: ${{ secrets.GITHUB_TOKEN }} + action: "upload" + app_location: "/quiz-app" # App source code path + api_location: ""API source code path optional + output_location: "dist" #Built app content directory - optional +``` + +### Sumber Tambahan +- [Dokumentasi Azure Static Web Apps](https://learn.microsoft.com/azure/static-web-apps/getting-started) +- [Dokumentasi GitHub Actions](https://docs.github.com/actions/use-cases-and-examples/deploying/deploying-to-azure-static-web-app) + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila maklum bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat penting, terjemahan manusia profesional disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/sketchnotes/LICENSE.md b/translations/ms/sketchnotes/LICENSE.md new file mode 100644 index 000000000..e486242c6 --- /dev/null +++ b/translations/ms/sketchnotes/LICENSE.md @@ -0,0 +1,146 @@ +Attribution-ShareAlike 4.0 International + +======================================================================= + +Creative Commons Corporation ("Creative Commons") bukan firma undang-undang dan tidak menyediakan perkhidmatan atau nasihat undang-undang. Pengedaran lesen awam Creative Commons tidak mewujudkan hubungan peguam-klien atau hubungan lain. Creative Commons menyediakan lesen dan maklumat berkaitan berdasarkan "as-is". Creative Commons tidak memberikan sebarang jaminan mengenai lesen mereka, bahan yang dilesenkan di bawah terma dan syarat mereka, atau maklumat berkaitan. Creative Commons menafikan semua tanggungjawab atas kerosakan yang diakibatkan oleh penggunaannya sejauh mana yang mungkin. + +Menggunakan Lesen Awam Creative Commons + +Lesen awam Creative Commons menyediakan satu set terma dan syarat standard yang boleh digunakan oleh pencipta dan pemegang hak lain untuk berkongsi karya asli dan bahan lain yang tertakluk kepada hak cipta dan hak tertentu lain yang dinyatakan dalam lesen awam di bawah. Pertimbangan berikut adalah untuk tujuan maklumat sahaja, tidak menyeluruh, dan bukan sebahagian daripada lesen kami. + + Pertimbangan untuk pemberi lesen: Lesen awam kami ditujukan untuk digunakan oleh mereka yang diberi kuasa untuk memberikan kebenaran awam untuk menggunakan bahan dengan cara yang sebaliknya dihadkan oleh hak cipta dan hak tertentu lain. Lesen kami tidak boleh dibatalkan. Pemberi lesen harus membaca dan memahami terma dan syarat lesen yang mereka pilih sebelum menggunakannya. Pemberi lesen juga harus mendapatkan semua hak yang diperlukan sebelum mengaplikasikan lesen kami supaya awam boleh menggunakan bahan seperti yang diharapkan. Pemberi lesen harus dengan jelas menandakan sebarang bahan yang tidak tertakluk kepada lesen. Ini termasuk bahan lain yang dilesenkan oleh CC, atau bahan yang digunakan di bawah pengecualian atau had kepada hak cipta. Pertimbangan lebih lanjut untuk pemberi lesen: wiki.creativecommons.org/Considerations_for_licensors + + Pertimbangan untuk awam: Dengan menggunakan salah satu lesen awam kami, pemberi lesen memberikan kebenaran awam untuk menggunakan bahan yang dilesenkan di bawah terma dan syarat tertentu. Jika kebenaran pemberi lesen tidak diperlukan atas sebarang sebab - contohnya, kerana pengecualian atau had yang berkenaan kepada hak cipta - maka penggunaan itu tidak diatur oleh lesen. Lesen kami hanya memberikan kebenaran di bawah hak cipta dan hak tertentu lain yang pemberi lesen mempunyai kuasa untuk memberikan. Penggunaan bahan yang dilesenkan mungkin masih dihadkan atas sebab lain, termasuk kerana orang lain mempunyai hak cipta atau hak lain dalam bahan tersebut. Pemberi lesen mungkin membuat permintaan khas, seperti meminta semua perubahan ditandakan atau diterangkan. Walaupun tidak diwajibkan oleh lesen kami, anda digalakkan untuk menghormati permintaan tersebut jika munasabah. Pertimbangan lebih lanjut untuk awam: wiki.creativecommons.org/Considerations_for_licensees + +======================================================================= + +Creative Commons Attribution-ShareAlike 4.0 International Public License + +Dengan menggunakan Hak Dilesenkan (ditakrifkan di bawah), Anda menerima dan bersetuju untuk terikat dengan terma dan syarat Creative Commons Attribution-ShareAlike 4.0 International Public License ("Lesen Awam"). Setakat mana Lesen Awam ini boleh ditafsirkan sebagai kontrak, Anda diberikan Hak Dilesenkan sebagai pertimbangan atas penerimaan Anda terhadap terma dan syarat ini, dan Pemberi Lesen memberikan Anda hak tersebut sebagai pertimbangan atas manfaat yang diterima Pemberi Lesen daripada membuat Bahan Dilesenkan tersedia di bawah terma dan syarat ini. + +Seksyen 1 -- Definisi. + + a. Bahan Diadaptasi bermaksud bahan yang tertakluk kepada Hak Cipta dan Hak Serupa yang berasal dari atau berdasarkan Bahan Dilesenkan dan di mana Bahan Dilesenkan diterjemahkan, diubah, disusun, diubahsuai, atau diubah dalam cara yang memerlukan kebenaran di bawah Hak Cipta dan Hak Serupa yang dipegang oleh Pemberi Lesen. Untuk tujuan Lesen Awam ini, di mana Bahan Dilesenkan adalah karya muzik, persembahan, atau rakaman bunyi, Bahan Diadaptasi selalu dihasilkan di mana Bahan Dilesenkan disinkronkan dalam hubungan masa dengan imej bergerak. + + b. Lesen Adapter bermaksud lesen yang Anda gunakan untuk Hak Cipta dan Hak Serupa Anda dalam sumbangan Anda kepada Bahan Diadaptasi mengikut terma dan syarat Lesen Awam ini. + + c. Lesen Serasi BY-SA bermaksud lesen yang disenaraikan di creativecommons.org/compatiblelicenses, diluluskan oleh Creative Commons sebagai setara dengan Lesen Awam ini. + + d. Hak Cipta dan Hak Serupa bermaksud hak cipta dan/atau hak serupa yang berkaitan rapat dengan hak cipta termasuk, tanpa had, persembahan, siaran, rakaman bunyi, dan Hak Pangkalan Data Sui Generis, tanpa mengira bagaimana hak tersebut dilabel atau dikategorikan. Untuk tujuan Lesen Awam ini, hak yang dinyatakan dalam Seksyen 2(b)(1)-(2) bukan Hak Cipta dan Hak Serupa. + + e. Langkah Teknologi Berkesan bermaksud langkah-langkah yang, tanpa kuasa yang betul, tidak boleh dielakkan di bawah undang-undang yang memenuhi kewajipan di bawah Artikel 11 Perjanjian Hak Cipta WIPO yang diterima pakai pada 20 Disember 1996, dan/atau perjanjian antarabangsa serupa. + + f. Pengecualian dan Had bermaksud penggunaan adil, perjanjian adil, dan/atau sebarang pengecualian atau had lain kepada Hak Cipta dan Hak Serupa yang berlaku kepada penggunaan Anda terhadap Bahan Dilesenkan. + + g. Elemen Lesen bermaksud atribut lesen yang disenaraikan dalam nama Lesen Awam Creative Commons. Elemen Lesen bagi Lesen Awam ini adalah Atribusi dan KongsiSerupa. + + h. Bahan Dilesenkan bermaksud karya seni atau sastera, pangkalan data, atau bahan lain yang Pemberi Lesen menggunakan Lesen Awam ini. + + i. Hak Dilesenkan bermaksud hak yang diberikan kepada Anda tertakluk kepada terma dan syarat Lesen Awam ini, yang terhad kepada semua Hak Cipta dan Hak Serupa yang berlaku kepada penggunaan Anda terhadap Bahan Dilesenkan dan yang Pemberi Lesen mempunyai kuasa untuk melesenkan. + + j. Pemberi Lesen bermaksud individu atau entiti yang memberikan hak di bawah Lesen Awam ini. + + k. Kongsi bermaksud menyediakan bahan kepada awam dengan apa-apa cara atau proses yang memerlukan kebenaran di bawah Hak Dilesenkan, seperti penghasilan semula, paparan awam, persembahan awam, pengedaran, penyebaran, komunikasi, atau pengimportan, dan membuat bahan tersedia kepada awam termasuk dengan cara yang anggota awam boleh mengakses bahan dari tempat dan pada masa yang dipilih secara individu oleh mereka. + + l. Hak Pangkalan Data Sui Generis bermaksud hak selain daripada hak cipta yang berpunca daripada Arahan 96/9/EC Parlimen Eropah dan Majlis pada 11 Mac 1996 mengenai perlindungan undang-undang pangkalan data, seperti yang dipinda dan/atau digantikan, serta hak setara di mana-mana sahaja di dunia. + + m. Anda bermaksud individu atau entiti yang menggunakan Hak Dilesenkan di bawah Lesen Awam ini. Anda mempunyai makna yang sepadan. + +Seksyen 2 -- Skop. + + a. Pemberian lesen. + + 1. Tertakluk kepada terma dan syarat Lesen Awam ini, Pemberi Lesen dengan ini memberikan Anda lesen seluruh dunia, bebas royalti, tidak boleh disublesenkan, tidak eksklusif, tidak boleh dibatalkan untuk menggunakan Hak Dilesenkan dalam Bahan Dilesenkan untuk: + + a. menghasilkan semula dan Berkongsi Bahan Dilesenkan, secara keseluruhan atau sebahagian; dan + + b. menghasilkan, menghasilkan semula, dan Berkongsi Bahan Diadaptasi. + + 2. Pengecualian dan Had. Untuk mengelakkan keraguan, di mana Pengecualian dan Had berlaku kepada penggunaan Anda, Lesen Awam ini tidak berlaku, dan Anda tidak perlu mematuhi terma dan syaratnya. + + 3. Tempoh. Tempoh Lesen Awam ini dinyatakan dalam Seksyen 6(a). + + 4. Media dan format; pengubahsuaian teknikal dibenarkan. Pemberi Lesen memberi kuasa kepada Anda untuk menggunakan Hak Dilesenkan dalam semua media dan format sama ada yang diketahui sekarang atau yang akan datang, dan untuk membuat pengubahsuaian teknikal yang diperlukan untuk melakukannya. Pemberi Lesen mengetepikan dan/atau bersetuju untuk tidak menegaskan sebarang hak atau kuasa untuk melarang Anda daripada membuat pengubahsuaian teknikal yang diperlukan untuk menggunakan Hak Dilesenkan, termasuk pengubahsuaian teknikal yang diperlukan untuk mengelakkan Langkah Teknologi Berkesan. Untuk tujuan Lesen Awam ini, hanya membuat pengubahsuaian yang dibenarkan oleh Seksyen 2(a)(4) tidak pernah menghasilkan Bahan Diadaptasi. + + 5. Penerima hiliran. + + a. Tawaran daripada Pemberi Lesen -- Bahan Dilesenkan. Setiap penerima Bahan Dilesenkan secara automatik menerima tawaran daripada Pemberi Lesen untuk menggunakan Hak Dilesenkan di bawah terma dan syarat Lesen Awam ini. + + b. Tawaran tambahan daripada Pemberi Lesen -- Bahan Diadaptasi. Setiap penerima Bahan Diadaptasi daripada Anda secara automatik menerima tawaran daripada Pemberi Lesen untuk menggunakan Hak Dilesenkan dalam Bahan Diadaptasi di bawah syarat-syarat Lesen Adapter yang Anda gunakan. + + c. Tiada sekatan hiliran. Anda tidak boleh menawarkan atau mengenakan sebarang terma atau syarat tambahan atau berbeza, atau menggunakan sebarang Langkah Teknologi Berkesan kepada, Bahan Dilesenkan jika melakukannya menghalang penggunaan Hak Dilesenkan oleh mana-mana penerima Bahan Dilesenkan. + + 6. Tiada sokongan. Tiada apa-apa dalam Lesen Awam ini yang membentuk atau boleh ditafsirkan sebagai kebenaran untuk menyatakan atau mengimplikasikan bahawa Anda, atau penggunaan Anda terhadap Bahan Dilesenkan, dikaitkan dengan, atau disokong, disahkan, atau diberikan status rasmi oleh, Pemberi Lesen atau pihak lain yang ditetapkan untuk menerima atribusi seperti yang dinyatakan dalam Seksyen 3(a)(1)(A)(i). + + b. Hak lain. + + 1. Hak moral, seperti hak integriti, tidak dilesenkan di bawah Lesen Awam ini, begitu juga hak publisiti, privasi, dan/atau hak personaliti serupa lain; walau bagaimanapun, sejauh yang mungkin, Pemberi Lesen mengetepikan dan/atau bersetuju untuk tidak menegaskan hak tersebut yang dipegang oleh Pemberi Lesen sejauh yang diperlukan untuk membolehkan Anda menggunakan Hak Dilesenkan, tetapi tidak sebaliknya. + + 2. Hak paten dan tanda dagangan tidak dilesenkan di bawah Lesen Awam ini. + + 3. Sejauh yang mungkin, Pemberi Lesen mengetepikan sebarang hak untuk mengutip royalti daripada Anda untuk penggunaan Hak Dilesenkan, sama ada secara langsung atau melalui persatuan pengutipan di bawah sebarang skim pelesenan sukarela atau boleh diketepikan secara undang-undang atau wajib. Dalam semua kes lain, Pemberi Lesen secara jelas mengekalkan sebarang hak untuk mengutip royalti tersebut. + +Seksyen 3 -- Syarat Lesen. + +Penggunaan Anda terhadap Hak Dilesenkan secara jelas tertakluk kepada syarat-syarat berikut. + + a. Atribusi. + + 1. Jika Anda Berkongsi Bahan Dilesenkan (termasuk dalam bentuk yang diubah), Anda mesti: + + a. mengekalkan yang berikut jika ia disediakan oleh Pemberi Lesen dengan Bahan Dilesenkan: + + i. pengenalan pencipta Bahan Dilesenkan dan mana-mana pihak lain yang ditetapkan untuk menerima atribusi, dengan cara yang munasabah yang diminta oleh Pemberi Lesen (termasuk dengan nama samaran jika ditetapkan); + + ii. notis hak cipta; + + iii. notis yang merujuk kepada Lesen Awam ini; + + iv. notis yang merujuk kepada penafian jaminan; + + v. URI atau pautan hiperteks ke Bahan Dilesenkan sejauh mana yang munasabah; + + b. menunjukkan jika Anda mengubah Bahan Dilesenkan dan mengekalkan petunjuk sebarang pengubahsuaian sebelumnya; dan + + c. menunjukkan bahawa Bahan Dilesenkan adalah dilesenkan di bawah Lesen Awam ini, dan menyertakan teks, atau URI atau pautan hiperteks ke, Lesen Awam ini. + + 2. Anda boleh memenuhi syarat dalam Seksyen 3(a)(1) dengan cara yang munasabah berdasarkan medium, cara, dan konteks di mana Anda Berkongsi Bahan Dilesenkan. Contohnya, mungkin munasabah untuk memenuhi syarat dengan menyediakan URI atau pautan hiperteks ke sumber yang mengandungi maklumat yang diperlukan. + + 3. Jika diminta oleh Pemberi Lesen, Anda mesti mengeluarkan sebarang maklumat yang diperlukan oleh Seksyen 3(a)(1)(A) sejauh yang munasabah. + + b. KongsiSerupa. + + Sebagai tambahan kepada syarat dalam Seksyen 3(a), jika Anda Berkongsi Bahan Diadaptasi yang Anda hasilkan, syarat berikut juga terpakai. + + 1. Lesen Adapter yang Anda gunakan mesti merupakan lesen Creative Commons dengan Elemen Lesen yang sama, versi ini atau yang lebih baru, atau Lesen Serasi BY-SA. + + 2. Anda mesti menyertakan teks, atau URI atau pautan hiperteks ke, Lesen Adapter yang Anda gunakan. Anda boleh memenuhi syarat ini dengan cara yang munasabah berdasarkan medium, cara, dan konteks di mana Anda Berkongsi Bahan Diadaptasi. + + 3. Anda tidak boleh menawarkan atau mengenakan sebarang terma atau syarat tambahan atau berbeza, atau menggunakan sebarang Langkah Teknologi Berkesan kepada, Bahan Diadaptasi yang menghalang penggunaan hak yang diberikan di bawah Lesen Adapter yang Anda gunakan. + +Seksyen 4 -- Hak Pangkalan Data Sui Generis. + +Di mana Hak Dilesenkan termasuk Hak Pangkalan Data Sui Generis yang berlaku kepada penggunaan Anda terhadap Bahan Dilesenkan: + + a. untuk mengelakkan keraguan, Seksyen 2(a)(1) memberikan Anda hak untuk mengekstrak, menggunakan semula, menghasilkan semula, dan Berkongsi semua atau sebahagian besar kandungan pangkalan data; + + b. jika Anda menyertakan semua atau sebahagian besar kandungan pangkalan data dalam pangkalan data yang Anda mempunyai Hak Pangkalan Data Sui Generis, maka pangkalan data yang Anda mempunyai Hak Pangkalan Data Sui Generis (tetapi bukan kandungan individunya) adalah Bahan Diadaptasi, termasuk untuk tujuan Seksyen 3(b); dan + + c. Anda mesti mematuhi syarat dalam Seksyen 3(a) jika Anda Berkongsi semua atau sebahagian besar kandungan pangkalan data. + +Untuk mengelakkan keraguan, Seksyen 4 ini melengkapi dan tidak menggantikan kewajipan Anda di bawah Lesen Awam ini di mana Hak Dilesenkan termasuk Hak Cipta dan Hak Serupa lain. + +Seksyen 5 -- Penafian Jaminan dan Had Tanggungjawab. + + a. KECUALI JIKA DISEBUTKAN SECARA BERASINGAN OLEH PEMBERI LESEN, SEJAUH YANG MUNGKIN, PEMBERI LESEN MENAWARKAN BAHAN DILESENKAN "AS-IS" DAN "AS-AVAILABLE", DAN TIDAK MEMBUAT SEBARANG PERNYATAAN ATAU JAMINAN JENIS APA PUN MENGENAI BAHAN DILESENKAN, SAMA ADA DINYATAKAN, TERSIRAT, BERKANUN, ATAU LAINNYA. INI TERMASUK, TANPA HAD, JAMINAN HAK MILIK, KESESUAIAN UNTUK TUJUAN TERTENTU, TIDAK MELANGGAR HAK, KETIADAAN KECACATAN TERSEMBUNYI ATAU LAIN, KETEPATAN, ATAU KEHADIRAN ATAU KETIADAAN KESALAHAN, SAMA ADA DIKETAHUI ATAU TIDAK DIKETAHUI ATAU DAPAT DIKESAN. DI MANA PENAFIAN JAMINAN TIDAK DIBENARKAN SEPENUHNYA ATAU SEBAHAGIAN, PENAFIAN INI MUNGKIN TIDAK TERPAKAI KEPADA ANDA. + + b. SEJAUH YANG MUNGKIN, DALAM APA JUA KEADAAN PEMBERI LESEN TIDAK AKAN BERTANGGUNGJAWAB KEPADA ANDA ATAS SEBARANG TEORI UNDANG-UNDANG (TERMASUK, TANPA HAD, KECUAIAN) ATAU SEBALIKNYA UNTUK SEBARANG KERUGIAN LANGSUNG, KHAS, TIDAK LANGSUNG, INSIDENTAL, KONSEKUENSI, PUNITIF, CONTOH, ATAU LAINNYA, KOS, PERBELANJAAN, ATAU KEROSAKAN YANG TIMBUL DARIPADA LESEN AWAM INI ATAU PENGGUNAAN BAHAN DILESENKAN, WALAUPUN PEMBERI LESEN TELAH DINASIHATKAN TENTANG KEMUNGKINAN KERUGIAN, KOS, PERBELANJAAN, ATAU KEROSAKAN TERSEBUT. DI MANA HAD TANGGUNGJAWAB TIDAK DIBENARKAN SEPENUHNYA ATAU SEBAHAGIAN, HAD INI MUNGKIN TIDAK TERPAKAI KEPADA ANDA. + + c. Penafian jaminan dan had tanggungjawab yang dinyatakan di atas hendaklah ditafsirkan dengan cara yang, sejauh yang mungkin, paling hampir dengan penafian dan pengecualian tanggungjawab sepenuhnya. + +Seksyen 6 -- Tempoh dan Penamatan. + + a. Lesen Aw + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila maklum bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat penting, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/ms/sketchnotes/README.md b/translations/ms/sketchnotes/README.md new file mode 100644 index 000000000..a5a1f23e5 --- /dev/null +++ b/translations/ms/sketchnotes/README.md @@ -0,0 +1,10 @@ +Semua sketchnotes kurikulum boleh dimuat turun di sini. + +🖨 Untuk cetakan dalam resolusi tinggi, versi TIFF boleh didapati di [repo ini](https://github.com/girliemac/a-picture-is-worth-a-1000-words/tree/main/ml/tiff). + +🎨 Dicipta oleh: [Tomomi Imura](https://github.com/girliemac) (Twitter: [@girlie_mac](https://twitter.com/girlie_mac)) + +[](https://creativecommons.org/licenses/by-sa/4.0/) + +**Penafian**: +Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI berasaskan mesin. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang berwibawa. Untuk maklumat kritikal, terjemahan manusia profesional adalah disyorkan. Kami tidak bertanggungjawab ke atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini. \ No newline at end of file diff --git a/translations/sw/1-Introduction/1-intro-to-ML/README.md b/translations/sw/1-Introduction/1-intro-to-ML/README.md new file mode 100644 index 000000000..6cc83738a --- /dev/null +++ b/translations/sw/1-Introduction/1-intro-to-ML/README.md @@ -0,0 +1,148 @@ +# Utangulizi wa ujifunzaji wa mashine + +## [Jaribio la kabla ya muhadhara](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/1/) + +--- + +[](https://youtu.be/6mSx_KJxcHI "ML kwa wanaoanza - Utangulizi wa Ujifunzaji wa Mashine kwa Wanaoanza") + +> 🎥 Bonyeza picha hapo juu kwa video fupi inayofanya kazi kupitia somo hili. + +Karibu kwenye kozi hii ya ujifunzaji wa mashine ya kiasili kwa wanaoanza! Ikiwa wewe ni mgeni kabisa kwenye mada hii, au ni mtaalamu wa ML mwenye uzoefu anayetafuta kuboresha eneo fulani, tunafurahi kuwa na wewe! Tunataka kuunda sehemu rafiki ya kuanzisha masomo yako ya ML na tutafurahi kutathmini, kujibu, na kujumuisha [maoni yako](https://github.com/microsoft/ML-For-Beginners/discussions). + +[](https://youtu.be/h0e2HAPTGF4 "Utangulizi wa ML") + +> 🎥 Bonyeza picha hapo juu kwa video: John Guttag wa MIT anatambulisha ujifunzaji wa mashine + +--- +## Kuanza na ujifunzaji wa mashine + +Kabla ya kuanza na mtaala huu, unahitaji kuwa na kompyuta yako imewekwa na tayari kuendesha vitabu vya maelezo (notebooks) kwa ndani. + +- **Sanidi kompyuta yako na video hizi**. Tumia viungo vifuatavyo kujifunza [jinsi ya kusakinisha Python](https://youtu.be/CXZYvNRIAKM) kwenye mfumo wako na [kuweka mhariri wa maandishi](https://youtu.be/EU8eayHWoZg) kwa ajili ya maendeleo. +- **Jifunze Python**. Pia inashauriwa kuwa na uelewa wa msingi wa [Python](https://docs.microsoft.com/learn/paths/python-language/?WT.mc_id=academic-77952-leestott), lugha ya programu inayofaa kwa wanasayansi wa data ambayo tunatumia katika kozi hii. +- **Jifunze Node.js na JavaScript**. Pia tunatumia JavaScript mara kadhaa katika kozi hii tunapojenga programu za wavuti, kwa hivyo utahitaji kuwa na [node](https://nodejs.org) na [npm](https://www.npmjs.com/) zimesakinishwa, pamoja na [Visual Studio Code](https://code.visualstudio.com/) inayopatikana kwa ajili ya maendeleo ya Python na JavaScript. +- **Unda akaunti ya GitHub**. Kwa kuwa umetuona hapa kwenye [GitHub](https://github.com), unaweza tayari kuwa na akaunti, lakini kama huna, unda moja na kisha nakili mtaala huu kutumia wewe mwenyewe. (Usisite kutupa nyota, pia 😊) +- **Chunguza Scikit-learn**. Jijulishe na [Scikit-learn](https://scikit-learn.org/stable/user_guide.html), seti ya maktaba za ML ambazo tunazirejelea katika masomo haya. + +--- +## Ujifunzaji wa mashine ni nini? + +Neno 'ujifunzaji wa mashine' ni moja ya maneno maarufu na yanayotumika mara nyingi siku hizi. Kuna uwezekano mkubwa kwamba umesikia neno hili angalau mara moja ikiwa una aina fulani ya ufahamu wa teknolojia, bila kujali unafanya kazi katika uwanja gani. Mitambo ya ujifunzaji wa mashine, hata hivyo, ni fumbo kwa watu wengi. Kwa mwanzilishi wa ujifunzaji wa mashine, somo hili linaweza kuhisi kuwa gumu wakati mwingine. Kwa hiyo, ni muhimu kuelewa ujifunzaji wa mashine ni nini hasa, na kujifunza kuhusu hilo hatua kwa hatua, kupitia mifano ya vitendo. + +--- +## Mchoro wa hype + + + +> Google Trends inaonyesha 'mchoro wa hype' wa hivi karibuni wa neno 'ujifunzaji wa mashine' + +--- +## Ulimwengu wa fumbo + +Tunaishi katika ulimwengu uliojaa fumbo za kuvutia. Wanasayansi wakubwa kama Stephen Hawking, Albert Einstein, na wengine wengi wamejitolea maisha yao kutafuta habari za maana ambazo zinagundua fumbo za ulimwengu unaotuzunguka. Hii ni hali ya binadamu ya kujifunza: mtoto wa binadamu hujifunza mambo mapya na kugundua muundo wa ulimwengu wao mwaka baada ya mwaka wanapokua hadi utu uzima. + +--- +## Ubongo wa mtoto + +Ubongo wa mtoto na hisia zake hutambua ukweli wa mazingira yao na taratibu hujifunza mifumo iliyofichwa ya maisha ambayo husaidia mtoto kuunda sheria za kimantiki za kutambua mifumo iliyojifunza. Mchakato wa kujifunza wa ubongo wa binadamu hufanya wanadamu kuwa viumbe vyenye ustadi zaidi duniani. Kujifunza mfululizo kwa kugundua mifumo iliyofichwa na kisha kubuni kwenye mifumo hiyo hutuwezesha kujiboresha zaidi na zaidi katika maisha yetu yote. Uwezo huu wa kujifunza na uwezo wa kubadilika unahusiana na dhana inayoitwa [ubongo plastiki](https://www.simplypsychology.org/brain-plasticity.html). Kwa juu juu, tunaweza kuchora baadhi ya mfanano wa motisha kati ya mchakato wa kujifunza wa ubongo wa binadamu na dhana za ujifunzaji wa mashine. + +--- +## Ubongo wa binadamu + +[Ubongo wa binadamu](https://www.livescience.com/29365-human-brain.html) hutambua mambo kutoka ulimwengu wa kweli, huchakata habari iliyotambuliwa, hufanya maamuzi ya kimantiki, na hufanya vitendo fulani kulingana na hali. Hii ndio tunaita kujiendesha kwa akili. Tunapopanga nakala ya mchakato wa tabia ya akili kwa mashine, inaitwa akili ya bandia (AI). + +--- +## Baadhi ya istilahi + +Ingawa maneno yanaweza kuchanganywa, ujifunzaji wa mashine (ML) ni sehemu muhimu ya akili ya bandia. **ML inahusu kutumia algoriti maalum kugundua habari za maana na kupata mifumo iliyofichwa kutoka kwa data iliyotambuliwa ili kuthibitisha mchakato wa kufanya maamuzi ya kimantiki**. + +--- +## AI, ML, Kujifunza kwa kina + + + +> Mchoro unaoonyesha uhusiano kati ya AI, ML, kujifunza kwa kina, na sayansi ya data. Picha ya [Jen Looper](https://twitter.com/jenlooper) iliyochochewa na [picha hii](https://softwareengineering.stackexchange.com/questions/366996/distinction-between-ai-ml-neural-networks-deep-learning-and-data-mining) + +--- +## Dhana za kufunika + +Katika mtaala huu, tutaangazia tu dhana za msingi za ujifunzaji wa mashine ambazo mwanzilishi lazima azijue. Tunashughulikia kile tunachokiita 'ujifunzaji wa mashine wa kiasili' hasa kwa kutumia Scikit-learn, maktaba bora ambayo wanafunzi wengi hutumia kujifunza misingi. Ili kuelewa dhana pana za akili ya bandia au kujifunza kwa kina, maarifa thabiti ya msingi ya ujifunzaji wa mashine ni muhimu, na hivyo tungependa kuyatoa hapa. + +--- +## Katika kozi hii utajifunza: + +- dhana za msingi za ujifunzaji wa mashine +- historia ya ML +- ML na usawa +- mbinu za ML za regression +- mbinu za ML za uainishaji +- mbinu za ML za clustering +- mbinu za ML za usindikaji wa lugha asilia +- mbinu za ML za utabiri wa mfululizo wa wakati +- ujifunzaji wa kuimarisha +- matumizi halisi ya ML + +--- +## Kile hatutafunika + +- kujifunza kwa kina +- mitandao ya neva +- AI + +Ili kufanya uzoefu wa kujifunza kuwa bora, tutakwepa ugumu wa mitandao ya neva, 'kujifunza kwa kina' - ujenzi wa mifano yenye tabaka nyingi kwa kutumia mitandao ya neva - na AI, ambayo tutajadili katika mtaala tofauti. Pia tutatoa mtaala ujao wa sayansi ya data ili kuzingatia kipengele hicho cha uwanja huu mkubwa. + +--- +## Kwa nini ujifunze ujifunzaji wa mashine? + +Ujifunzaji wa mashine, kutoka mtazamo wa mifumo, unafafanuliwa kama uundaji wa mifumo ya kiotomatiki inayoweza kujifunza mifumo iliyofichwa kutoka kwa data ili kusaidia kufanya maamuzi ya akili. + +Motisha hii imechochewa kwa kiasi fulani na jinsi ubongo wa binadamu unavyojifunza mambo fulani kulingana na data inayotambuliwa kutoka ulimwengu wa nje. + +✅ Fikiria kwa dakika moja kwa nini biashara ingependa kujaribu kutumia mikakati ya ujifunzaji wa mashine dhidi ya kuunda injini ya sheria zilizowekwa ngumu. + +--- +## Matumizi ya ujifunzaji wa mashine + +Matumizi ya ujifunzaji wa mashine sasa yako karibu kila mahali, na ni kama data inayoenea katika jamii zetu, inayozalishwa na simu zetu mahiri, vifaa vilivyounganishwa, na mifumo mingine. Kwa kuzingatia uwezo mkubwa wa algoriti za kisasa za ujifunzaji wa mashine, watafiti wamekuwa wakichunguza uwezo wao wa kutatua matatizo ya maisha ya kila siku yenye vipimo vingi na taaluma nyingi na matokeo mazuri. + +--- +## Mifano ya ML iliyotumika + +**Unaweza kutumia ujifunzaji wa mashine kwa njia nyingi**: + +- Kutabiri uwezekano wa ugonjwa kutoka historia ya matibabu ya mgonjwa au ripoti. +- Kutumia data ya hali ya hewa kutabiri matukio ya hali ya hewa. +- Kuelewa hisia ya maandishi. +- Kugundua habari za uongo ili kuzuia kuenea kwa propaganda. + +Fedha, uchumi, sayansi ya dunia, uchunguzi wa anga, uhandisi wa biomedical, sayansi ya utambuzi, na hata nyanja za sayansi ya jamii zimechukua ujifunzaji wa mashine kutatua matatizo magumu ya uchakataji wa data katika maeneo yao. + +--- +## Hitimisho + +Ujifunzaji wa mashine unaotomatisha mchakato wa kugundua mifumo kwa kupata maarifa ya maana kutoka kwa data halisi au data iliyotengenezwa. Imejidhihirisha kuwa na thamani kubwa katika biashara, afya, na matumizi ya kifedha, kati ya mengine. + +Katika siku za usoni, kuelewa misingi ya ujifunzaji wa mashine kutakuwa lazima kwa watu kutoka fani yoyote kutokana na kuenea kwake. + +--- +# 🚀 Changamoto + +Chora, kwenye karatasi au kwa kutumia programu ya mtandaoni kama [Excalidraw](https://excalidraw.com/), uelewa wako wa tofauti kati ya AI, ML, kujifunza kwa kina, na sayansi ya data. Ongeza baadhi ya mawazo ya matatizo ambayo kila moja ya mbinu hizi ni nzuri katika kutatua. + +# [Jaribio la baada ya muhadhara](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/2/) + +--- +# Mapitio & Kujisomea + +Ili kujifunza zaidi kuhusu jinsi unavyoweza kufanya kazi na algoriti za ML kwenye wingu, fuata [Njia ya Kujifunza](https://docs.microsoft.com/learn/paths/create-no-code-predictive-models-azure-machine-learning/?WT.mc_id=academic-77952-leestott). + +Chukua [Njia ya Kujifunza](https://docs.microsoft.com/learn/modules/introduction-to-machine-learning/?WT.mc_id=academic-77952-leestott) kuhusu misingi ya ML. + +--- +# Kazi + +[Anza na kukimbia](assignment.md) + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kwamba tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwa sahihi. Hati ya asili katika lugha yake ya asili inapaswa kuzingatiwa kama chanzo cha mamlaka. Kwa habari muhimu, tafsiri ya kibinadamu ya kitaalamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/1-Introduction/1-intro-to-ML/assignment.md b/translations/sw/1-Introduction/1-intro-to-ML/assignment.md new file mode 100644 index 000000000..40265b7f2 --- /dev/null +++ b/translations/sw/1-Introduction/1-intro-to-ML/assignment.md @@ -0,0 +1,12 @@ +# Anza na Kukimbia + +## Maelekezo + +Katika kazi hii isiyopimwa, unapaswa kujikumbusha Python na kuandaa mazingira yako ili yaweze kuendesha daftari. + +Chukua [Python Learning Path](https://docs.microsoft.com/learn/paths/python-language/?WT.mc_id=academic-77952-leestott), kisha andaa mifumo yako kwa kupitia video hizi za utangulizi: + +https://www.youtube.com/playlist?list=PLlrxD0HtieHhS8VzuMCfQD4uJ9yne1mE6 + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kwamba tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokubaliana. Hati ya asili katika lugha yake ya asili inapaswa kuzingatiwa kama chanzo cha mamlaka. Kwa habari muhimu, tafsiri ya kibinadamu ya kitaalam inapendekezwa. Hatutawajibika kwa kutokuelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/1-Introduction/2-history-of-ML/README.md b/translations/sw/1-Introduction/2-history-of-ML/README.md new file mode 100644 index 000000000..56840a381 --- /dev/null +++ b/translations/sw/1-Introduction/2-history-of-ML/README.md @@ -0,0 +1,152 @@ +# Historia ya ujifunzaji wa mashine + + +> Sketchnote na [Tomomi Imura](https://www.twitter.com/girlie_mac) + +## [Jaribio la kabla ya somo](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/3/) + +--- + +[](https://youtu.be/N6wxM4wZ7V0 "ML kwa wanaoanza - Historia ya Ujifunzaji wa Mashine") + +> 🎥 Bonyeza picha hapo juu kwa video fupi inayopitia somo hili. + +Katika somo hili, tutapitia hatua kuu katika historia ya ujifunzaji wa mashine na akili bandia. + +Historia ya akili bandia (AI) kama uwanja inaunganishwa na historia ya ujifunzaji wa mashine, kwani algorithmi na maendeleo ya kompyuta yanayounga mkono ML yaliingia katika maendeleo ya AI. Ni muhimu kukumbuka kwamba, ingawa nyanja hizi kama maeneo tofauti ya uchunguzi zilianza kuimarika miaka ya 1950, [uvumbuzi muhimu wa algorithmi, takwimu, hisabati, kompyuta na kiufundi](https://wikipedia.org/wiki/Timeline_of_machine_learning) ulitangulia na kuingiliana na enzi hii. Kwa kweli, watu wamekuwa wakifikiria kuhusu maswali haya kwa [mamia ya miaka](https://wikipedia.org/wiki/History_of_artificial_intelligence): makala hii inajadili misingi ya kihistoria ya wazo la 'mashine inayofikiria.' + +--- +## Uvumbuzi muhimu + +- 1763, 1812 [Nadharia ya Bayes](https://wikipedia.org/wiki/Bayes%27_theorem) na watangulizi wake. Nadharia hii na matumizi yake yanasaidia katika inferensi, ikielezea uwezekano wa tukio kutokea kwa msingi wa maarifa ya awali. +- 1805 [Nadharia ya Mraba Mdogo](https://wikipedia.org/wiki/Least_squares) na mtaalamu wa hesabu wa Kifaransa Adrien-Marie Legendre. Nadharia hii, ambayo utajifunza katika kitengo chetu cha Regression, husaidia katika kufaa data. +- 1913 [Minyororo ya Markov](https://wikipedia.org/wiki/Markov_chain), iliyotajwa baada ya mtaalamu wa hesabu wa Kirusi Andrey Markov, hutumika kuelezea mfululizo wa matukio yanayoweza kutokea kwa msingi wa hali ya awali. +- 1957 [Perceptron](https://wikipedia.org/wiki/Perceptron) ni aina ya kigeuaji cha mstari kilichovumbuliwa na mwanasaikolojia wa Marekani Frank Rosenblatt ambayo ina msingi katika maendeleo ya ujifunzaji wa kina. + +--- + +- 1967 [Jirani Karibu](https://wikipedia.org/wiki/Nearest_neighbor) ni algorithmi iliyoundwa awali kwa ajili ya kupanga njia. Katika muktadha wa ML hutumika kugundua mifumo. +- 1970 [Kurudisha Nyuma](https://wikipedia.org/wiki/Backpropagation) hutumika kufundisha [mitandao ya neva ya kulisha mbele](https://wikipedia.org/wiki/Feedforward_neural_network). +- 1982 [Mitandao ya Neva ya Kurudia](https://wikipedia.org/wiki/Recurrent_neural_network) ni mitandao ya neva bandia inayotokana na mitandao ya neva ya kulisha mbele ambayo huunda grafu za muda. + +✅ Fanya utafiti kidogo. Ni tarehe gani nyingine zinajitokeza kama muhimu katika historia ya ML na AI? + +--- +## 1950: Mashine zinazofikiria + +Alan Turing, mtu wa ajabu sana ambaye alichaguliwa [na umma mwaka 2019](https://wikipedia.org/wiki/Icons:_The_Greatest_Person_of_the_20th_Century) kama mwanasayansi mkubwa wa karne ya 20, anahesabiwa kuwa alisaidia kuweka msingi wa wazo la 'mashine inayoweza kufikiria.' Alikabiliana na wapinzani na hitaji lake la ushahidi wa kimaumbile wa wazo hili kwa sehemu kwa kuunda [Mtihani wa Turing](https://www.bbc.com/news/technology-18475646), ambao utachunguza katika masomo yetu ya NLP. + +--- +## 1956: Mradi wa Utafiti wa Majira ya Joto wa Dartmouth + +"Mradi wa Utafiti wa Majira ya Joto wa Dartmouth juu ya akili bandia ulikuwa tukio muhimu kwa akili bandia kama uwanja," na ilikuwa hapa ambapo neno 'akili bandia' lilianzishwa ([chanzo](https://250.dartmouth.edu/highlights/artificial-intelligence-ai-coined-dartmouth)). + +> Kila kipengele cha kujifunza au kipengele kingine chochote cha akili kinaweza kuelezewa kwa usahihi kiasi kwamba mashine inaweza kutengenezwa ili kuiga. + +--- + +Mtafiti mkuu, profesa wa hisabati John McCarthy, alitarajia "kuendelea kwa msingi wa nadharia kwamba kila kipengele cha kujifunza au kipengele kingine chochote cha akili kinaweza kuelezewa kwa usahihi kiasi kwamba mashine inaweza kutengenezwa ili kuiga." Washiriki walijumuisha mtu mwingine maarufu katika uwanja huo, Marvin Minsky. + +Warsha hiyo inahesabiwa kuwa ilianzisha na kuhimiza majadiliano kadhaa ikiwa ni pamoja na "kuongezeka kwa mbinu za alama, mifumo inayolenga maeneo madogo (mifumo ya wataalamu wa awali), na mifumo ya upunguzaji dhidi ya mifumo ya kuingiza." ([chanzo](https://wikipedia.org/wiki/Dartmouth_workshop)). + +--- +## 1956 - 1974: "Miaka ya dhahabu" + +Kuanzia miaka ya 1950 hadi katikati ya miaka ya '70, matumaini yalikuwa juu kwamba AI inaweza kutatua matatizo mengi. Mnamo 1967, Marvin Minsky alisema kwa kujiamini kwamba "Ndani ya kizazi ... tatizo la kuunda 'akili bandia' litatatuliwa kwa kiasi kikubwa." (Minsky, Marvin (1967), Computation: Finite and Infinite Machines, Englewood Cliffs, N.J.: Prentice-Hall) + +Utafiti wa usindikaji wa lugha asilia uliendelea, utafutaji uliimarishwa na kufanywa kuwa na nguvu zaidi, na dhana ya 'ulimwengu mdogo' iliundwa, ambapo majukumu rahisi yalifanywa kwa kutumia maagizo ya lugha rahisi. + +--- + +Utafiti ulifadhiliwa vizuri na mashirika ya serikali, maendeleo yalifanywa katika kompyuta na algorithmi, na mifano ya mashine za akili ziliundwa. Baadhi ya mashine hizi ni pamoja na: + +* [Shakey roboti](https://wikipedia.org/wiki/Shakey_the_robot), ambaye angeweza kusonga na kuamua jinsi ya kufanya majukumu 'kwa akili'. + +  + > Shakey mnamo 1972 + +--- + +* Eliza, 'chatterbot' wa awali, angeweza kuzungumza na watu na kutenda kama 'mshauri' wa msingi. Utajifunza zaidi kuhusu Eliza katika masomo ya NLP. + +  + > Toleo la Eliza, chatbot + +--- + +* "Ulimwengu wa Vitalu" ulikuwa mfano wa ulimwengu mdogo ambapo vitalu vinaweza kupangwa na kuchaguliwa, na majaribio katika kufundisha mashine kufanya maamuzi yanaweza kujaribiwa. Maendeleo yaliyofanywa na maktaba kama [SHRDLU](https://wikipedia.org/wiki/SHRDLU) yalisaidia kusukuma mbele usindikaji wa lugha. + + [](https://www.youtube.com/watch?v=QAJz4YKUwqw "ulimwengu wa vitalu na SHRDLU") + + > 🎥 Bonyeza picha hapo juu kwa video: Ulimwengu wa vitalu na SHRDLU + +--- +## 1974 - 1980: "Majira ya baridi ya AI" + +Kufikia katikati ya miaka ya 1970, ilionekana wazi kwamba ugumu wa kutengeneza 'mashine za akili' ulikuwa umepunguzwa na ahadi yake, kutokana na nguvu za kompyuta zilizopo, ilikuwa imezidishwa. Fedha zilikauka na imani katika uwanja huo ilipungua. Baadhi ya masuala yaliyopunguza imani ni pamoja na: +--- +- **Mipaka**. Nguvu za kompyuta zilikuwa ndogo sana. +- **Mlipo wa mchanganyiko**. Kiasi cha vigezo vinavyohitajika kufundishwa kiliongezeka kwa kasi kama zaidi ilivyotakiwa kutoka kwa kompyuta, bila maendeleo sambamba ya nguvu za kompyuta na uwezo. +- **Upungufu wa data**. Kulikuwa na upungufu wa data ambao ulizuia mchakato wa kujaribu, kuendeleza, na kuboresha algorithmi. +- **Je, tunauliza maswali sahihi?**. Maswali yenyewe yaliyoulizwa yalianza kutiliwa shaka. Watafiti walianza kukabiliana na ukosoaji kuhusu mbinu zao: + - Mitihani ya Turing ilianza kutiliwa shaka kwa njia mbalimbali, miongoni mwa mawazo mengine, nadharia ya 'chumba cha kichina' ambayo ilidai kwamba, "kuweka programu kwenye kompyuta ya kidigitali inaweza kuifanya ionekane kuelewa lugha lakini haiwezi kutoa uelewa wa kweli." ([chanzo](https://plato.stanford.edu/entries/chinese-room/)) + - Maadili ya kuanzisha akili bandia kama vile "mshauri" ELIZA katika jamii yalipigwa msasa. + +--- + +Wakati huo huo, shule mbalimbali za mawazo ya AI zilianza kuunda. Mgawanyiko ulianzishwa kati ya mazoea ya ["scruffy" vs. "neat AI"](https://wikipedia.org/wiki/Neats_and_scruffies). Maabara _Scruffy_ ilibadilisha programu kwa masaa hadi walipata matokeo yaliyotakiwa. Maabara _Neat_ "zililenga kwenye mantiki na utatuzi wa matatizo rasmi". ELIZA na SHRDLU zilikuwa mifumo inayojulikana ya _scruffy_. Katika miaka ya 1980, wakati mahitaji yalipoibuka ya kufanya mifumo ya ML iweze kurudiwa, mbinu ya _neat_ ilianza kuchukua nafasi ya mbele kwani matokeo yake yanaweza kuelezeka zaidi. + +--- +## Mifumo ya wataalamu ya miaka ya 1980 + +Kadri uwanja ulivyokua, faida zake kwa biashara zilikuwa wazi zaidi, na katika miaka ya 1980 ndivyo ilivyokuwa na kuenea kwa 'mifumo ya wataalamu'. "Mifumo ya wataalamu ilikuwa miongoni mwa aina za kwanza za programu za akili bandia (AI) zilizofanikiwa kweli." ([chanzo](https://wikipedia.org/wiki/Expert_system)). + +Aina hii ya mfumo ni _mseto_, ikijumuisha sehemu ya injini ya sheria inayofafanua mahitaji ya biashara, na injini ya inferensi inayotumia mfumo wa sheria ili kutoa ukweli mpya. + +Enzi hii pia iliona kuongezeka kwa umakini kwa mitandao ya neva. + +--- +## 1987 - 1993: 'Baridi' ya AI + +Kuenea kwa vifaa maalum vya mifumo ya wataalamu kulikuwa na athari mbaya ya kuwa maalum sana. Kuongezeka kwa kompyuta binafsi pia kulishindana na mifumo hii mikubwa, maalum, ya kati. Udemokrasia wa kompyuta ulikuwa umeanza, na hatimaye ilifungua njia kwa mlipuko wa kisasa wa data kubwa. + +--- +## 1993 - 2011 + +Enzi hii iliona kipindi kipya kwa ML na AI kuwa na uwezo wa kutatua baadhi ya matatizo ambayo yalisababishwa awali na ukosefu wa data na nguvu za kompyuta. Kiasi cha data kilianza kuongezeka kwa kasi na kupatikana zaidi, kwa bora na kwa mbaya, hasa na ujio wa simu mahiri karibu mwaka 2007. Nguvu za kompyuta ziliongezeka kwa kasi, na algorithmi ziliendelea pamoja. Uwanja ulianza kupata ukomavu huku siku za zamani zisizo na mpangilio zikianza kuimarika kuwa taaluma ya kweli. + +--- +## Sasa + +Leo ujifunzaji wa mashine na AI vinagusa karibu kila sehemu ya maisha yetu. Enzi hii inahitaji uelewa wa makini wa hatari na athari zinazowezekana za algorithmi hizi kwa maisha ya binadamu. Kama Brad Smith wa Microsoft alivyoeleza, "Teknolojia ya habari inazua masuala yanayokwenda kwenye msingi wa ulinzi wa haki za binadamu kama faragha na uhuru wa kujieleza. Masuala haya yanainua uwajibikaji kwa makampuni ya teknolojia yanayounda bidhaa hizi. Kwa maoni yetu, pia yanahitaji udhibiti wa serikali wenye busara na maendeleo ya kanuni kuhusu matumizi yanayokubalika" ([chanzo](https://www.technologyreview.com/2019/12/18/102365/the-future-of-ais-impact-on-society/)). + +--- + +Inabaki kuonekana nini kitatokea siku zijazo, lakini ni muhimu kuelewa mifumo hii ya kompyuta na programu na algorithmi wanazoendesha. Tunatumaini kwamba mtaala huu utakusaidia kupata uelewa bora ili uweze kuamua mwenyewe. + +[](https://www.youtube.com/watch?v=mTtDfKgLm54 "Historia ya ujifunzaji wa kina") +> 🎥 Bonyeza picha hapo juu kwa video: Yann LeCun anajadili historia ya ujifunzaji wa kina katika mhadhara huu + +--- +## 🚀Changamoto + +Chunguza moja ya matukio haya ya kihistoria na ujifunze zaidi kuhusu watu walio nyuma yake. Kuna wahusika wa kuvutia, na hakuna ugunduzi wa kisayansi uliowahi kuundwa katika utupu wa kitamaduni. Unagundua nini? + +## [Jaribio la baada ya somo](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/4/) + +--- +## Mapitio na Kujisomea + +Hapa kuna vitu vya kutazama na kusikiliza: + +[Podcast hii ambapo Amy Boyd anajadili mabadiliko ya AI](http://runasradio.com/Shows/Show/739) +[](https://www.youtube.com/watch?v=EJt3_bFYKss "The history of AI by Amy Boyd") + +--- + +## Kazi + +[Tengeneza ratiba](assignment.md) + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI zinazotumia mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kwamba tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwepo kwa usahihi. Hati ya asili katika lugha yake ya asili inapaswa kuchukuliwa kama chanzo cha mamlaka. Kwa habari muhimu, tafsiri ya kitaalamu ya binadamu inapendekezwa. Hatutawajibika kwa kutokuelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/1-Introduction/2-history-of-ML/assignment.md b/translations/sw/1-Introduction/2-history-of-ML/assignment.md new file mode 100644 index 000000000..5a3cfbab0 --- /dev/null +++ b/translations/sw/1-Introduction/2-history-of-ML/assignment.md @@ -0,0 +1,14 @@ +# Unda ratiba ya matukio + +## Maelekezo + +Kutumia [repo hii](https://github.com/Digital-Humanities-Toolkit/timeline-builder), unda ratiba ya matukio ya kipengele fulani cha historia ya algorithms, hisabati, takwimu, AI, au ML, au mchanganyiko wa haya. Unaweza kuzingatia mtu mmoja, wazo moja, au kipindi kirefu cha mawazo. Hakikisha unaongeza vipengele vya multimedia. + +## Vigezo vya Tathmini + +| Kigezo | Kielelezo | Kinachokubalika | Kinachohitaji Kuboresha | +| -------- | ------------------------------------------------- | --------------------------------------- | -------------------------------------------------------------- | +| | Ratiba iliyotengenezwa imewasilishwa kama ukurasa wa GitHub | Msimbo haujakamilika na haujatumwa | Ratiba haijakamilika, haijafanyiwa utafiti vizuri na haijatumwa | + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI zinazotumia mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au upungufu. Hati asilia katika lugha yake ya awali inapaswa kuzingatiwa kama chanzo chenye mamlaka. Kwa taarifa muhimu, inashauriwa kutumia tafsiri ya kitaalamu ya kibinadamu. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/1-Introduction/3-fairness/README.md b/translations/sw/1-Introduction/3-fairness/README.md new file mode 100644 index 000000000..92bfde1bf --- /dev/null +++ b/translations/sw/1-Introduction/3-fairness/README.md @@ -0,0 +1,133 @@ +# Kujenga Suluhisho za Kujifunza kwa Mashine na AI Inayowajibika + + +> Sketchnote na [Tomomi Imura](https://www.twitter.com/girlie_mac) + +## [Jaribio la Kabla ya Somo](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/5/) + +## Utangulizi + +Katika mtaala huu, utaanza kugundua jinsi kujifunza kwa mashine kunaweza na kunaathiri maisha yetu ya kila siku. Hata sasa, mifumo na mifano inahusika katika kazi za kufanya maamuzi ya kila siku, kama vile utambuzi wa afya, idhini za mikopo au kugundua udanganyifu. Kwa hivyo, ni muhimu kwamba mifano hii ifanye kazi vizuri ili kutoa matokeo yanayoaminika. Kama programu nyingine yoyote, mifumo ya AI itakosa matarajio au kuwa na matokeo yasiyofaa. Ndiyo maana ni muhimu kuelewa na kuelezea tabia ya mfano wa AI. + +Fikiria nini kinaweza kutokea wakati data unayotumia kujenga mifano hii inakosa demografia fulani, kama vile rangi, jinsia, mtazamo wa kisiasa, dini, au inawakilisha kwa uwiano usio sawa demografia hizo. Je, kuhusu wakati matokeo ya mfano yanafafanuliwa kupendelea demografia fulani? Matokeo ni nini kwa programu? Zaidi ya hayo, nini kinatokea wakati mfano una matokeo mabaya na unadhuru watu? Nani anawajibika kwa tabia ya mifumo ya AI? Haya ni baadhi ya maswali tutakayochunguza katika mtaala huu. + +Katika somo hili, utajifunza: + +- Kuongeza ufahamu wako juu ya umuhimu wa haki katika kujifunza kwa mashine na madhara yanayohusiana na haki. +- Kufahamu mazoezi ya kuchunguza vipengele vya nje na hali zisizo za kawaida ili kuhakikisha kutegemewa na usalama. +- Kupata uelewa wa haja ya kuwawezesha wote kwa kubuni mifumo jumuishi. +- Kuchunguza jinsi ilivyo muhimu kulinda faragha na usalama wa data na watu. +- Kuona umuhimu wa kuwa na njia ya kisanduku la kioo kuelezea tabia ya mifano ya AI. +- Kuwa makini na jinsi uwajibikaji ni muhimu kujenga imani katika mifumo ya AI. + +## Sharti + +Kama sharti, tafadhali chukua "Kanuni za AI Inayowajibika" Njia ya Kujifunza na tazama video hapa chini kuhusu mada hiyo: + +Jifunze zaidi kuhusu AI Inayowajibika kwa kufuata [Njia ya Kujifunza](https://docs.microsoft.com/learn/modules/responsible-ai-principles/?WT.mc_id=academic-77952-leestott) + +[](https://youtu.be/dnC8-uUZXSc "Njia ya Microsoft kwa AI Inayowajibika") + +> 🎥 Bofya picha hapo juu kwa video: Njia ya Microsoft kwa AI Inayowajibika + +## Haki + +Mifumo ya AI inapaswa kuwatendea watu wote kwa haki na kuepuka kuathiri vikundi vya watu kwa njia tofauti. Kwa mfano, mifumo ya AI inapotoa mwongozo juu ya matibabu ya matibabu, maombi ya mikopo, au ajira, inapaswa kutoa mapendekezo sawa kwa kila mtu mwenye dalili sawa, hali za kifedha, au sifa za kitaaluma. Kila mmoja wetu kama binadamu anabeba upendeleo uliorithiwa ambao unaathiri maamuzi na vitendo vyetu. Upendeleo huu unaweza kuonekana katika data tunayotumia kufundisha mifumo ya AI. U manipuli kama huo unaweza kutokea bila kukusudia. Mara nyingi ni vigumu kujua kwa makusudi wakati unaingiza upendeleo katika data. + +**"Kutokuwa na haki"** kunajumuisha athari mbaya, au "madhara", kwa kikundi cha watu, kama vile wale wanaofafanuliwa kwa rangi, jinsia, umri, au hali ya ulemavu. Madhara kuu yanayohusiana na haki yanaweza kuainishwa kama: + +- **Ugawaji**, kama jinsia au kabila kwa mfano inapendelewa zaidi ya nyingine. +- **Ubora wa huduma**. Ukifundisha data kwa hali moja maalum lakini hali halisi ni ngumu zaidi, inasababisha huduma duni. Kwa mfano, dispanser ya sabuni ya mkono ambayo haikuweza kuhisi watu wenye ngozi nyeusi. [Marejeleo](https://gizmodo.com/why-cant-this-soap-dispenser-identify-dark-skin-1797931773) +- **Kudhalilisha**. Kukosoa kwa njia isiyo ya haki na kuweka lebo kitu au mtu. Kwa mfano, teknolojia ya kuweka lebo picha ilivyoweka lebo vibaya picha za watu wenye ngozi nyeusi kama sokwe. +- **Uwiano wa juu au chini**. Wazo ni kwamba kikundi fulani hakionekani katika taaluma fulani, na huduma au kazi yoyote inayozidi kukuza hiyo inachangia madhara. +- **Kuweka taswira**. Kuhusisha kikundi fulani na sifa zilizotanguliwa. Kwa mfano, mfumo wa kutafsiri lugha kati ya Kiingereza na Kituruki unaweza kuwa na makosa kutokana na maneno yenye uhusiano wa taswira ya kijinsia. + + +> tafsiri kwa Kituruki + + +> tafsiri kurudi kwa Kiingereza + +Wakati wa kubuni na kupima mifumo ya AI, tunahitaji kuhakikisha kwamba AI ni ya haki na haijapangiliwa kufanya maamuzi yenye upendeleo au ubaguzi, ambayo binadamu pia wamekatazwa kufanya. Kuhakikisha haki katika AI na kujifunza kwa mashine inabaki kuwa changamoto ngumu ya kijamii na kiteknolojia. + +### Kutegemewa na usalama + +Ili kujenga imani, mifumo ya AI inahitaji kuwa ya kutegemewa, salama, na thabiti chini ya hali za kawaida na zisizotarajiwa. Ni muhimu kujua jinsi mifumo ya AI itakavyotenda katika hali mbalimbali, hasa wakati ni vipengele vya nje. Wakati wa kujenga suluhisho za AI, inahitaji kuwepo na mkazo mkubwa juu ya jinsi ya kushughulikia hali mbalimbali ambazo suluhisho za AI zitakutana nazo. Kwa mfano, gari linalojiendesha lenyewe linahitaji kuweka usalama wa watu kama kipaumbele cha juu. Kwa hiyo, AI inayosukuma gari inahitaji kuzingatia hali zote zinazowezekana ambazo gari linaweza kukutana nazo kama usiku, dhoruba za radi au theluji, watoto wakikimbia barabarani, wanyama wa kipenzi, ujenzi wa barabara nk. Jinsi mfumo wa AI unavyoweza kushughulikia hali mbalimbali kwa kutegemewa na salama inaonyesha kiwango cha utabiri ambacho mwanasayansi wa data au mjenzi wa AI alizingatia wakati wa kubuni au kupima mfumo. + +> [🎥 Bofya hapa kwa video: ](https://www.microsoft.com/videoplayer/embed/RE4vvIl) + +### Ujumuishaji + +Mifumo ya AI inapaswa kubuniwa kushirikisha na kuwawezesha wote. Wakati wa kubuni na kutekeleza mifumo ya AI, wanasayansi wa data na wajenzi wa AI wanatambua na kushughulikia vikwazo vinavyowezekana katika mfumo ambavyo vinaweza kwa bahati mbaya kuwazuia watu. Kwa mfano, kuna watu bilioni 1 wenye ulemavu duniani kote. Kwa maendeleo ya AI, wanaweza kufikia taarifa na fursa mbalimbali kwa urahisi zaidi katika maisha yao ya kila siku. Kwa kushughulikia vikwazo, inaunda fursa za kuunda na kukuza bidhaa za AI na uzoefu bora ambao unawanufaisha wote. + +> [🎥 Bofya hapa kwa video: ujumuishaji katika AI](https://www.microsoft.com/videoplayer/embed/RE4vl9v) + +### Usalama na faragha + +Mifumo ya AI inapaswa kuwa salama na kuheshimu faragha ya watu. Watu wana imani ndogo katika mifumo inayoweka faragha yao, taarifa zao, au maisha yao hatarini. Wakati wa kufundisha mifano ya kujifunza kwa mashine, tunategemea data kutoa matokeo bora. Kwa kufanya hivyo, asili ya data na uadilifu lazima izingatiwe. Kwa mfano, je data ilikuwa imetolewa na mtumiaji au inapatikana hadharani? Ifuatayo, wakati wa kufanya kazi na data, ni muhimu kuunda mifumo ya AI ambayo inaweza kulinda taarifa za siri na kupinga mashambulizi. Kama AI inavyokuwa ya kawaida, kulinda faragha na kulinda taarifa muhimu za kibinafsi na biashara kunakuwa muhimu zaidi na ngumu. Masuala ya faragha na usalama wa data yanahitaji umakini wa karibu hasa kwa AI kwa sababu upatikanaji wa data ni muhimu kwa mifumo ya AI kufanya utabiri sahihi na maamuzi sahihi kuhusu watu. + +> [🎥 Bofya hapa kwa video: usalama katika AI](https://www.microsoft.com/videoplayer/embed/RE4voJF) + +- Kama sekta tumepiga hatua kubwa katika Faragha na usalama, tukichochewa sana na kanuni kama GDPR (Kanuni ya Ulinzi wa Taarifa za Kijumla). +- Hata hivyo, na mifumo ya AI tunapaswa kukubali mvutano kati ya haja ya data za kibinafsi zaidi ili kufanya mifumo kuwa ya kibinafsi zaidi na yenye ufanisi – na faragha. +- Kama vile kuzaliwa kwa kompyuta zilizounganishwa na intaneti, tunaona pia ongezeko kubwa la idadi ya masuala ya usalama yanayohusiana na AI. +- Wakati huo huo, tumeona AI ikitumika kuboresha usalama. Kwa mfano, skana za virusi za kisasa nyingi zinaendeshwa na heuristics za AI leo. +- Tunahitaji kuhakikisha kwamba michakato yetu ya Sayansi ya Data inachanganyika kwa usawa na mazoea ya faragha na usalama ya kisasa. + +### Uwazi + +Mifumo ya AI inapaswa kueleweka. Sehemu muhimu ya uwazi ni kuelezea tabia ya mifumo ya AI na vipengele vyake. Kuboresha uelewa wa mifumo ya AI kunahitaji kwamba wadau waelewe jinsi na kwa nini inavyofanya kazi ili waweze kutambua masuala ya utendaji yanayoweza kutokea, wasiwasi wa usalama na faragha, upendeleo, mazoea ya kuwatenga, au matokeo yasiyotarajiwa. Tunaamini pia kwamba wale wanaotumia mifumo ya AI wanapaswa kuwa waaminifu na wazi kuhusu lini, kwa nini, na jinsi wanavyoamua kuitumia. Pamoja na mapungufu ya mifumo wanayotumia. Kwa mfano, kama benki inatumia mfumo wa AI kusaidia maamuzi ya mikopo ya watumiaji, ni muhimu kuchunguza matokeo na kuelewa ni data gani inayoathiri mapendekezo ya mfumo. Serikali zinaanza kudhibiti AI katika sekta mbalimbali, hivyo wanasayansi wa data na mashirika lazima waelezee kama mfumo wa AI unakidhi mahitaji ya udhibiti, hasa wakati kuna matokeo yasiyofaa. + +> [🎥 Bofya hapa kwa video: uwazi katika AI](https://www.microsoft.com/videoplayer/embed/RE4voJF) + +- Kwa sababu mifumo ya AI ni ngumu sana, ni vigumu kuelewa jinsi inavyofanya kazi na kutafsiri matokeo. +- Ukosefu huu wa uelewa unaathiri jinsi mifumo hii inavyosimamiwa, kutekelezwa, na kuandikwa. +- Ukosefu huu wa uelewa unaathiri zaidi maamuzi yaliyofanywa kwa kutumia matokeo ambayo mifumo hii inazalisha. + +### Uwajibikaji + +Watu wanaobuni na kutekeleza mifumo ya AI lazima wawajibike kwa jinsi mifumo yao inavyofanya kazi. Haja ya uwajibikaji ni muhimu hasa kwa teknolojia nyeti kama utambuzi wa uso. Hivi karibuni, kumekuwa na ongezeko la mahitaji ya teknolojia ya utambuzi wa uso, hasa kutoka kwa mashirika ya utekelezaji wa sheria ambayo yanaona uwezo wa teknolojia katika matumizi kama vile kutafuta watoto waliopotea. Hata hivyo, teknolojia hizi zinaweza kutumiwa na serikali kuweka uhuru wa kimsingi wa raia wao hatarini kwa mfano, kuwezesha ufuatiliaji wa kuendelea wa watu maalum. Kwa hivyo, wanasayansi wa data na mashirika yanahitaji kuwajibika kwa jinsi mfumo wao wa AI unavyoathiri watu binafsi au jamii. + +[](https://www.youtube.com/watch?v=Wldt8P5V6D0 "Njia ya Microsoft kwa AI Inayowajibika") + +> 🎥 Bofya picha hapo juu kwa video: Onyo kuhusu Ufuatiliaji wa Misa Kupitia Utambuzi wa Uso + +Hatimaye moja ya maswali makubwa zaidi kwa kizazi chetu, kama kizazi cha kwanza kinacholetea AI katika jamii, ni jinsi ya kuhakikisha kwamba kompyuta zitabaki kuwajibika kwa watu na jinsi ya kuhakikisha kwamba watu wanaobuni kompyuta wanabaki kuwajibika kwa kila mtu mwingine. + +## Tathmini ya Athari + +Kabla ya kufundisha mfano wa kujifunza kwa mashine, ni muhimu kufanya tathmini ya athari ili kuelewa madhumuni ya mfumo wa AI; matumizi yaliyokusudiwa; wapi itatekelezwa; na nani atakayekuwa akiingiliana na mfumo. Hizi ni muhimu kwa mthibitishaji au mpimaji kutathmini mfumo kujua ni mambo gani ya kuzingatia wakati wa kutambua hatari zinazowezekana na matokeo yanayotarajiwa. + +Zifuatazo ni maeneo ya kuzingatia wakati wa kufanya tathmini ya athari: + +* **Athari mbaya kwa watu binafsi**. Kuwa na ufahamu wa vikwazo au mahitaji yoyote, matumizi yasiyoungwa mkono au mapungufu yoyote yanayojulikana yanayozuia utendaji wa mfumo ni muhimu kuhakikisha kwamba mfumo hautumiwi kwa njia inayoweza kudhuru watu binafsi. +* **Mahitaji ya data**. Kupata uelewa wa jinsi na wapi mfumo utatumia data inawawezesha wakaguzi kuchunguza mahitaji yoyote ya data unayohitaji kuzingatia (mfano, kanuni za data za GDPR au HIPPA). Zaidi ya hayo, chunguza kama chanzo au wingi wa data ni wa kutosha kwa mafunzo. +* **Muhtasari wa athari**. Kusanya orodha ya madhara yanayoweza kutokea kutokana na matumizi ya mfumo. Kwenye mzunguko wa maisha wa ML, kagua kama masuala yaliyotambuliwa yamepunguzwa au kushughulikiwa. +* **Malengo yanayofaa** kwa kila moja ya kanuni sita za msingi. Tathmini kama malengo kutoka kwa kila kanuni yanatimizwa na kama kuna mapungufu yoyote. + +## Kusuluhisha shida na AI inayowajibika + +Sawa na kusuluhisha shida kwenye programu ya kompyuta, kusuluhisha shida kwenye mfumo wa AI ni mchakato muhimu wa kutambua na kutatua masuala kwenye mfumo. Kuna mambo mengi yanayoweza kuathiri mfano usifanye kazi kama inavyotarajiwa au kwa uwajibikaji. Metriki nyingi za utendaji wa mfano wa jadi ni jumla za kiasi za utendaji wa mfano, ambazo hazitoshi kuchambua jinsi mfano unavyokiuka kanuni za AI inayowajibika. Zaidi ya hayo, mfano wa kujifunza kwa mashine ni sanduku jeusi ambalo linafanya kuwa vigumu kuelewa nini kinachochochea matokeo yake au kutoa maelezo wakati unafanya kosa. Baadaye kwenye kozi hii, tutajifunza jinsi ya kutumia dashibodi ya AI Inayowajibika kusaidia kusuluhisha shida kwenye mifumo ya AI. Dashibodi inatoa zana kamili kwa wanasayansi wa data na wajenzi wa AI kufanya: + +* **Uchambuzi wa makosa**. Kutambua usambazaji wa makosa wa mfano ambao unaweza kuathiri haki au kutegemewa kwa mfumo. +* **Muhtasari wa mfano**. Kugundua wapi kuna tofauti katika utendaji wa mfano kwenye makundi ya data. +* **Uchambuzi wa data**. Kuelewa usambazaji wa data na kutambua upendeleo wowote katika data ambao unaweza kusababisha masuala ya haki, ujumuishaji, na kutegemewa. +* **Ufafanuzi wa mfano**. Kuelewa nini kinachoathiri au kushawishi utabiri wa mfano. Hii husaidia kuelezea tabia ya mfano, ambayo ni muhimu kwa uwazi na uwajibikaji. + +## 🚀 Changamoto + +Ili kuzuia madhara yasitokee kwanza, tunapaswa: + +- kuwa na utofauti wa asili na mitazamo miongoni mwa watu wanaofanya kazi kwenye mifumo +- kuwekeza katika seti za data zinazoakisi utofauti wa jamii yetu +- kuendeleza mbinu bora katika mzunguko wa maisha wa kujifunza kwa mashine kugundua na kurekebisha AI inayowajibika inapojitokeza + +Fikiria hali halisi ambapo kutokuaminika kwa mfano ni dhahiri katika ujenzi na matumizi ya mfano. Ni nini kingine tunachopaswa kuzingatia? + +## [Jaribio la Baada ya Somo](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/6/) +## Mapitio na Kujisomea + +Katika somo hili, umejifunza baadhi ya misingi ya dhana za haki na + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwa sahihi. Hati ya asili katika lugha yake ya asili inapaswa kuchukuliwa kama chanzo cha mamlaka. Kwa taarifa muhimu, tafsiri ya kitaalamu ya kibinadamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/1-Introduction/3-fairness/assignment.md b/translations/sw/1-Introduction/3-fairness/assignment.md new file mode 100644 index 000000000..503dca2e8 --- /dev/null +++ b/translations/sw/1-Introduction/3-fairness/assignment.md @@ -0,0 +1,14 @@ +# Chunguza Kifaa cha AI Kinachowajibika + +## Maagizo + +Katika somo hili ulijifunza kuhusu Kifaa cha AI Kinachowajibika, mradi wa "chanzo-wazi, unaoendeshwa na jamii kusaidia wanasayansi wa data kuchambua na kuboresha mifumo ya AI." Kwa kazi hii, chunguza moja ya [notebooks](https://github.com/microsoft/responsible-ai-toolbox/blob/main/notebooks/responsibleaidashboard/getting-started.ipynb) za RAI Toolbox na ripoti matokeo yako katika karatasi au uwasilishaji. + +## Rubric + +| Vigezo | Bora | Inatosha | Inahitaji Kuboresha | +| -------- | --------- | -------- | ----------------- | +| | Karatasi au uwasilishaji wa powerpoint unaeleza mifumo ya Fairlearn, notebook iliyotumika, na hitimisho lililopatikana kutoka kuiendesha | Karatasi inawasilishwa bila hitimisho | Hakuna karatasi iliyowasilishwa | + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au upungufu. Hati asili katika lugha yake ya asili inapaswa kuzingatiwa kuwa chanzo cha mamlaka. Kwa taarifa muhimu, tafsiri ya kibinadamu ya kitaalamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri potofu zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/1-Introduction/4-techniques-of-ML/README.md b/translations/sw/1-Introduction/4-techniques-of-ML/README.md new file mode 100644 index 000000000..12e0b8f56 --- /dev/null +++ b/translations/sw/1-Introduction/4-techniques-of-ML/README.md @@ -0,0 +1,121 @@ +# Mbinu za Kujifunza kwa Mashine + +Mchakato wa kujenga, kutumia, na kudumisha mifano ya kujifunza kwa mashine na data wanayotumia ni tofauti sana na mchakato wa maendeleo mengine mengi. Katika somo hili, tutafafanua mchakato huo, na kuainisha mbinu kuu unazohitaji kujua. Utajifunza: + +- Kuelewa michakato inayounga mkono kujifunza kwa mashine kwa kiwango cha juu. +- Kuchunguza dhana za msingi kama 'mifano', 'utabiri', na 'data ya mafunzo'. + +## [Maswali ya awali ya somo](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/7/) + +[](https://youtu.be/4NGM0U2ZSHU "ML kwa wanaoanza - Mbinu za Kujifunza kwa Mashine") + +> 🎥 Bofya picha hapo juu kwa video fupi inayopitia somo hili. + +## Utangulizi + +Kwa kiwango cha juu, ufundi wa kuunda michakato ya kujifunza kwa mashine (ML) unajumuisha hatua kadhaa: + +1. **Amua swali**. Mchakato mwingi wa ML huanza kwa kuuliza swali ambalo haliwezi kujibiwa na programu rahisi ya masharti au injini inayotegemea sheria. Maswali haya mara nyingi huzunguka utabiri kulingana na mkusanyiko wa data. +2. **Kusanya na andaa data**. Ili uweze kujibu swali lako, unahitaji data. Ubora na, wakati mwingine, wingi wa data yako utaamua jinsi unavyoweza kujibu swali lako la awali. Kuonyesha data kwa picha ni kipengele muhimu cha awamu hii. Awamu hii pia inajumuisha kugawanya data katika kikundi cha mafunzo na cha majaribio ili kujenga mfano. +3. **Chagua mbinu ya mafunzo**. Kulingana na swali lako na asili ya data yako, unahitaji kuchagua jinsi unavyotaka kufundisha mfano ili kuakisi data yako vizuri na kufanya utabiri sahihi dhidi yake. Hii ni sehemu ya mchakato wako wa ML inayohitaji utaalamu maalum na, mara nyingi, kiasi kikubwa cha majaribio. +4. **Fundisha mfano**. Kutumia data yako ya mafunzo, utatumia algorithmi mbalimbali kufundisha mfano kutambua mifumo katika data. Mfano unaweza kutumia uzito wa ndani ambao unaweza kubadilishwa ili kutoa umuhimu kwa sehemu fulani za data kuliko zingine ili kujenga mfano bora. +5. **Tathmini mfano**. Unatumia data ambayo haijawahi kuonekana (data yako ya majaribio) kutoka seti yako iliyokusanywa ili kuona jinsi mfano unavyofanya kazi. +6. **Kurekebisha vigezo**. Kulingana na utendaji wa mfano wako, unaweza kurudia mchakato kwa kutumia vigezo tofauti, au vigeu, vinavyodhibiti tabia ya algorithmi zinazotumika kufundisha mfano. +7. **Tabiri**. Tumia pembejeo mpya kupima usahihi wa mfano wako. + +## Swali gani la kuuliza + +Kompyuta zina ujuzi maalum wa kugundua mifumo iliyofichwa katika data. Huduma hii ni muhimu sana kwa watafiti wenye maswali kuhusu eneo fulani ambalo haliwezi kujibiwa kwa urahisi kwa kuunda injini ya sheria inayotegemea masharti. Kwa kazi ya actuarial, kwa mfano, mwanasayansi wa data anaweza kujenga sheria zilizotengenezwa kwa mkono kuhusu vifo vya wavutaji sigara dhidi ya wasiovuta sigara. + +Hata hivyo, wakati vigeu vingi vinaingizwa kwenye mlinganyo, mfano wa ML unaweza kuthibitisha kuwa bora zaidi kutabiri viwango vya vifo vya baadaye kulingana na historia ya afya ya zamani. Mfano mzuri zaidi unaweza kuwa kutabiri hali ya hewa kwa mwezi Aprili katika eneo fulani kulingana na data inayojumuisha latitudo, longitudo, mabadiliko ya hali ya hewa, ukaribu na bahari, mifumo ya mkondo wa jeti, na zaidi. + +✅ [Kifurushi hiki cha slaidi](https://www2.cisl.ucar.edu/sites/default/files/2021-10/0900%20June%2024%20Haupt_0.pdf) kuhusu mifano ya hali ya hewa kinatoa mtazamo wa kihistoria wa kutumia ML katika uchambuzi wa hali ya hewa. + +## Kazi za kabla ya kujenga + +Kabla ya kuanza kujenga mfano wako, kuna kazi kadhaa unazohitaji kukamilisha. Ili kupima swali lako na kuunda nadharia kulingana na utabiri wa mfano, unahitaji kutambua na kusanidi vipengele kadhaa. + +### Data + +Ili uweze kujibu swali lako kwa uhakika wowote, unahitaji kiasi kizuri cha data ya aina sahihi. Kuna mambo mawili unayohitaji kufanya wakati huu: + +- **Kusanya data**. Kumbuka somo la awali kuhusu haki katika uchambuzi wa data, kusanya data yako kwa uangalifu. Jua vyanzo vya data hii, upendeleo wowote wa asili ambao inaweza kuwa nao, na uandike asili yake. +- **Andaa data**. Kuna hatua kadhaa katika mchakato wa maandalizi ya data. Unaweza kuhitaji kukusanya data na kuiweka sawa ikiwa inatoka vyanzo mbalimbali. Unaweza kuboresha ubora na wingi wa data kupitia mbinu mbalimbali kama vile kubadilisha mistari kuwa namba (kama tunavyofanya katika [Clustering](../../5-Clustering/1-Visualize/README.md)). Unaweza pia kuzalisha data mpya, kulingana na ile ya awali (kama tunavyofanya katika [Classification](../../4-Classification/1-Introduction/README.md)). Unaweza kusafisha na kuhariri data (kama tutakavyofanya kabla ya somo la [Web App](../../3-Web-App/README.md)). Hatimaye, unaweza pia kuibadilisha na kuichanganya, kulingana na mbinu zako za mafunzo. + +✅ Baada ya kukusanya na kuchakata data yako, chukua muda kuona kama umbo lake litakuruhusu kushughulikia swali lako lililokusudiwa. Inawezekana kwamba data haitafanya vizuri katika kazi yako iliyotolewa, kama tunavyogundua katika masomo yetu ya [Clustering](../../5-Clustering/1-Visualize/README.md)! + +### Vipengele na Lengo + +[Kipengele](https://www.datasciencecentral.com/profiles/blogs/an-introduction-to-variable-and-feature-selection) ni mali inayoweza kupimika ya data yako. Katika seti nyingi za data inaonyeshwa kama kichwa cha safu kama 'tarehe', 'ukubwa' au 'rangi'. Kipengele chako, kinachowakilishwa kwa kawaida kama `X` katika msimbo, kinawakilisha kigezo cha pembejeo ambacho kitakachotumika kufundisha mfano. + +Lengo ni kitu unachojaribu kutabiri. Lengo linalowakilishwa kwa kawaida kama `y` katika msimbo, linawakilisha jibu la swali unalojaribu kuuliza kwa data yako: mwezi Desemba, malenge ya **rangi** gani yatakuwa ya bei rahisi? huko San Francisco, vitongoji gani vitakuwa na **bei** bora ya mali isiyohamishika? Wakati mwingine lengo pia huitwa sifa ya lebo. + +### Kuchagua kigezo chako cha kipengele + +🎓 **Uchaguzi wa Kipengele na Uchimbaji wa Kipengele** Je, unajuaje ni kigezo gani cha kuchagua wakati wa kujenga mfano? Labda utapitia mchakato wa uchaguzi wa kipengele au uchimbaji wa kipengele ili kuchagua vigezo sahihi kwa mfano unaofanya vizuri zaidi. Hata hivyo, hazifanani: "Uchimbaji wa kipengele huunda vipengele vipya kutoka kwa kazi za vipengele vya asili, wakati uchaguzi wa kipengele unarudisha sehemu ndogo ya vipengele." ([chanzo](https://wikipedia.org/wiki/Feature_selection)) + +### Kuonyesha data yako + +Kipengele muhimu cha zana ya mwanasayansi wa data ni uwezo wa kuonyesha data kwa kutumia maktaba kadhaa bora kama Seaborn au MatPlotLib. Kuweka data yako kwa picha kunaweza kukuruhusu kugundua uhusiano uliofichwa ambao unaweza kutumia. Picha zako zinaweza pia kukusaidia kugundua upendeleo au data isiyo na uwiano (kama tunavyogundua katika [Classification](../../4-Classification/2-Classifiers-1/README.md)). + +### Gawanya seti yako ya data + +Kabla ya mafunzo, unahitaji kugawanya seti yako ya data katika sehemu mbili au zaidi za ukubwa usio sawa ambazo bado zinawakilisha data vizuri. + +- **Mafunzo**. Sehemu hii ya seti ya data inafaa kwa mfano wako kuifundisha. Seti hii inajumuisha sehemu kubwa ya seti ya data ya awali. +- **Majaribio**. Seti ya majaribio ni kikundi huru cha data, mara nyingi hukusanywa kutoka kwa data ya awali, unayotumia kuthibitisha utendaji wa mfano uliyojenga. +- **Kuthibitisha**. Seti ya uthibitishaji ni kikundi kidogo cha mifano huru unayotumia kurekebisha vigezo vya mfano, au usanifu, ili kuboresha mfano. Kulingana na ukubwa wa data yako na swali unalouliza, unaweza usihitaji kujenga seti hii ya tatu (kama tunavyobainisha katika [Utabiri wa Mfululizo wa Muda](../../7-TimeSeries/1-Introduction/README.md)). + +## Kujenga mfano + +Kutumia data yako ya mafunzo, lengo lako ni kujenga mfano, au uwakilishi wa takwimu wa data yako, kwa kutumia algorithmi mbalimbali kuufundisha. Kufundisha mfano kunauweka wazi kwa data na kumruhusu kufanya mawazo kuhusu mifumo iliyogunduliwa, kuthibitisha, na kukubali au kukataa. + +### Amua juu ya mbinu ya mafunzo + +Kulingana na swali lako na asili ya data yako, utachagua mbinu ya kuifundisha. Kupitia [nyaraka za Scikit-learn](https://scikit-learn.org/stable/user_guide.html) - tunazotumia katika kozi hii - unaweza kuchunguza njia nyingi za kufundisha mfano. Kulingana na uzoefu wako, unaweza kuhitaji kujaribu mbinu kadhaa tofauti kujenga mfano bora zaidi. Una uwezekano wa kupitia mchakato ambapo wanasayansi wa data hutathmini utendaji wa mfano kwa kuipatia data ambayo haijawahi kuonekana, kuangalia usahihi, upendeleo, na masuala mengine yanayopunguza ubora, na kuchagua mbinu inayofaa zaidi ya mafunzo kwa kazi iliyopo. + +### Fundisha mfano + +Ukiwa na data yako ya mafunzo, uko tayari 'kuifaa' kuunda mfano. Utagundua kwamba katika maktaba nyingi za ML utapata msimbo 'model.fit' - ni wakati huu unapowasilisha kigezo chako cha kipengele kama safu ya thamani (kawaida 'X') na kigezo cha lengo (kawaida 'y'). + +### Tathmini mfano + +Mara tu mchakato wa mafunzo unapokamilika (inaweza kuchukua marudio mengi, au 'epochs', kufundisha mfano mkubwa), utaweza kutathmini ubora wa mfano kwa kutumia data ya majaribio kupima utendaji wake. Data hii ni sehemu ndogo ya data ya awali ambayo mfano haujawahi kuchambua hapo awali. Unaweza kuchapisha jedwali la vipimo kuhusu ubora wa mfano wako. + +🎓 **Kufaa kwa mfano** + +Katika muktadha wa kujifunza kwa mashine, kufaa kwa mfano kunahusu usahihi wa kazi ya msingi ya mfano wakati inajaribu kuchambua data ambayo haijafahamika. + +🎓 **Kufaa kidogo** na **kufaa kupita kiasi** ni matatizo ya kawaida yanayopunguza ubora wa mfano, kwani mfano unafaa ama si vizuri vya kutosha au vizuri sana. Hii husababisha mfano kufanya utabiri kwa karibu sana au kwa mbali sana na data yake ya mafunzo. Mfano uliokaa kupita kiasi unafanya utabiri wa data ya mafunzo vizuri sana kwa sababu umejifunza maelezo na kelele za data vizuri sana. Mfano usiofaa ni si sahihi kwani hauwezi kuchambua kwa usahihi data yake ya mafunzo wala data ambayo haijawahi 'kuona'. + + +> Infographic na [Jen Looper](https://twitter.com/jenlooper) + +## Kurekebisha vigezo + +Mara mafunzo yako ya awali yanapokamilika, angalia ubora wa mfano na fikiria kuboresha kwa kurekebisha 'vigezo vya juu'. Soma zaidi kuhusu mchakato huu [katika nyaraka](https://docs.microsoft.com/en-us/azure/machine-learning/how-to-tune-hyperparameters?WT.mc_id=academic-77952-leestott). + +## Utabiri + +Hii ni wakati ambapo unaweza kutumia data mpya kabisa kupima usahihi wa mfano wako. Katika mazingira ya ML 'iliyotumika', ambapo unajenga mali za wavuti kutumia mfano katika uzalishaji, mchakato huu unaweza kuhusisha kukusanya pembejeo za mtumiaji (mfano, kubofya kitufe) kuweka kigezo na kukituma kwa mfano kwa utambuzi, au tathmini. + +Katika masomo haya, utagundua jinsi ya kutumia hatua hizi kuandaa, kujenga, kupima, kutathmini, na kutabiri - ishara zote za mwanasayansi wa data na zaidi, unapopiga hatua katika safari yako ya kuwa mhandisi wa ML 'kamili'. + +--- + +## 🚀Changamoto + +Chora mchoro wa mtiririko unaoakisi hatua za mtaalamu wa ML. Je, unajiona wapi sasa hivi katika mchakato huu? Unadhani utapata ugumu wapi? Nini kinaonekana rahisi kwako? + +## [Maswali ya baada ya somo](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/8/) + +## Mapitio na Kujisomea + +Tafuta mtandaoni mahojiano na wanasayansi wa data wanaozungumzia kazi yao ya kila siku. Hapa kuna [moja](https://www.youtube.com/watch?v=Z3IjgbbCEfs). + +## Kazi + +[Hoji mwanasayansi wa data](assignment.md) + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za kutafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwepo kwa usahihi. Hati asilia katika lugha yake ya asili inapaswa kuzingatiwa kuwa chanzo cha mamlaka. Kwa taarifa muhimu, tafsiri ya kitaalamu ya kibinadamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/1-Introduction/4-techniques-of-ML/assignment.md b/translations/sw/1-Introduction/4-techniques-of-ML/assignment.md new file mode 100644 index 000000000..effa1c7bd --- /dev/null +++ b/translations/sw/1-Introduction/4-techniques-of-ML/assignment.md @@ -0,0 +1,14 @@ +# Fanya mahojiano na mwanasayansi wa data + +## Maelekezo + +Katika kampuni yako, katika kundi la watumiaji, au miongoni mwa marafiki zako au wanafunzi wenzako, zungumza na mtu anayefanya kazi kitaalamu kama mwanasayansi wa data. Andika karatasi fupi (maneno 500) kuhusu shughuli zao za kila siku. Je, wao ni wataalamu, au wanafanya kazi 'full stack'? + +## Rubric + +| Vigezo | Bora | Inayokubalika | Inayohitaji Kuboresha | +| ------- | --------------------------------------------------------------------------------- | ------------------------------------------------------------------- | --------------------- | +| | Insha ya urefu sahihi, yenye vyanzo vilivyotajwa, imewasilishwa kama faili la .doc | Insha haina vyanzo sahihi au ni fupi kuliko urefu unaohitajika | Hakuna insha iliyowasilishwa | + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwepo kwa usahihi. Hati ya asili katika lugha yake ya asili inapaswa kuzingatiwa kama chanzo cha mamlaka. Kwa habari muhimu, tafsiri ya kitaalamu ya kibinadamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/1-Introduction/README.md b/translations/sw/1-Introduction/README.md new file mode 100644 index 000000000..d403c82bb --- /dev/null +++ b/translations/sw/1-Introduction/README.md @@ -0,0 +1,25 @@ +# Utangulizi wa kujifunza kwa mashine + +Katika sehemu hii ya mtaala, utatambulishwa kwa dhana za msingi zinazounda uwanja wa kujifunza kwa mashine, nini ni, na kujifunza kuhusu historia yake na mbinu ambazo watafiti hutumia kufanya kazi nayo. Hebu tuchunguze ulimwengu huu mpya wa ML pamoja! + + +> Picha na Bill Oxford kwenye Unsplash + +### Masomo + +1. [Utangulizi wa kujifunza kwa mashine](1-intro-to-ML/README.md) +1. [Historia ya kujifunza kwa mashine na AI](2-history-of-ML/README.md) +1. [Usawa na kujifunza kwa mashine](3-fairness/README.md) +1. [Mbinu za kujifunza kwa mashine](4-techniques-of-ML/README.md) +### Shukrani + +"Utangulizi wa Kujifunza kwa Mashine" uliandikwa kwa ♥️ na timu ya watu wakiwemo [Muhammad Sakib Khan Inan](https://twitter.com/Sakibinan), [Ornella Altunyan](https://twitter.com/ornelladotcom) na [Jen Looper](https://twitter.com/jenlooper) + +"Historia ya Kujifunza kwa Mashine" iliandikwa kwa ♥️ na [Jen Looper](https://twitter.com/jenlooper) na [Amy Boyd](https://twitter.com/AmyKateNicho) + +"Usawa na Kujifunza kwa Mashine" iliandikwa kwa ♥️ na [Tomomi Imura](https://twitter.com/girliemac) + +"Mbinu za Kujifunza kwa Mashine" iliandikwa kwa ♥️ na [Jen Looper](https://twitter.com/jenlooper) na [Chris Noring](https://twitter.com/softchris) + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za kutafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwepo kwa usahihi. Hati asili katika lugha yake ya asili inapaswa kuzingatiwa kama chanzo chenye mamlaka. Kwa taarifa muhimu, tafsiri ya kibinadamu ya kitaalamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/2-Regression/1-Tools/README.md b/translations/sw/2-Regression/1-Tools/README.md new file mode 100644 index 000000000..e14fea821 --- /dev/null +++ b/translations/sw/2-Regression/1-Tools/README.md @@ -0,0 +1,228 @@ +# Anza na Python na Scikit-learn kwa mifano ya regression + + + +> Sketchnote na [Tomomi Imura](https://www.twitter.com/girlie_mac) + +## [Pre-lecture quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/9/) + +> ### [Somohili linapatikana kwa R!](../../../../2-Regression/1-Tools/solution/R/lesson_1.html) + +## Utangulizi + +Katika masomo haya manne, utajifunza jinsi ya kujenga mifano ya regression. Tutazungumzia matumizi yake kwa ufupi. Lakini kabla hujaanza chochote, hakikisha una zana sahihi za kuanza mchakato! + +Katika somo hili, utajifunza jinsi ya: + +- Kusanidi kompyuta yako kwa kazi za kujifunza mashine za ndani. +- Kufanya kazi na daftari za Jupyter. +- Kutumia Scikit-learn, ikijumuisha usakinishaji. +- Kuchunguza regression ya linear kwa zoezi la vitendo. + +## Usakinishaji na usanidi + +[](https://youtu.be/-DfeD2k2Kj0 "ML kwa wanaoanza - Sanidi zana zako tayari kujenga mifano ya Kujifunza Mashine") + +> 🎥 Bonyeza picha hapo juu kwa video fupi inayofanya kazi kupitia kusanidi kompyuta yako kwa ML. + +1. **Sakinisha Python**. Hakikisha kuwa [Python](https://www.python.org/downloads/) imewekwa kwenye kompyuta yako. Utatumia Python kwa kazi nyingi za sayansi ya data na kujifunza mashine. Mfumo mwingi wa kompyuta tayari unajumuisha usakinishaji wa Python. Kuna [Python Coding Packs](https://code.visualstudio.com/learn/educators/installers?WT.mc_id=academic-77952-leestott) muhimu pia, ili kurahisisha usanidi kwa baadhi ya watumiaji. + + Matumizi mengine ya Python, hata hivyo, yanahitaji toleo moja la programu, wakati mengine yanahitaji toleo tofauti. Kwa sababu hii, ni muhimu kufanya kazi ndani ya [mazingira pepe](https://docs.python.org/3/library/venv.html). + +2. **Sakinisha Visual Studio Code**. Hakikisha una Visual Studio Code iliyosakinishwa kwenye kompyuta yako. Fuata maelekezo haya [kusakinisha Visual Studio Code](https://code.visualstudio.com/) kwa usakinishaji wa kimsingi. Utatumia Python ndani ya Visual Studio Code katika kozi hii, kwa hivyo unaweza kutaka kujifunza jinsi ya [kusanya Visual Studio Code](https://docs.microsoft.com/learn/modules/python-install-vscode?WT.mc_id=academic-77952-leestott) kwa maendeleo ya Python. + + > Jifunze Python kwa kufanya kazi kupitia mkusanyiko huu wa [moduli za kujifunza](https://docs.microsoft.com/users/jenlooper-2911/collections/mp1pagggd5qrq7?WT.mc_id=academic-77952-leestott) + > + > [](https://youtu.be/yyQM70vi7V8 "Sanidi Python na Visual Studio Code") + > + > 🎥 Bonyeza picha hapo juu kwa video: kutumia Python ndani ya VS Code. + +3. **Sakinisha Scikit-learn**, kwa kufuata [maelekezo haya](https://scikit-learn.org/stable/install.html). Kwa kuwa unahitaji kuhakikisha kuwa unatumia Python 3, inashauriwa utumie mazingira pepe. Kumbuka, ikiwa unasakinisha maktaba hii kwenye Mac M1, kuna maelekezo maalum kwenye ukurasa uliounganishwa hapo juu. + +4. **Sakinisha Jupyter Notebook**. Utahitaji [kusakinisha kifurushi cha Jupyter](https://pypi.org/project/jupyter/). + +## Mazingira yako ya kuandika ML + +Utatumia **daftari** kuandika msimbo wako wa Python na kuunda mifano ya kujifunza mashine. Aina hii ya faili ni zana ya kawaida kwa wanasayansi wa data, na zinaweza kutambuliwa na kiambishi au ugani wake `.ipynb`. + +Daftari ni mazingira ya maingiliano yanayomruhusu msanidi programu kuandika msimbo na kuongeza maelezo na kuandika nyaraka karibu na msimbo ambao ni muhimu sana kwa miradi ya majaribio au utafiti. + +[](https://youtu.be/7E-jC8FLA2E "ML kwa wanaoanza - Sanidi Daftari za Jupyter kuanza kujenga mifano ya regression") + +> 🎥 Bonyeza picha hapo juu kwa video fupi inayofanya kazi kupitia zoezi hili. + +### Zoezi - kufanya kazi na daftari + +Katika folda hii, utapata faili _notebook.ipynb_. + +1. Fungua _notebook.ipynb_ ndani ya Visual Studio Code. + + Seva ya Jupyter itaanza na Python 3+ imeanza. Utapata maeneo ya daftari ambayo yanaweza kuwa `run`, vipande vya msimbo. Unaweza kuendesha kipande cha msimbo, kwa kuchagua ikoni inayofanana na kitufe cha kucheza. + +2. Chagua ikoni ya `md` na ongeza kidogo ya markdown, na maandishi yafuatayo **# Karibu kwenye daftari lako**. + + Kisha, ongeza msimbo wa Python. + +3. Andika **print('hello notebook')** kwenye kipande cha msimbo. +4. Chagua mshale kuendesha msimbo. + + Unapaswa kuona taarifa iliyochapishwa: + + ```output + hello notebook + ``` + + + +Unaweza kuchanganya msimbo wako na maoni ili kujiorodhesha daftari. + +✅ Fikiria kwa dakika moja jinsi mazingira ya kazi ya msanidi wa wavuti yanavyotofautiana na yale ya mwanasayansi wa data. + +## Kuanzisha na Scikit-learn + +Sasa kwa kuwa Python imewekwa kwenye mazingira yako ya ndani, na unajisikia vizuri na daftari za Jupyter, hebu tujisikie vizuri vilevile na Scikit-learn (itamke `sci` as in `science`). Scikit-learn inatoa [API pana](https://scikit-learn.org/stable/modules/classes.html#api-ref) kukusaidia kufanya kazi za ML. + +Kulingana na [tovuti yao](https://scikit-learn.org/stable/getting_started.html), "Scikit-learn ni maktaba ya kujifunza mashine ya chanzo wazi inayounga mkono kujifunza kwa usimamizi na bila usimamizi. Pia inatoa zana mbalimbali za kufaa mifano, uchakataji wa data, uteuzi wa mifano na tathmini, na zana nyingine nyingi." + +Katika kozi hii, utatumia Scikit-learn na zana zingine kujenga mifano ya kujifunza mashine kufanya kazi tunazozita 'kujifunza mashine za jadi'. Tumeepuka makusudi mitandao ya neva na kujifunza kwa kina, kwani yanafunikwa vizuri zaidi katika mtaala wetu wa 'AI kwa Wanaoanza' unaokuja. + +Scikit-learn inafanya iwe rahisi kujenga mifano na kutathmini matumizi yake. Inalenga zaidi kutumia data ya nambari na ina seti kadhaa za data zilizotengenezwa tayari kwa matumizi kama zana za kujifunza. Pia inajumuisha mifano iliyojengwa tayari kwa wanafunzi kujaribu. Hebu tuchunguze mchakato wa kupakia data iliyopakiwa tayari na kutumia estimator iliyojengwa kwa mfano wa kwanza wa ML na Scikit-learn na data ya msingi. + +## Zoezi - daftari yako ya kwanza ya Scikit-learn + +> Mafunzo haya yaliyochochewa na [mfano wa regression ya linear](https://scikit-learn.org/stable/auto_examples/linear_model/plot_ols.html#sphx-glr-auto-examples-linear-model-plot-ols-py) kwenye tovuti ya Scikit-learn. + +[](https://youtu.be/2xkXL5EUpS0 "ML kwa wanaoanza - Mradi wako wa Kwanza wa Regression ya Linear katika Python") + +> 🎥 Bonyeza picha hapo juu kwa video fupi inayofanya kazi kupitia zoezi hili. + +Katika faili _notebook.ipynb_ lililohusishwa na somo hili, futa seli zote kwa kubonyeza ikoni ya 'kibuyu cha takataka'. + +Katika sehemu hii, utatumia seti ndogo ya data kuhusu ugonjwa wa kisukari iliyojengwa ndani ya Scikit-learn kwa madhumuni ya kujifunza. Fikiria kwamba unataka kujaribu matibabu kwa wagonjwa wa kisukari. Mifano ya Kujifunza Mashine inaweza kukusaidia kuamua ni wagonjwa gani wataitikia matibabu bora, kulingana na mchanganyiko wa vigezo. Hata mfano wa msingi wa regression, unapowekwa kwenye grafu, unaweza kuonyesha taarifa kuhusu vigezo ambavyo vitakusaidia kupanga majaribio yako ya kinadharia ya kliniki. + +✅ Kuna aina nyingi za mbinu za regression, na ile unayochagua inategemea jibu unalotafuta. Ikiwa unataka kutabiri kimo kinachowezekana kwa mtu wa umri fulani, utatumia regression ya linear, kwani unatafuta **thamani ya nambari**. Ikiwa unavutiwa na kugundua kama aina fulani ya chakula inapaswa kuzingatiwa kama mboga au la, unatafuta **ugawaji wa kitengo** kwa hivyo utatumia regression ya logistic. Utajifunza zaidi kuhusu regression ya logistic baadaye. Fikiria kidogo kuhusu maswali unayoweza kuuliza kwa data, na ni mbinu ipi itakayofaa zaidi. + +Hebu tuanze kazi hii. + +### Ingiza maktaba + +Kwa kazi hii tutaingiza maktaba kadhaa: + +- **matplotlib**. Ni zana muhimu ya [grafu](https://matplotlib.org/) na tutaichukua ili kuunda grafu ya mstari. +- **numpy**. [numpy](https://numpy.org/doc/stable/user/whatisnumpy.html) ni maktaba muhimu kwa kushughulikia data ya nambari katika Python. +- **sklearn**. Hii ni maktaba ya [Scikit-learn](https://scikit-learn.org/stable/user_guide.html). + +Ingiza maktaba kadhaa kusaidia na kazi zako. + +1. Ongeza ushirikishaji kwa kuandika msimbo ufuatao: + + ```python + import matplotlib.pyplot as plt + import numpy as np + from sklearn import datasets, linear_model, model_selection + ``` + + Hapo juu unaingiza `matplotlib`, `numpy` and you are importing `datasets`, `linear_model` and `model_selection` from `sklearn`. `model_selection` is used for splitting data into training and test sets. + +### The diabetes dataset + +The built-in [diabetes dataset](https://scikit-learn.org/stable/datasets/toy_dataset.html#diabetes-dataset) includes 442 samples of data around diabetes, with 10 feature variables, some of which include: + +- age: age in years +- bmi: body mass index +- bp: average blood pressure +- s1 tc: T-Cells (a type of white blood cells) + +✅ This dataset includes the concept of 'sex' as a feature variable important to research around diabetes. Many medical datasets include this type of binary classification. Think a bit about how categorizations such as this might exclude certain parts of a population from treatments. + +Now, load up the X and y data. + +> 🎓 Remember, this is supervised learning, and we need a named 'y' target. + +In a new code cell, load the diabetes dataset by calling `load_diabetes()`. The input `return_X_y=True` signals that `X` will be a data matrix, and `y` itakuwa lengo la regression. + +2. Ongeza amri za kuchapisha kuonyesha umbo la data na kipengele chake cha kwanza: + + ```python + X, y = datasets.load_diabetes(return_X_y=True) + print(X.shape) + print(X[0]) + ``` + + Unachopata kama jibu ni tuple. Unachofanya ni kugawa maadili mawili ya kwanza ya tuple kwa `X` and `y` mtawalia. Jifunze zaidi [kuhusu tuples](https://wikipedia.org/wiki/Tuple). + + Unaweza kuona kuwa data hii ina vitu 442 vilivyoundwa katika safu za vipengele 10: + + ```text + (442, 10) + [ 0.03807591 0.05068012 0.06169621 0.02187235 -0.0442235 -0.03482076 + -0.04340085 -0.00259226 0.01990842 -0.01764613] + ``` + + ✅ Fikiria kidogo kuhusu uhusiano kati ya data na lengo la regression. Regression ya linear inatabiri uhusiano kati ya kipengele X na lengo la kigezo y. Je, unaweza kupata [lengo](https://scikit-learn.org/stable/datasets/toy_dataset.html#diabetes-dataset) kwa seti ya data ya kisukari katika nyaraka? Je, seti hii ya data inaonyesha nini, ikizingatiwa lengo hilo? + +3. Kisha, chagua sehemu ya seti hii ya data kuipiga kwa kuchagua safu ya 3 ya seti ya data. Unaweza kufanya hivyo kwa kutumia `:` operator to select all rows, and then selecting the 3rd column using the index (2). You can also reshape the data to be a 2D array - as required for plotting - by using `reshape(n_rows, n_columns)`. Ikiwa moja ya vigezo ni -1, kipimo kinacholingana kinahesabiwa kiotomatiki. + + ```python + X = X[:, 2] + X = X.reshape((-1,1)) + ``` + + ✅ Wakati wowote, chapisha data ili kuangalia umbo lake. + +4. Sasa kwa kuwa una data tayari kupigwa, unaweza kuona ikiwa mashine inaweza kusaidia kuamua mgawanyiko wa kimantiki kati ya nambari katika seti hii ya data. Ili kufanya hivyo, unahitaji kugawanya data zote mbili (X) na lengo (y) katika seti za majaribio na mafunzo. Scikit-learn ina njia rahisi ya kufanya hivyo; unaweza kugawanya data yako ya majaribio katika sehemu fulani. + + ```python + X_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=0.33) + ``` + +5. Sasa uko tayari kufundisha mfano wako! Pakia mfano wa regression ya linear na uufundishe na seti zako za mafunzo za X na y kwa kutumia `model.fit()`: + + ```python + model = linear_model.LinearRegression() + model.fit(X_train, y_train) + ``` + + ✅ `model.fit()` is a function you'll see in many ML libraries such as TensorFlow + +5. Then, create a prediction using test data, using the function `predict()`. Hii itatumika kuchora mstari kati ya vikundi vya data + + ```python + y_pred = model.predict(X_test) + ``` + +6. Sasa ni wakati wa kuonyesha data kwenye grafu. Matplotlib ni zana muhimu sana kwa kazi hii. Unda grafu ya nukta za X na y zote za majaribio, na utumie utabiri kuchora mstari mahali panapofaa zaidi, kati ya vikundi vya data vya mfano. + + ```python + plt.scatter(X_test, y_test, color='black') + plt.plot(X_test, y_pred, color='blue', linewidth=3) + plt.xlabel('Scaled BMIs') + plt.ylabel('Disease Progression') + plt.title('A Graph Plot Showing Diabetes Progression Against BMI') + plt.show() + ``` + +  + + ✅ Fikiria kidogo kuhusu kinachoendelea hapa. Mstari wa moja kwa moja unapita kati ya nukta nyingi ndogo za data, lakini unafanya nini hasa? Je, unaweza kuona jinsi unavyoweza kutumia mstari huu kutabiri ambapo data mpya, isiyoonekana inapaswa kutoshea kwa uhusiano na mhimili wa y wa grafu? Jaribu kueleza kwa maneno matumizi ya vitendo ya mfano huu. + +Hongera, umeunda mfano wako wa kwanza wa regression ya linear, umeunda utabiri na kuonyesha kwenye grafu! + +--- +## 🚀Changamoto + +Piga kigezo tofauti kutoka kwa seti hii ya data. Kidokezo: hariri mstari huu: `X = X[:,2]`. Kwa kuzingatia lengo la seti hii ya data, una uwezo wa kugundua nini kuhusu maendeleo ya ugonjwa wa kisukari? +## [Post-lecture quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/10/) + +## Mapitio na Kujisomea + +Katika mafunzo haya, ulifanya kazi na regression ya linear rahisi, badala ya regression ya univariate au multiple linear. Soma kidogo kuhusu tofauti kati ya mbinu hizi, au tazama [video hii](https://www.coursera.org/lecture/quantifying-relationships-regression-models/linear-vs-nonlinear-categorical-variables-ai2Ef) + +Soma zaidi kuhusu dhana ya regression na fikiria kuhusu aina gani za maswali yanaweza kujibiwa na mbinu hii. Chukua [mafunzo haya](https://docs.microsoft.com/learn/modules/train-evaluate-regression-models?WT.mc_id=academic-77952-leestott) ili kuongeza uelewa wako. + +## Kazi + +[Seti ya data tofauti](assignment.md) + +**Onyo**: +Hati hii imetafsiriwa kwa kutumia huduma za kutafsiri za AI zinazotegemea mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kwamba tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwa sahihi. Hati ya asili katika lugha yake ya asili inapaswa kuchukuliwa kama chanzo rasmi. Kwa habari muhimu, tafsiri ya kitaalamu ya binadamu inapendekezwa. Hatutawajibika kwa kutoelewana au kutafsiri vibaya kunakotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/2-Regression/1-Tools/assignment.md b/translations/sw/2-Regression/1-Tools/assignment.md new file mode 100644 index 000000000..5b95de3a7 --- /dev/null +++ b/translations/sw/2-Regression/1-Tools/assignment.md @@ -0,0 +1,16 @@ +# Regression with Scikit-learn + +## Maelekezo + +Angalia dataset ya [Linnerud](https://scikit-learn.org/stable/modules/generated/sklearn.datasets.load_linnerud.html#sklearn.datasets.load_linnerud) katika Scikit-learn. Dataset hii ina [malengo](https://scikit-learn.org/stable/datasets/toy_dataset.html#linnerrud-dataset) mengi: 'Inajumuisha data za mazoezi matatu na vigezo vitatu vya kifizikia zilizokusanywa kutoka kwa wanaume ishirini wa makamo katika klabu ya mazoezi'. + +Kwa maneno yako mwenyewe, eleza jinsi ya kuunda modeli ya Regression ambayo ingeonyesha uhusiano kati ya mzunguko wa kiuno na idadi ya situps zinazofanywa. Fanya hivyo pia kwa datapoints zingine katika dataset hii. + +## Rubric + +| Kigezo | Bora Kabisa | Inatosha | Inahitaji Kuboresha | +| ----------------------------- | ------------------------------------ | ----------------------------- | ---------------------------- | +| Kuwasilisha aya ya maelezo | Aya iliyoandikwa vizuri inawasilishwa | Sentensi chache zinawasilishwa | Hakuna maelezo yanayotolewa | + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI zinazotumia mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwa sahihi. Hati ya asili katika lugha yake ya asili inapaswa kuchukuliwa kuwa chanzo cha mamlaka. Kwa taarifa muhimu, tafsiri ya kitaalamu ya binadamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/2-Regression/1-Tools/solution/Julia/README.md b/translations/sw/2-Regression/1-Tools/solution/Julia/README.md new file mode 100644 index 000000000..a9ce3df1c --- /dev/null +++ b/translations/sw/2-Regression/1-Tools/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwepo kwa usahihi. Hati ya asili katika lugha yake ya asili inapaswa kuchukuliwa kama chanzo rasmi. Kwa habari muhimu, tafsiri ya kibinadamu ya kitaalam inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/2-Regression/2-Data/README.md b/translations/sw/2-Regression/2-Data/README.md new file mode 100644 index 000000000..0af3b9f0c --- /dev/null +++ b/translations/sw/2-Regression/2-Data/README.md @@ -0,0 +1,215 @@ +# Jenga mfano wa regression kwa kutumia Scikit-learn: andaa na onyesha data + + + +Infographic na [Dasani Madipalli](https://twitter.com/dasani_decoded) + +## [Pre-lecture quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/11/) + +> ### [Somo hili linapatikana katika R!](../../../../2-Regression/2-Data/solution/R/lesson_2.html) + +## Utangulizi + +Sasa kwa kuwa umeandaliwa na zana unazohitaji kuanza kujenga mifano ya kujifunza mashine kwa kutumia Scikit-learn, uko tayari kuanza kuuliza maswali kuhusu data zako. Unapofanya kazi na data na kutumia suluhisho za ML, ni muhimu sana kuelewa jinsi ya kuuliza swali sahihi ili kufungua uwezo wa dataset yako. + +Katika somo hili, utajifunza: + +- Jinsi ya kuandaa data yako kwa ajili ya kujenga mfano. +- Jinsi ya kutumia Matplotlib kwa ajili ya kuonyesha data. + +## Kuuliza swali sahihi kuhusu data zako + +Swali unalotaka lijibiwe litaamua ni aina gani ya algorithmi za ML utazitumia. Na ubora wa jibu unalopata utategemea sana asili ya data zako. + +Angalia [data](https://github.com/microsoft/ML-For-Beginners/blob/main/2-Regression/data/US-pumpkins.csv) iliyotolewa kwa somo hili. Unaweza kufungua faili hili la .csv katika VS Code. Uskimaji wa haraka unaonyesha kuwa kuna mapengo na mchanganyiko wa data za maneno na namba. Pia kuna safu ya ajabu inayoitwa 'Package' ambapo data ni mchanganyiko kati ya 'sacks', 'bins' na thamani nyinginezo. Kwa kweli, data ni kama fujo kidogo. + +[](https://youtu.be/5qGjczWTrDQ "ML for beginners - How to Analyze and Clean a Dataset") + +> 🎥 Bofya picha hapo juu kwa video fupi ya kuandaa data kwa somo hili. + +Kwa kweli, si kawaida sana kupewa dataset iliyo tayari kabisa kutumia ili kuunda mfano wa ML moja kwa moja. Katika somo hili, utajifunza jinsi ya kuandaa dataset ghafi kwa kutumia maktaba za kawaida za Python. Pia utajifunza mbinu mbalimbali za kuonyesha data. + +## Uchunguzi wa kesi: 'soko la maboga' + +Katika folda hii utapata faili la .csv katika folda kuu `data` inayoitwa [US-pumpkins.csv](https://github.com/microsoft/ML-For-Beginners/blob/main/2-Regression/data/US-pumpkins.csv) ambayo inajumuisha mistari 1757 ya data kuhusu soko la maboga, imepangwa katika makundi kwa miji. Hii ni data ghafi iliyotolewa kutoka [Specialty Crops Terminal Markets Standard Reports](https://www.marketnews.usda.gov/mnp/fv-report-config-step1?type=termPrice) inayosambazwa na Idara ya Kilimo ya Marekani. + +### Kuandaa data + +Data hii iko katika uwanja wa umma. Inaweza kupakuliwa katika faili nyingi tofauti, kwa kila mji, kutoka tovuti ya USDA. Ili kuepuka faili nyingi tofauti, tumeunganisha data zote za miji katika lahajedwali moja, hivyo tayari tume_anda_ data kidogo. Sasa, tuangalie kwa karibu data hiyo. + +### Data ya maboga - hitimisho la awali + +Unaona nini kuhusu data hii? Tayari umeona kuwa kuna mchanganyiko wa maneno, namba, mapengo na thamani za ajabu ambazo unahitaji kuzifanyia kazi. + +Ni swali gani unaweza kuuliza kuhusu data hii, kwa kutumia mbinu ya Regression? Vipi kuhusu "Kutabiri bei ya boga linapouzwa katika mwezi fulani". Ukiangalia tena data, kuna mabadiliko unayohitaji kufanya ili kuunda muundo wa data unaohitajika kwa kazi hiyo. + +## Zoezi - kuchambua data ya maboga + +Tutumie [Pandas](https://pandas.pydata.org/), (jina linawakilisha `Python Data Analysis`) chombo kinachofaa sana kwa kuunda data, kuchambua na kuandaa data hii ya maboga. + +### Kwanza, angalia tarehe zilizokosekana + +Utahitaji kuchukua hatua za kuangalia tarehe zilizokosekana: + +1. Badilisha tarehe kuwa muundo wa mwezi (hizi ni tarehe za Marekani, hivyo muundo ni `MM/DD/YYYY`). +2. Toa mwezi kwenye safu mpya. + +Fungua faili la _notebook.ipynb_ katika Visual Studio Code na ingiza lahajedwali katika dataframe mpya ya Pandas. + +1. Tumia `head()` kuona safu tano za kwanza. + + ```python + import pandas as pd + pumpkins = pd.read_csv('../data/US-pumpkins.csv') + pumpkins.head() + ``` + + ✅ Ni kazi gani ungetumia kuona safu tano za mwisho? + +1. Angalia kama kuna data iliyokosekana katika dataframe ya sasa: + + ```python + pumpkins.isnull().sum() + ``` + + Kuna data iliyokosekana, lakini labda haitajalisha kwa kazi hii. + +1. Ili kufanya dataframe yako iwe rahisi kufanya kazi nayo, chagua safu tu unazohitaji, kwa kutumia `loc` function which extracts from the original dataframe a group of rows (passed as first parameter) and columns (passed as second parameter). The expression `:` katika mfano hapa chini ina maana "safu zote". + + ```python + columns_to_select = ['Package', 'Low Price', 'High Price', 'Date'] + pumpkins = pumpkins.loc[:, columns_to_select] + ``` + +### Pili, tambua bei ya wastani ya boga + +Fikiria jinsi ya kutambua bei ya wastani ya boga katika mwezi fulani. Ni safu gani ungechagua kwa kazi hii? Kidokezo: utahitaji safu 3. + +Suluhisho: chukua wastani wa safu za `Low Price` and `High Price` kujaza safu mpya ya Price, na ubadilishe safu ya Date kuonyesha tu mwezi. Kwa bahati nzuri, kulingana na ukaguzi hapo juu, hakuna data iliyokosekana kwa tarehe au bei. + +1. Ili kuhesabu wastani, ongeza msimbo ufuatao: + + ```python + price = (pumpkins['Low Price'] + pumpkins['High Price']) / 2 + + month = pd.DatetimeIndex(pumpkins['Date']).month + + ``` + + ✅ Jisikie huru kuchapisha data yoyote unayotaka kukagua kwa kutumia `print(month)`. + +2. Sasa, nakili data yako iliyobadilishwa katika dataframe mpya ya Pandas: + + ```python + new_pumpkins = pd.DataFrame({'Month': month, 'Package': pumpkins['Package'], 'Low Price': pumpkins['Low Price'],'High Price': pumpkins['High Price'], 'Price': price}) + ``` + + Kuchapisha dataframe yako kutaonyesha dataset safi na nadhifu ambayo unaweza kujenga mfano wako mpya wa regression. + +### Lakini subiri! Kuna kitu cha ajabu hapa + +Ukiangalia safu ya `Package` column, pumpkins are sold in many different configurations. Some are sold in '1 1/9 bushel' measures, and some in '1/2 bushel' measures, some per pumpkin, some per pound, and some in big boxes with varying widths. + +> Pumpkins seem very hard to weigh consistently + +Digging into the original data, it's interesting that anything with `Unit of Sale` equalling 'EACH' or 'PER BIN' also have the `Package` type per inch, per bin, or 'each'. Pumpkins seem to be very hard to weigh consistently, so let's filter them by selecting only pumpkins with the string 'bushel' in their `Package`. + +1. Ongeza kichujio juu ya faili, chini ya uingizaji wa awali wa .csv: + + ```python + pumpkins = pumpkins[pumpkins['Package'].str.contains('bushel', case=True, regex=True)] + ``` + + Ukiangalia data sasa, utaona kuwa unapata tu safu 415 au hivyo za data zinazojumuisha maboga kwa bushel. + +### Lakini subiri! Kuna jambo moja zaidi la kufanya + +Je, uliona kuwa kiasi cha bushel kinatofautiana kwa kila safu? Unahitaji kuweka bei sawa ili kuonyesha bei kwa bushel, hivyo fanya hesabu ili kuistandardize. + +1. Ongeza mistari hii baada ya block inayounda dataframe mpya ya maboga: + + ```python + new_pumpkins.loc[new_pumpkins['Package'].str.contains('1 1/9'), 'Price'] = price/(1 + 1/9) + + new_pumpkins.loc[new_pumpkins['Package'].str.contains('1/2'), 'Price'] = price/(1/2) + ``` + +✅ Kulingana na [The Spruce Eats](https://www.thespruceeats.com/how-much-is-a-bushel-1389308), uzito wa bushel unategemea aina ya mazao, kwani ni kipimo cha ujazo. "Bushel ya nyanya, kwa mfano, inapaswa kuwa na uzito wa paundi 56... Majani na mboga huchukua nafasi zaidi na uzito mdogo, hivyo bushel ya spinachi ni paundi 20 tu." Ni ngumu sana! Tusijisumbue na kubadilisha bushel kuwa paundi, badala yake tuweke bei kwa bushel. Uchunguzi huu wote wa bushel za maboga, hata hivyo, unaonyesha jinsi ilivyo muhimu sana kuelewa asili ya data yako! + +Sasa, unaweza kuchambua bei kwa kipimo cha bushel. Ukichapisha data tena, utaona jinsi ilivyowekwa sawa. + +✅ Je, uliona kuwa maboga yanayouzwa kwa nusu bushel ni ghali sana? Je, unaweza kujua kwa nini? Kidokezo: maboga madogo ni ghali sana kuliko makubwa, labda kwa sababu kuna mengi zaidi kwa bushel, kutokana na nafasi isiyotumika inayochukuliwa na boga moja kubwa la pie. + +## Mikakati ya Kuonyesha Data + +Sehemu ya jukumu la mwanasayansi wa data ni kuonyesha ubora na asili ya data wanayofanya kazi nayo. Ili kufanya hivyo, mara nyingi huunda michoro ya kuvutia, au michoro, grafu, na chati, inayoonyesha vipengele tofauti vya data. Kwa njia hii, wanaweza kuonyesha kwa kuona mahusiano na mapengo ambayo vinginevyo ni vigumu kugundua. + +[](https://youtu.be/SbUkxH6IJo0 "ML for beginners - How to Visualize Data with Matplotlib") + +> 🎥 Bofya picha hapo juu kwa video fupi ya kuonyesha data kwa somo hili. + +Michoro inaweza pia kusaidia kuamua mbinu ya kujifunza mashine inayofaa zaidi kwa data. Mchoro wa kutawanya unaoonekana kufuata mstari, kwa mfano, unaonyesha kuwa data ni mgombea mzuri kwa zoezi la regression ya mstari. + +Maktaba moja ya kuonyesha data inayofanya kazi vizuri katika daftari za Jupyter ni [Matplotlib](https://matplotlib.org/) (ambayo pia uliiona katika somo lililopita). + +> Pata uzoefu zaidi na kuonyesha data katika [mafunzo haya](https://docs.microsoft.com/learn/modules/explore-analyze-data-with-python?WT.mc_id=academic-77952-leestott). + +## Zoezi - jaribu na Matplotlib + +Jaribu kuunda michoro ya msingi kuonyesha dataframe mpya uliyoitengeneza. Je, mchoro wa mstari wa msingi ungeonyesha nini? + +1. Ingiza Matplotlib juu ya faili, chini ya uingizaji wa Pandas: + + ```python + import matplotlib.pyplot as plt + ``` + +1. Endesha upya daftari lote ili kusasisha. +1. Chini ya daftari, ongeza seli kuonyesha data kama sanduku: + + ```python + price = new_pumpkins.Price + month = new_pumpkins.Month + plt.scatter(price, month) + plt.show() + ``` + +  + + Je, mchoro huu ni wa manufaa? Je, kuna kitu kinachokushangaza kuhusu mchoro huu? + + Sio hasa wa manufaa kwani yote inayoonyesha ni data yako kama mchanganyiko wa pointi katika mwezi fulani. + +### Fanya iwe ya manufaa + +Ili michoro ionyeshe data yenye manufaa, kwa kawaida unahitaji kuunganisha data kwa namna fulani. Hebu jaribu kuunda mchoro ambapo mhimili wa y unaonyesha miezi na data inaonyesha usambazaji wa data. + +1. Ongeza seli kuunda mchoro wa bar ulio na makundi: + + ```python + new_pumpkins.groupby(['Month'])['Price'].mean().plot(kind='bar') + plt.ylabel("Pumpkin Price") + ``` + +  + + Hii ni michoro ya data yenye manufaa zaidi! Inaonekana kuonyesha kuwa bei ya juu zaidi ya maboga inatokea Septemba na Oktoba. Je, hilo linakidhi matarajio yako? Kwa nini au kwa nini siyo? + +--- + +## 🚀Changamoto + +Chunguza aina tofauti za kuonyesha data ambazo Matplotlib inatoa. Ni aina gani zinazofaa zaidi kwa matatizo ya regression? + +## [Post-lecture quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/12/) + +## Mapitio na Kujisomea + +Angalia njia nyingi za kuonyesha data. Tengeneza orodha ya maktaba mbalimbali zinazopatikana na kumbuka ni zipi ni bora kwa aina fulani za kazi, kwa mfano michoro ya 2D dhidi ya michoro ya 3D. Umegundua nini? + +## Kazi + +[Kuonyesha data](assignment.md) + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI zinazotegemea mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kwamba tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwa sahihi. Hati asilia katika lugha yake ya asili inapaswa kuzingatiwa kama chanzo cha mamlaka. Kwa taarifa muhimu, tafsiri ya kitaalamu ya kibinadamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/2-Regression/2-Data/assignment.md b/translations/sw/2-Regression/2-Data/assignment.md new file mode 100644 index 000000000..0a19c1534 --- /dev/null +++ b/translations/sw/2-Regression/2-Data/assignment.md @@ -0,0 +1,11 @@ +# Kuchunguza Michoro + +Kuna maktaba kadhaa tofauti zinazopatikana kwa ajili ya uchoraji wa data. Tengeneza michoro kadhaa ukitumia data za Pumpkin katika somo hili na matplotlib na seaborn katika daftari la sampuli. Ni maktaba zipi ni rahisi zaidi kufanya kazi nazo? +## Rubric + +| Vigezo | Bora | Inaridhisha | Inahitaji Kuboresha | +| ------- | ------- | ------- | ------- | +| | Daftari linawasilishwa na lina uchunguzi/michoro miwili | Daftari linawasilishwa na lina uchunguzi/mchoro mmoja | Daftari halijawasilishwa | + +**Onyo**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwa sahihi. Hati asilia katika lugha yake ya asili inapaswa kuzingatiwa kama chanzo cha mamlaka. Kwa taarifa muhimu, tafsiri ya kibinadamu ya kitaalamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/2-Regression/2-Data/solution/Julia/README.md b/translations/sw/2-Regression/2-Data/solution/Julia/README.md new file mode 100644 index 000000000..bca5bb809 --- /dev/null +++ b/translations/sw/2-Regression/2-Data/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI zinazotumia mashine. Ingawa tunajitahidi kupata usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwa sahihi. Hati ya asili katika lugha yake ya asili inapaswa kuzingatiwa kama chanzo chenye mamlaka. Kwa habari muhimu, tafsiri ya kitaalamu ya kibinadamu inapendekezwa. Hatutawajibika kwa maelewano mabaya au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/2-Regression/3-Linear/README.md b/translations/sw/2-Regression/3-Linear/README.md new file mode 100644 index 000000000..a559b68cc --- /dev/null +++ b/translations/sw/2-Regression/3-Linear/README.md @@ -0,0 +1,370 @@ +# Jenga modeli ya regression kwa kutumia Scikit-learn: regression kwa njia nne + + +> Picha ya taarifa na [Dasani Madipalli](https://twitter.com/dasani_decoded) +## [Quiz kabla ya somo](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/13/) + +> ### [Somo hili linapatikana katika R!](../../../../2-Regression/3-Linear/solution/R/lesson_3.html) +### Utangulizi + +Hadi sasa umechunguza regression ni nini kwa kutumia data za sampuli zilizokusanywa kutoka kwa seti ya data ya bei za malenge ambayo tutatumia katika somo hili lote. Pia umeweza kuiona kwa kutumia Matplotlib. + +Sasa uko tayari kuingia zaidi kwenye regression kwa ML. Wakati visualization inakuruhusu kuelewa data, nguvu halisi ya Machine Learning inatoka kwenye _kufundisha mifano_. Mifano inafundishwa kwenye data za kihistoria ili kunasa moja kwa moja utegemezi wa data, na hukuruhusu kutabiri matokeo kwa data mpya, ambayo mfano haujaiona kabla. + +Katika somo hili, utajifunza zaidi kuhusu aina mbili za regression: _basic linear regression_ na _polynomial regression_, pamoja na baadhi ya hisabati inayohusiana na mbinu hizi. Mifano hii itatuwezesha kutabiri bei za malenge kulingana na data tofauti za pembejeo. + +[](https://youtu.be/CRxFT8oTDMg "ML kwa wanaoanza - Kuelewa Linear Regression") + +> 🎥 Bofya picha hapo juu kwa muhtasari mfupi wa video kuhusu linear regression. + +> Katika mtaala huu, tunadhania kuwa na maarifa ya chini ya hisabati, na tunalenga kuifanya ipatikane kwa wanafunzi wanaotoka katika nyanja nyingine, hivyo angalia maelezo, 🧮 callouts, michoro, na zana zingine za kujifunza kusaidia kuelewa. + +### Mahitaji + +Unapaswa kuwa na ufahamu sasa na muundo wa data ya malenge tunayochunguza. Unaweza kuipata ikiwa imepakiwa na kusafishwa katika faili ya _notebook.ipynb_ ya somo hili. Katika faili, bei ya malenge inaonyeshwa kwa bushel katika fremu mpya ya data. Hakikisha unaweza kuendesha hizi notebooks katika kernels katika Visual Studio Code. + +### Maandalizi + +Kama ukumbusho, unapakia data hii ili uweze kuuliza maswali yake. + +- Ni wakati gani mzuri wa kununua malenge? +- Ninaweza kutarajia bei gani ya kasha la malenge madogo? +- Je, ninunue kwa vikapu vya nusu bushel au kwa sanduku la bushel 1 1/9? +Tuendelee kuchimba data hii. + +Katika somo lililopita, uliunda fremu ya data ya Pandas na kuijaza na sehemu ya seti ya data ya awali, ukistandardisha bei kwa bushel. Kwa kufanya hivyo, hata hivyo, uliweza tu kukusanya takriban pointi 400 za data na kwa miezi ya msimu wa vuli tu. + +Angalia data ambayo tulipakia katika notebook inayosindikiza somo hili. Data imepakiwa na scatterplot ya awali imechorwa kuonyesha data ya mwezi. Labda tunaweza kupata maelezo zaidi kuhusu asili ya data kwa kuisafisha zaidi. + +## Mstari wa regression ya mstari + +Kama ulivyojifunza katika Somo la 1, lengo la zoezi la regression ya mstari ni kuweza kuchora mstari ili: + +- **Kuonyesha uhusiano wa vigezo**. Kuonyesha uhusiano kati ya vigezo +- **Kufanya utabiri**. Kufanya utabiri sahihi wa mahali ambapo pointi mpya ya data ingeingia kwa uhusiano na mstari huo. + +Ni kawaida kwa **Least-Squares Regression** kuchora aina hii ya mstari. Neno 'least-squares' linamaanisha kwamba pointi zote za data zinazozunguka mstari wa regression zimetolewaz na kisha kuongezwa. Kwa hali nzuri, jumla ya mwisho ni ndogo iwezekanavyo, kwa sababu tunataka idadi ndogo ya makosa, au `least-squares`. + +Tunafanya hivyo kwa sababu tunataka kuunda mstari ambao una umbali wa chini kabisa kutoka kwa pointi zote za data zetu. Pia tunazitoa maneno kabla ya kuyaongeza kwa sababu tunajali ukubwa wake badala ya mwelekeo wake. + +> **🧮 Nionyeshe hisabati** +> +> Mstari huu, unaoitwa _line of best fit_ unaweza kuonyeshwa na [mchoro](https://en.wikipedia.org/wiki/Simple_linear_regression): +> +> ``` +> Y = a + bX +> ``` +> +> `X` is the 'explanatory variable'. `Y` is the 'dependent variable'. The slope of the line is `b` and `a` is the y-intercept, which refers to the value of `Y` when `X = 0`. +> +> +> +> First, calculate the slope `b`. Infographic by [Jen Looper](https://twitter.com/jenlooper) +> +> In other words, and referring to our pumpkin data's original question: "predict the price of a pumpkin per bushel by month", `X` would refer to the price and `Y` would refer to the month of sale. +> +> +> +> Calculate the value of Y. If you're paying around $4, it must be April! Infographic by [Jen Looper](https://twitter.com/jenlooper) +> +> The math that calculates the line must demonstrate the slope of the line, which is also dependent on the intercept, or where `Y` is situated when `X = 0`. +> +> You can observe the method of calculation for these values on the [Math is Fun](https://www.mathsisfun.com/data/least-squares-regression.html) web site. Also visit [this Least-squares calculator](https://www.mathsisfun.com/data/least-squares-calculator.html) to watch how the numbers' values impact the line. + +## Correlation + +One more term to understand is the **Correlation Coefficient** between given X and Y variables. Using a scatterplot, you can quickly visualize this coefficient. A plot with datapoints scattered in a neat line have high correlation, but a plot with datapoints scattered everywhere between X and Y have a low correlation. + +A good linear regression model will be one that has a high (nearer to 1 than 0) Correlation Coefficient using the Least-Squares Regression method with a line of regression. + +✅ Run the notebook accompanying this lesson and look at the Month to Price scatterplot. Does the data associating Month to Price for pumpkin sales seem to have high or low correlation, according to your visual interpretation of the scatterplot? Does that change if you use more fine-grained measure instead of `Month`, eg. *day of the year* (i.e. number of days since the beginning of the year)? + +In the code below, we will assume that we have cleaned up the data, and obtained a data frame called `new_pumpkins`, similar to the following: + +ID | Month | DayOfYear | Variety | City | Package | Low Price | High Price | Price +---|-------|-----------|---------|------|---------|-----------|------------|------- +70 | 9 | 267 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 15.0 | 15.0 | 13.636364 +71 | 9 | 267 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 18.0 | 18.0 | 16.363636 +72 | 10 | 274 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 18.0 | 18.0 | 16.363636 +73 | 10 | 274 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 17.0 | 17.0 | 15.454545 +74 | 10 | 281 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 15.0 | 15.0 | 13.636364 + +> The code to clean the data is available in [`notebook.ipynb`](../../../../2-Regression/3-Linear/notebook.ipynb). We have performed the same cleaning steps as in the previous lesson, and have calculated `DayOfYear` kwa kutumia usemi ufuatao: + +```python +day_of_year = pd.to_datetime(pumpkins['Date']).apply(lambda dt: (dt-datetime(dt.year,1,1)).days) +``` + +Sasa kwa kuwa unaelewa hisabati nyuma ya regression ya mstari, hebu tuunde mfano wa Regression kuona kama tunaweza kutabiri ni kifurushi gani cha malenge kitakuwa na bei bora za malenge. Mtu anayenunua malenge kwa ajili ya shamba la malenge la likizo anaweza kutaka habari hii ili aweze kuboresha manunuzi yake ya vifurushi vya malenge kwa shamba hilo. + +## Kutafuta Uhusiano + +[](https://youtu.be/uoRq-lW2eQo "ML kwa wanaoanza - Kutafuta Uhusiano: Muhimu kwa Regression ya Mstari") + +> 🎥 Bofya picha hapo juu kwa muhtasari mfupi wa video kuhusu uhusiano. + +Kutoka somo lililopita labda umeona kuwa bei ya wastani kwa miezi tofauti inaonekana kama hii: + +
+
+Hii inapendekeza kwamba kunaweza kuwa na uhusiano fulani, na tunaweza kujaribu kufundisha mfano wa regression ya mstari kutabiri uhusiano kati ya `Month` and `Price`, or between `DayOfYear` and `Price`. Here is the scatter plot that shows the latter relationship:
+
+
+
+Let's see if there is a correlation using the `corr` kazi:
+
+```python
+print(new_pumpkins['Month'].corr(new_pumpkins['Price']))
+print(new_pumpkins['DayOfYear'].corr(new_pumpkins['Price']))
+```
+
+Inaonekana kama uhusiano ni mdogo, -0.15 kwa `Month` and -0.17 by the `DayOfMonth`, but there could be another important relationship. It looks like there are different clusters of prices corresponding to different pumpkin varieties. To confirm this hypothesis, let's plot each pumpkin category using a different color. By passing an `ax` parameter to the `scatter` kazi ya kuchora tunaweza kuchora pointi zote kwenye grafu moja:
+
+```python
+ax=None
+colors = ['red','blue','green','yellow']
+for i,var in enumerate(new_pumpkins['Variety'].unique()):
+ df = new_pumpkins[new_pumpkins['Variety']==var]
+ ax = df.plot.scatter('DayOfYear','Price',ax=ax,c=colors[i],label=var)
+```
+
+
+
+Uchunguzi wetu unapendekeza kwamba aina ina athari zaidi kwenye bei ya jumla kuliko tarehe halisi ya kuuza. Tunaweza kuona hili kwa grafu ya bar:
+
+```python
+new_pumpkins.groupby('Variety')['Price'].mean().plot(kind='bar')
+```
+
+
+
+Tujikite kwa sasa kwenye aina moja tu ya malenge, 'aina ya pie', na tuone athari ya tarehe kwenye bei:
+
+```python
+pie_pumpkins = new_pumpkins[new_pumpkins['Variety']=='PIE TYPE']
+pie_pumpkins.plot.scatter('DayOfYear','Price')
+```
+
+
+Ikiwa sasa tutahesabu uhusiano kati ya `Price` and `DayOfYear` using `corr` function, we will get something like `-0.27` - ambayo inamaanisha kwamba kufundisha mfano wa kutabiri ina maana.
+
+> Kabla ya kufundisha mfano wa regression ya mstari, ni muhimu kuhakikisha kuwa data yetu ni safi. Regression ya mstari haifanyi kazi vizuri na thamani zilizokosekana, hivyo ina maana kuondoa seli zote tupu:
+
+```python
+pie_pumpkins.dropna(inplace=True)
+pie_pumpkins.info()
+```
+
+Njia nyingine itakuwa kujaza thamani hizo tupu na thamani za wastani kutoka kwenye safu inayolingana.
+
+## Regression ya Mstari Rahisi
+
+[](https://youtu.be/e4c_UP2fSjg "ML kwa wanaoanza - Regression ya Mstari na Polynomial kwa kutumia Scikit-learn")
+
+> 🎥 Bofya picha hapo juu kwa muhtasari mfupi wa video kuhusu regression ya mstari na polynomial.
+
+Ili kufundisha mfano wetu wa Regression ya Mstari, tutatumia maktaba ya **Scikit-learn**.
+
+```python
+from sklearn.linear_model import LinearRegression
+from sklearn.metrics import mean_squared_error
+from sklearn.model_selection import train_test_split
+```
+
+Tunanza kwa kutenganisha thamani za pembejeo (vipengele) na matokeo yanayotarajiwa (label) kwenye arrays tofauti za numpy:
+
+```python
+X = pie_pumpkins['DayOfYear'].to_numpy().reshape(-1,1)
+y = pie_pumpkins['Price']
+```
+
+> Kumbuka kwamba tulilazimika kufanya `reshape` kwenye data ya pembejeo ili kifurushi cha Regression ya Mstari kiielewe kwa usahihi. Regression ya Mstari inatarajia array ya 2D kama pembejeo, ambapo kila safu ya array inalingana na vector ya vipengele vya pembejeo. Katika kesi yetu, kwa kuwa tuna pembejeo moja tu - tunahitaji array yenye umbo N×1, ambapo N ni saizi ya seti ya data.
+
+Kisha, tunahitaji kugawanya data katika seti za mafunzo na majaribio, ili tuweze kuthibitisha mfano wetu baada ya mafunzo:
+
+```python
+X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+```
+
+Hatimaye, kufundisha mfano halisi wa Regression ya Mstari kunachukua mistari miwili tu ya msimbo. Tunafafanua `LinearRegression` object, and fit it to our data using the `fit` njia:
+
+```python
+lin_reg = LinearRegression()
+lin_reg.fit(X_train,y_train)
+```
+
+`LinearRegression` object after `fit`-ting contains all the coefficients of the regression, which can be accessed using `.coef_` property. In our case, there is just one coefficient, which should be around `-0.017`. It means that prices seem to drop a bit with time, but not too much, around 2 cents per day. We can also access the intersection point of the regression with Y-axis using `lin_reg.intercept_` - it will be around `21` katika kesi yetu, kuashiria bei mwanzoni mwa mwaka.
+
+Ili kuona jinsi mfano wetu ulivyo sahihi, tunaweza kutabiri bei kwenye seti ya data ya majaribio, na kisha kupima jinsi utabiri wetu ulivyo karibu na thamani zinazotarajiwa. Hii inaweza kufanywa kwa kutumia metrics ya mean square error (MSE), ambayo ni wastani wa tofauti zote zilizotolewa kati ya thamani inayotarajiwa na inayotabiriwa.
+
+```python
+pred = lin_reg.predict(X_test)
+
+mse = np.sqrt(mean_squared_error(y_test,pred))
+print(f'Mean error: {mse:3.3} ({mse/np.mean(pred)*100:3.3}%)')
+```
+
+Kosa letu linaonekana kuwa karibu na pointi 2, ambayo ni ~17%. Sio nzuri sana. Kiashiria kingine cha ubora wa mfano ni **coefficient of determination**, ambayo inaweza kupatikana kama hii:
+
+```python
+score = lin_reg.score(X_train,y_train)
+print('Model determination: ', score)
+```
+Ikiwa thamani ni 0, inamaanisha kwamba mfano hauzingatii data ya pembejeo, na hufanya kama *mtabiri mbaya zaidi wa mstari*, ambayo ni wastani wa thamani ya matokeo. Thamani ya 1 inamaanisha kwamba tunaweza kutabiri kwa usahihi matokeo yote yanayotarajiwa. Katika kesi yetu, coefficient ni karibu 0.06, ambayo ni ya chini kabisa.
+
+Tunaweza pia kuchora data ya majaribio pamoja na mstari wa regression ili kuona vizuri jinsi regression inavyofanya kazi katika kesi yetu:
+
+```python
+plt.scatter(X_test,y_test)
+plt.plot(X_test,pred)
+```
+
+
+
+## Regression ya Polynomial
+
+Aina nyingine ya Regression ya Mstari ni Regression ya Polynomial. Wakati mwingine kuna uhusiano wa mstari kati ya vigezo - kadri malenge yanavyokuwa kubwa kwa ujazo, ndivyo bei inavyoongezeka - wakati mwingine uhusiano huu hauwezi kuchorwa kama ndege au mstari wa moja kwa moja.
+
+✅ Hapa kuna [mifano zaidi](https://online.stat.psu.edu/stat501/lesson/9/9.8) ya data ambayo inaweza kutumia Regression ya Polynomial
+
+Angalia tena uhusiano kati ya Tarehe na Bei. Je, scatterplot hii inaonekana kama inapaswa kuchambuliwa na mstari wa moja kwa moja? Je, bei haziwezi kubadilika? Katika kesi hii, unaweza kujaribu regression ya polynomial.
+
+✅ Polynomials ni misemo ya hisabati ambayo inaweza kuwa na moja au zaidi ya vigezo na coefficients
+
+Regression ya polynomial huunda mstari uliopinda ili kutoshea data isiyo ya mstari vizuri. Katika kesi yetu, ikiwa tutajumuisha variable ya `DayOfYear` iliyotolewa kwenye data ya pembejeo, tunapaswa kuweza kutoshea data yetu na curve ya parabolic, ambayo itakuwa na kiwango cha chini katika hatua fulani ndani ya mwaka.
+
+Scikit-learn inajumuisha [API ya pipeline](https://scikit-learn.org/stable/modules/generated/sklearn.pipeline.make_pipeline.html?highlight=pipeline#sklearn.pipeline.make_pipeline) kusaidia kuunganisha hatua tofauti za usindikaji wa data pamoja. **Pipeline** ni mnyororo wa **estimators**. Katika kesi yetu, tutaunda pipeline ambayo kwanza inaongeza vipengele vya polynomial kwenye mfano wetu, na kisha kufundisha regression:
+
+```python
+from sklearn.preprocessing import PolynomialFeatures
+from sklearn.pipeline import make_pipeline
+
+pipeline = make_pipeline(PolynomialFeatures(2), LinearRegression())
+
+pipeline.fit(X_train,y_train)
+```
+
+Kutumia `PolynomialFeatures(2)` means that we will include all second-degree polynomials from the input data. In our case it will just mean `DayOfYear`2, but given two input variables X and Y, this will add X2, XY and Y2. We may also use higher degree polynomials if we want.
+
+Pipelines can be used in the same manner as the original `LinearRegression` object, i.e. we can `fit` the pipeline, and then use `predict` to get the prediction results. Here is the graph showing test data, and the approximation curve:
+
+
+
+Using Polynomial Regression, we can get slightly lower MSE and higher determination, but not significantly. We need to take into account other features!
+
+> You can see that the minimal pumpkin prices are observed somewhere around Halloween. How can you explain this?
+
+🎃 Congratulations, you just created a model that can help predict the price of pie pumpkins. You can probably repeat the same procedure for all pumpkin types, but that would be tedious. Let's learn now how to take pumpkin variety into account in our model!
+
+## Categorical Features
+
+In the ideal world, we want to be able to predict prices for different pumpkin varieties using the same model. However, the `Variety` column is somewhat different from columns like `Month`, because it contains non-numeric values. Such columns are called **categorical**.
+
+[](https://youtu.be/DYGliioIAE0 "ML for beginners - Categorical Feature Predictions with Linear Regression")
+
+> 🎥 Click the image above for a short video overview of using categorical features.
+
+Here you can see how average price depends on variety:
+
+
+
+To take variety into account, we first need to convert it to numeric form, or **encode** it. There are several way we can do it:
+
+* Simple **numeric encoding** will build a table of different varieties, and then replace the variety name by an index in that table. This is not the best idea for linear regression, because linear regression takes the actual numeric value of the index, and adds it to the result, multiplying by some coefficient. In our case, the relationship between the index number and the price is clearly non-linear, even if we make sure that indices are ordered in some specific way.
+* **One-hot encoding** will replace the `Variety` column by 4 different columns, one for each variety. Each column will contain `1` if the corresponding row is of a given variety, and `0` vinginevyo. Hii inamaanisha kwamba kutakuwa na coefficients nne katika regression ya mstari, moja kwa kila aina ya malenge, inayohusika na "bei ya kuanzia" (au badala "bei ya ziada") kwa aina hiyo maalum.
+
+Msimbo hapa chini unaonyesha jinsi tunavyoweza one-hot encode aina:
+
+```python
+pd.get_dummies(new_pumpkins['Variety'])
+```
+
+ ID | FAIRYTALE | MINIATURE | MIXED HEIRLOOM VARIETIES | PIE TYPE
+----|-----------|-----------|--------------------------|----------
+70 | 0 | 0 | 0 | 1
+71 | 0 | 0 | 0 | 1
+... | ... | ... | ... | ...
+1738 | 0 | 1 | 0 | 0
+1739 | 0 | 1 | 0 | 0
+1740 | 0 | 1 | 0 | 0
+1741 | 0 | 1 | 0 | 0
+1742 | 0 | 1 | 0 | 0
+
+Ili kufundisha regression ya mstari kwa kutumia aina iliyowekwa one-hot encoded kama pembejeo, tunahitaji tu kuanzisha `X` and `y` data kwa usahihi:
+
+```python
+X = pd.get_dummies(new_pumpkins['Variety'])
+y = new_pumpkins['Price']
+```
+
+Sehemu iliyobaki ya msimbo ni sawa na tuliyotumia hapo juu kufundisha Regression ya Mstari. Ikiwa utaijaribu, utaona kwamba mean square error ni karibu sawa, lakini tunapata coefficient ya juu zaidi ya determination (~77%). Ili kupata utabiri sahihi zaidi, tunaweza kuzingatia vipengele zaidi vya kategoria, pamoja na vipengele vya nambari, kama `Month` or `DayOfYear`. To get one large array of features, we can use `join`:
+
+```python
+X = pd.get_dummies(new_pumpkins['Variety']) \
+ .join(new_pumpkins['Month']) \
+ .join(pd.get_dummies(new_pumpkins['City'])) \
+ .join(pd.get_dummies(new_pumpkins['Package']))
+y = new_pumpkins['Price']
+```
+
+Hapa pia tunazingatia `City` and `Package` type, ambayo inatupa MSE 2.84 (10%), na determination 0.94!
+
+## Kuweka yote pamoja
+
+Ili kufanya mfano bora zaidi, tunaweza kutumia data iliyochanganywa (one-hot encoded categorical + numeric) kutoka mfano hapo juu pamoja na Regression ya Polynomial. Hapa kuna msimbo kamili kwa urahisi wako:
+
+```python
+# set up training data
+X = pd.get_dummies(new_pumpkins['Variety']) \
+ .join(new_pumpkins['Month']) \
+ .join(pd.get_dummies(new_pumpkins['City'])) \
+ .join(pd.get_dummies(new_pumpkins['Package']))
+y = new_pumpkins['Price']
+
+# make train-test split
+X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+
+# setup and train the pipeline
+pipeline = make_pipeline(PolynomialFeatures(2), LinearRegression())
+pipeline.fit(X_train,y_train)
+
+# predict results for test data
+pred = pipeline.predict(X_test)
+
+# calculate MSE and determination
+mse = np.sqrt(mean_squared_error(y_test,pred))
+print(f'Mean error: {mse:3.3} ({mse/np.mean(pred)*100:3.3}%)')
+
+score = pipeline.score(X_train,y_train)
+print('Model determination: ', score)
+```
+
+Hii inapaswa kutupa coefficient bora ya determination ya karibu 97%, na MSE=2.23 (~8% prediction error).
+
+| Model | MSE | Determination |
+|-------|-----|---------------|
+| `DayOfYear` Linear | 2.77 (17.2%) | 0.07 |
+| `DayOfYear` Polynomial | 2.73 (17.0%) | 0.08 |
+| `Variety` Linear | 5.24 (19.7%) | 0.77 |
+| All features Linear | 2.84 (10.5%) | 0.94 |
+| All features Polynomial | 2.23 (8.25%) | 0.97 |
+
+🏆 Umefanya vizuri! Umeunda mifano minne ya Regression katika somo moja, na kuboresha ubora wa mfano hadi 97%. Katika sehemu ya mwisho ya Regression, utajifunza kuhusu Logistic Regression ili kubaini kategoria.
+
+---
+## 🚀Changamoto
+
+Jaribu vigezo tofauti kadhaa katika notebook hii kuona jinsi uhusiano unavyolingana na usahihi wa mfano.
+
+## [Quiz baada ya somo](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/14/)
+
+## Mapitio na Kujisomea
+
+Katika somo hili tulijifunza kuhusu Regression ya Mstari. Kuna aina nyingine muhimu za Regression. Soma kuhusu mbinu za Stepwise, Ridge, Lasso na Elasticnet. Kozi nzuri ya kusoma kujifunza zaidi ni [Kozi ya Stanford ya Statistical Learning](https://online.stanford.edu/courses/sohs-ystatslearning-statistical-learning)
+
+## Kazi
+
+[Jenga Modeli](assignment.md)
+
+**Kanusho**:
+Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kwamba tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwa sahihi. Hati ya asili katika lugha yake ya kiasili inapaswa kuzingatiwa kama chanzo cha mamlaka. Kwa habari muhimu, tafsiri ya kibinadamu ya kitaalamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii.
\ No newline at end of file
diff --git a/translations/sw/2-Regression/3-Linear/assignment.md b/translations/sw/2-Regression/3-Linear/assignment.md
new file mode 100644
index 000000000..51962a51e
--- /dev/null
+++ b/translations/sw/2-Regression/3-Linear/assignment.md
@@ -0,0 +1,14 @@
+# Unda Mfano wa Regression
+
+## Maelekezo
+
+Katika somo hili umeonyeshwa jinsi ya kujenga mfano kwa kutumia Regression ya Linear na Polynomial. Kwa kutumia maarifa haya, tafuta seti ya data au tumia moja ya seti zilizojengwa ndani ya Scikit-learn kujenga mfano mpya. Eleza katika daftari lako kwa nini ulichagua mbinu uliyotumia, na onyesha usahihi wa mfano wako. Ikiwa sio sahihi, eleza kwa nini.
+
+## Rubric
+
+| Vigezo | Bora kabisa | Inatosha | Inahitaji Kuboresha |
+| -------- | ------------------------------------------------------------ | --------------------------- | ------------------------------ |
+| | inawasilisha daftari kamili na suluhisho lililoandikwa vizuri | suluhisho halijakamilika | suluhisho lina kasoro au ni bugu |
+
+**Kanusho**:
+Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwa sahihi. Hati ya asili katika lugha yake ya asili inapaswa kuzingatiwa kama chanzo rasmi. Kwa taarifa muhimu, inashauriwa kutumia tafsiri ya kitaalamu ya kibinadamu. Hatutawajibika kwa kutoelewana au tafsiri potofu zinazotokana na matumizi ya tafsiri hii.
\ No newline at end of file
diff --git a/translations/sw/2-Regression/3-Linear/solution/Julia/README.md b/translations/sw/2-Regression/3-Linear/solution/Julia/README.md
new file mode 100644
index 000000000..6ac3801a1
--- /dev/null
+++ b/translations/sw/2-Regression/3-Linear/solution/Julia/README.md
@@ -0,0 +1,4 @@
+
+
+**Kanusho**:
+Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kwamba tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwepo kwa usahihi. Hati ya asili katika lugha yake ya asili inapaswa kuzingatiwa kama chanzo cha mamlaka. Kwa habari muhimu, tafsiri ya kitaalamu ya kibinadamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri potofu zinazotokana na matumizi ya tafsiri hii.
\ No newline at end of file
diff --git a/translations/sw/2-Regression/4-Logistic/README.md b/translations/sw/2-Regression/4-Logistic/README.md
new file mode 100644
index 000000000..fb7a9a16e
--- /dev/null
+++ b/translations/sw/2-Regression/4-Logistic/README.md
@@ -0,0 +1,380 @@
+# Utabiri wa Logistic kutabiri makundi
+
+
+
+## [Pre-lecture quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/15/)
+
+> ### [Somo hili linapatikana kwa R!](../../../../2-Regression/4-Logistic/solution/R/lesson_4.html)
+
+## Utangulizi
+
+Katika somo hili la mwisho kuhusu Regression, mojawapo ya mbinu za msingi za ML _classic_, tutachunguza Logistic Regression. Ungetumia mbinu hii kugundua mifumo ya kutabiri makundi mawili. Je, hii pipi ina chokoleti au la? Je, ugonjwa huu unaambukiza au la? Je, mteja huyu atachagua bidhaa hii au la?
+
+Katika somo hili, utajifunza:
+
+- Maktaba mpya kwa ajili ya kuona data
+- Mbinu za logistic regression
+
+✅ Pata uelewa wa kina wa kufanya kazi na aina hii ya regression katika [Learn module](https://docs.microsoft.com/learn/modules/train-evaluate-classification-models?WT.mc_id=academic-77952-leestott)
+
+## Sharti
+
+Baada ya kufanya kazi na data za malenge, sasa tunajua kwamba kuna kundi moja la binary ambalo tunaweza kufanya kazi nalo: `Color`.
+
+Wacha tujenge mfano wa logistic regression kutabiri, kutokana na baadhi ya vigezo, _rangi ya malenge fulani inaweza kuwa_ (machungwa 🎃 au nyeupe 👻).
+
+> Kwa nini tunazungumzia binary classification katika somo kuhusu regression? Ni kwa urahisi wa lugha tu, kwani logistic regression ni [kweli ni mbinu ya classification](https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression), ingawa ni ya msingi wa linear. Jifunze kuhusu njia nyingine za kuainisha data katika kundi la somo linalofuata.
+
+## Eleza swali
+
+Kwa madhumuni yetu, tutasema hili kama binary: 'Nyeupe' au 'Sio Nyeupe'. Pia kuna kundi la 'striped' katika dataset yetu lakini kuna matukio machache tu ya hilo, kwa hivyo hatutalitumia. Linatoweka mara tu tunapoondoa thamani za null kutoka kwa dataset, hata hivyo.
+
+> 🎃 Fun fact, wakati mwingine tunaita malenge nyeupe 'ghost' pumpkins. Hayachongwi kwa urahisi, kwa hivyo hayapendwi kama yale ya machungwa lakini yanaonekana baridi! Kwa hivyo tunaweza pia kuweka upya swali letu kama: 'Ghost' au 'Sio Ghost'. 👻
+
+## Kuhusu logistic regression
+
+Logistic regression inatofautiana na linear regression, ambayo ulijifunza hapo awali, kwa njia kadhaa muhimu.
+
+[](https://youtu.be/KpeCT6nEpBY "ML for beginners - Kuelewa Logistic Regression kwa Machine Learning Classification")
+
+> 🎥 Bofya picha hapo juu kwa muhtasari mfupi wa logistic regression.
+
+### Binary classification
+
+Logistic regression haitoi vipengele sawa na linear regression. Ya kwanza inatoa utabiri kuhusu kundi la binary ("nyeupe au sio nyeupe") ilhali ya pili inaweza kutabiri thamani zinazoendelea, kwa mfano kutokana na asili ya malenge na wakati wa mavuno, _bei yake itapanda kiasi gani_.
+
+
+> Infographic by [Dasani Madipalli](https://twitter.com/dasani_decoded)
+
+### Makundi mengine
+
+Kuna aina nyingine za logistic regression, ikiwa ni pamoja na multinomial na ordinal:
+
+- **Multinomial**, ambayo inahusisha kuwa na zaidi ya kundi moja - "Machungwa, Nyeupe, na Striped".
+- **Ordinal**, ambayo inahusisha makundi yaliyopangwa, muhimu ikiwa tunataka kupanga matokeo yetu kwa mantiki, kama malenge yetu ambayo yamepangwa kwa idadi finyu ya ukubwa (mini,sm,med,lg,xl,xxl).
+
+
+
+### Vigezo HAVIHITAJI kuhusiana
+
+Kumbuka jinsi linear regression ilifanya kazi vizuri zaidi na vigezo vilivyohusiana zaidi? Logistic regression ni kinyume - vigezo havihitaji kuendana. Hiyo inafanya kazi kwa data hii ambayo ina uhusiano dhaifu kiasi.
+
+### Unahitaji data nyingi safi
+
+Logistic regression itatoa matokeo sahihi zaidi ikiwa utatumia data nyingi; dataset yetu ndogo si bora kwa kazi hii, kwa hivyo kumbuka hilo.
+
+[](https://youtu.be/B2X4H9vcXTs "ML for beginners - Uchambuzi wa Data na Maandalizi kwa Logistic Regression")
+
+> 🎥 Bofya picha hapo juu kwa muhtasari mfupi wa kuandaa data kwa linear regression
+
+✅ Fikiria aina za data ambazo zingefaa kwa logistic regression
+
+## Mazoezi - safisha data
+
+Kwanza, safisha data kidogo, ukiondoa thamani za null na kuchagua baadhi tu ya safu:
+
+1. Ongeza msimbo ufuatao:
+
+ ```python
+
+ columns_to_select = ['City Name','Package','Variety', 'Origin','Item Size', 'Color']
+ pumpkins = full_pumpkins.loc[:, columns_to_select]
+
+ pumpkins.dropna(inplace=True)
+ ```
+
+ Unaweza kila wakati kuangalia dataframe yako mpya:
+
+ ```python
+ pumpkins.info
+ ```
+
+### Visualization - categorical plot
+
+Hadi sasa umechaji [starter notebook](../../../../2-Regression/4-Logistic/notebook.ipynb) na data za malenge tena na kuzisafisha ili kuhifadhi dataset inayojumuisha vigezo vichache, ikiwa ni pamoja na `Color`. Wacha tuone dataframe kwenye notebook kwa kutumia maktaba tofauti: [Seaborn](https://seaborn.pydata.org/index.html), ambayo imejengwa juu ya Matplotlib ambayo tulitumia awali.
+
+Seaborn inatoa njia nzuri za kuona data yako. Kwa mfano, unaweza kulinganisha usambazaji wa data kwa kila `Variety` na `Color` katika categorical plot.
+
+1. Unda plot kama hiyo kwa kutumia `catplot` function, using our pumpkin data `pumpkins`, na kubainisha ramani ya rangi kwa kila kundi la malenge (machungwa au nyeupe):
+
+ ```python
+ import seaborn as sns
+
+ palette = {
+ 'ORANGE': 'orange',
+ 'WHITE': 'wheat',
+ }
+
+ sns.catplot(
+ data=pumpkins, y="Variety", hue="Color", kind="count",
+ palette=palette,
+ )
+ ```
+
+ 
+
+ Kwa kuchunguza data, unaweza kuona jinsi data ya Rangi inavyohusiana na Aina.
+
+ ✅ Kwa kuzingatia plot ya kikundi, ni uchunguzi gani wa kuvutia unaweza kufikiria?
+
+### Data pre-processing: feature and label encoding
+Dataset yetu ya malenge ina thamani za string kwa safu zake zote. Kufanya kazi na data ya kikundi ni rahisi kwa wanadamu lakini si kwa mashine. Algorithimu za machine learning hufanya kazi vizuri na nambari. Ndiyo maana encoding ni hatua muhimu sana katika awamu ya pre-processing ya data, kwani inatuwezesha kubadilisha data ya kikundi kuwa data ya nambari, bila kupoteza habari yoyote. Encoding nzuri husababisha kujenga mfano mzuri.
+
+Kwa feature encoding kuna aina mbili kuu za encoders:
+
+1. Ordinal encoder: inafaa vizuri kwa vigezo vya ordinal, ambavyo ni vigezo vya kikundi ambapo data zao zinafuata mpangilio wa kimantiki, kama safu ya `Item Size` katika dataset yetu. Inaunda ramani ili kila kundi liwakilishwe na nambari, ambayo ni mpangilio wa kundi katika safu.
+
+ ```python
+ from sklearn.preprocessing import OrdinalEncoder
+
+ item_size_categories = [['sml', 'med', 'med-lge', 'lge', 'xlge', 'jbo', 'exjbo']]
+ ordinal_features = ['Item Size']
+ ordinal_encoder = OrdinalEncoder(categories=item_size_categories)
+ ```
+
+2. Categorical encoder: inafaa vizuri kwa vigezo vya nominal, ambavyo ni vigezo vya kikundi ambapo data zao hazifuati mpangilio wa kimantiki, kama vipengele vyote tofauti na `Item Size` katika dataset yetu. Ni one-hot encoding, ambayo ina maana kwamba kila kundi linawakilishwa na safu ya binary: kigezo kilichosimbwa ni sawa na 1 ikiwa malenge ni ya Aina hiyo na 0 vinginevyo.
+
+ ```python
+ from sklearn.preprocessing import OneHotEncoder
+
+ categorical_features = ['City Name', 'Package', 'Variety', 'Origin']
+ categorical_encoder = OneHotEncoder(sparse_output=False)
+ ```
+Kisha, `ColumnTransformer` hutumiwa kuchanganya encoders nyingi katika hatua moja na kuzitumia kwenye safu zinazofaa.
+
+```python
+ from sklearn.compose import ColumnTransformer
+
+ ct = ColumnTransformer(transformers=[
+ ('ord', ordinal_encoder, ordinal_features),
+ ('cat', categorical_encoder, categorical_features)
+ ])
+
+ ct.set_output(transform='pandas')
+ encoded_features = ct.fit_transform(pumpkins)
+```
+Kwa upande mwingine, ili kusimba lebo, tunatumia darasa la scikit-learn `LabelEncoder`, ambalo ni darasa la matumizi kusaidia kuboresha lebo ili ziwe na thamani kati ya 0 na n_classes-1 (hapa, 0 na 1).
+
+```python
+ from sklearn.preprocessing import LabelEncoder
+
+ label_encoder = LabelEncoder()
+ encoded_label = label_encoder.fit_transform(pumpkins['Color'])
+```
+Mara tu tunapokuwa tumekodisha vipengele na lebo, tunaweza kuziunganisha katika dataframe mpya `encoded_pumpkins`.
+
+```python
+ encoded_pumpkins = encoded_features.assign(Color=encoded_label)
+```
+✅ Je, ni faida gani za kutumia ordinal encoder kwa `Item Size` column?
+
+### Analyse relationships between variables
+
+Now that we have pre-processed our data, we can analyse the relationships between the features and the label to grasp an idea of how well the model will be able to predict the label given the features.
+The best way to perform this kind of analysis is plotting the data. We'll be using again the Seaborn `catplot` function, to visualize the relationships between `Item Size`, `Variety` na `Color` katika categorical plot. Ili kuchora data vizuri tutatumia `Item Size` column and the unencoded `Variety` iliyosimbwa.
+
+```python
+ palette = {
+ 'ORANGE': 'orange',
+ 'WHITE': 'wheat',
+ }
+ pumpkins['Item Size'] = encoded_pumpkins['ord__Item Size']
+
+ g = sns.catplot(
+ data=pumpkins,
+ x="Item Size", y="Color", row='Variety',
+ kind="box", orient="h",
+ sharex=False, margin_titles=True,
+ height=1.8, aspect=4, palette=palette,
+ )
+ g.set(xlabel="Item Size", ylabel="").set(xlim=(0,6))
+ g.set_titles(row_template="{row_name}")
+```
+
+
+### Tumia swarm plot
+
+Kwa kuwa Rangi ni kundi la binary (Nyeupe au Sio), inahitaji 'njia [maalum](https://seaborn.pydata.org/tutorial/categorical.html?highlight=bar) ya kuiona'. Kuna njia nyingine za kuona uhusiano wa kundi hili na vigezo vingine.
+
+Unaweza kuona vigezo kando kando na plots za Seaborn.
+
+1. Jaribu 'swarm' plot kuonyesha usambazaji wa thamani:
+
+ ```python
+ palette = {
+ 0: 'orange',
+ 1: 'wheat'
+ }
+ sns.swarmplot(x="Color", y="ord__Item Size", data=encoded_pumpkins, palette=palette)
+ ```
+
+ 
+
+**Angalizo**: msimbo hapo juu unaweza kutoa onyo, kwa kuwa seaborn inashindwa kuwakilisha kiasi hicho cha pointi za data katika swarm plot. Suluhisho linalowezekana ni kupunguza ukubwa wa alama, kwa kutumia kipengele cha 'size'. Hata hivyo, kuwa makini kwamba hili linaathiri usomaji wa plot.
+
+> **🧮 Nionyeshe Hisabati**
+>
+> Logistic regression inategemea dhana ya 'maximum likelihood' kwa kutumia [sigmoid functions](https://wikipedia.org/wiki/Sigmoid_function). 'Sigmoid Function' kwenye plot inaonekana kama umbo la 'S'. Inachukua thamani na kuipanga mahali fulani kati ya 0 na 1. Mchoro wake pia unaitwa 'logistic curve'. Mfumo wake unaonekana kama huu:
+>
+> 
+>
+> ambapo sehemu ya kati ya sigmoid inajipata kwenye sehemu ya 0 ya x, L ni thamani ya juu ya curve, na k ni mwinuko wa curve. Ikiwa matokeo ya kazi ni zaidi ya 0.5, lebo husika itapewa darasa '1' la chaguo la binary. Ikiwa sivyo, itatambulishwa kama '0'.
+
+## Jenga mfano wako
+
+Kujenga mfano wa kupata classification ya binary ni rahisi kushangaza katika Scikit-learn.
+
+[](https://youtu.be/MmZS2otPrQ8 "ML for beginners - Logistic Regression kwa classification ya data")
+
+> 🎥 Bofya picha hapo juu kwa muhtasari mfupi wa kujenga mfano wa linear regression
+
+1. Chagua vigezo unavyotaka kutumia katika mfano wako wa classification na gawanya seti za mafunzo na majaribio kwa kuita `train_test_split()`:
+
+ ```python
+ from sklearn.model_selection import train_test_split
+
+ X = encoded_pumpkins[encoded_pumpkins.columns.difference(['Color'])]
+ y = encoded_pumpkins['Color']
+
+ X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+
+ ```
+
+2. Sasa unaweza kufundisha mfano wako, kwa kuita `fit()` na data zako za mafunzo, na kuchapisha matokeo yake:
+
+ ```python
+ from sklearn.metrics import f1_score, classification_report
+ from sklearn.linear_model import LogisticRegression
+
+ model = LogisticRegression()
+ model.fit(X_train, y_train)
+ predictions = model.predict(X_test)
+
+ print(classification_report(y_test, predictions))
+ print('Predicted labels: ', predictions)
+ print('F1-score: ', f1_score(y_test, predictions))
+ ```
+
+ Angalia scoreboard ya mfano wako. Sio mbaya, ukizingatia una karibu safu 1000 tu za data:
+
+ ```output
+ precision recall f1-score support
+
+ 0 0.94 0.98 0.96 166
+ 1 0.85 0.67 0.75 33
+
+ accuracy 0.92 199
+ macro avg 0.89 0.82 0.85 199
+ weighted avg 0.92 0.92 0.92 199
+
+ Predicted labels: [0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 0
+ 0 0 0 0 0 1 0 1 0 0 1 0 0 0 0 0 1 0 1 0 1 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0
+ 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 1 0 0 0 0 0 0 0 1 0
+ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 1 1 0
+ 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1
+ 0 0 0 1 0 0 0 0 0 0 0 0 1 1]
+ F1-score: 0.7457627118644068
+ ```
+
+## Uelewa bora kupitia confusion matrix
+
+Ingawa unaweza kupata ripoti ya scoreboard [terms](https://scikit-learn.org/stable/modules/generated/sklearn.metrics.classification_report.html?highlight=classification_report#sklearn.metrics.classification_report) kwa kuchapisha vipengee hapo juu, unaweza kuelewa mfano wako kwa urahisi zaidi kwa kutumia [confusion matrix](https://scikit-learn.org/stable/modules/model_evaluation.html#confusion-matrix) kusaidia kuelewa jinsi mfano unavyofanya kazi.
+
+> 🎓 '[confusion matrix](https://wikipedia.org/wiki/Confusion_matrix)' (au 'error matrix') ni jedwali linaloonyesha kweli vs. uongo wa positives na negatives za mfano wako, hivyo kupima usahihi wa utabiri.
+
+1. Ili kutumia confusion metrics, piga `confusion_matrix()`:
+
+ ```python
+ from sklearn.metrics import confusion_matrix
+ confusion_matrix(y_test, predictions)
+ ```
+
+ Angalia confusion matrix ya mfano wako:
+
+ ```output
+ array([[162, 4],
+ [ 11, 22]])
+ ```
+
+Katika Scikit-learn, confusion matrices Safu (axis 0) ni lebo halisi na safu (axis 1) ni lebo zilizotabiriwa.
+
+| | 0 | 1 |
+| :---: | :---: | :---: |
+| 0 | TN | FP |
+| 1 | FN | TP |
+
+Nini kinaendelea hapa? Tuseme mfano wetu umeombwa kuainisha malenge kati ya makundi mawili ya binary, kundi 'nyeupe' na kundi 'sio nyeupe'.
+
+- Ikiwa mfano wako unatabiri malenge kama sio nyeupe na inafaa kundi 'sio nyeupe' kwa kweli tunaita hiyo true negative, inayoonyeshwa na nambari ya juu kushoto.
+- Ikiwa mfano wako unatabiri malenge kama nyeupe na inafaa kundi 'sio nyeupe' kwa kweli tunaita hiyo false negative, inayoonyeshwa na nambari ya chini kushoto.
+- Ikiwa mfano wako unatabiri malenge kama sio nyeupe na inafaa kundi 'nyeupe' kwa kweli tunaita hiyo false positive, inayoonyeshwa na nambari ya juu kulia.
+- Ikiwa mfano wako unatabiri malenge kama nyeupe na inafaa kundi 'nyeupe' kwa kweli tunaita hiyo true positive, inayoonyeshwa na nambari ya chini kulia.
+
+Kama unavyoweza kudhani ni bora kuwa na idadi kubwa ya true positives na true negatives na idadi ndogo ya false positives na false negatives, ambayo inaonyesha kuwa mfano unafanya kazi vizuri.
+
+Je, confusion matrix inahusiana vipi na precision na recall? Kumbuka, ripoti ya classification iliyochapishwa hapo juu ilionyesha precision (0.85) na recall (0.67).
+
+Precision = tp / (tp + fp) = 22 / (22 + 4) = 0.8461538461538461
+
+Recall = tp / (tp + fn) = 22 / (22 + 11) = 0.6666666666666666
+
+✅ Q: Kulingana na confusion matrix, mfano ulifanyaje? A: Sio mbaya; kuna idadi nzuri ya true negatives lakini pia kuna false negatives kadhaa.
+
+Wacha tutembelee tena maneno tuliyoyaona awali kwa msaada wa ramani ya TP/TN na FP/FN ya confusion matrix:
+
+🎓 Precision: TP/(TP + FP) Sehemu ya matukio muhimu kati ya matukio yaliyopatikana (mfano ni lebo zipi zilizoainishwa vizuri)
+
+🎓 Recall: TP/(TP + FN) Sehemu ya matukio muhimu yaliyopatikana, iwe yameainishwa vizuri au la
+
+🎓 f1-score: (2 * precision * recall)/(precision + recall) Wastani wa uzito wa precision na recall, bora ikiwa 1 na mbaya ikiwa 0
+
+🎓 Support: Idadi ya matukio ya kila lebo yaliyopatikana
+
+🎓 Accuracy: (TP + TN)/(TP + TN + FP + FN) Asilimia ya lebo zilizotabiriwa kwa usahihi kwa sampuli.
+
+🎓 Macro Avg: Hesabu ya wastani wa uzito wa metrics kwa kila lebo, bila kuzingatia kutofautiana kwa lebo.
+
+🎓 Weighted Avg: Hesabu ya wastani wa metrics kwa kila lebo, kwa kuzingatia kutofautiana kwa lebo kwa kuzipima kwa support zao (idadi ya matukio ya kweli kwa kila lebo).
+
+✅ Unaweza kufikiria ni kipimo gani unapaswa kuangalia ikiwa unataka mfano wako kupunguza idadi ya false negatives?
+
+## Onyesha ROC curve ya mfano huu
+
+[](https://youtu.be/GApO575jTA0 "ML for beginners - Kuchambua Utendaji wa Logistic Regression na ROC Curves")
+
+> 🎥 Bofya picha hapo juu kwa muhtasari mfupi wa ROC curves
+
+Wacha tufanye visualization moja zaidi kuona kinachoitwa 'ROC' curve:
+
+```python
+from sklearn.metrics import roc_curve, roc_auc_score
+import matplotlib
+import matplotlib.pyplot as plt
+%matplotlib inline
+
+y_scores = model.predict_proba(X_test)
+fpr, tpr, thresholds = roc_curve(y_test, y_scores[:,1])
+
+fig = plt.figure(figsize=(6, 6))
+plt.plot([0, 1], [0, 1], 'k--')
+plt.plot(fpr, tpr)
+plt.xlabel('False Positive Rate')
+plt.ylabel('True Positive Rate')
+plt.title('ROC Curve')
+plt.show()
+```
+
+Kwa kutumia Matplotlib, chora [Receiving Operating Characteristic](https://scikit-learn.org/stable/auto_examples/model_selection/plot_roc.html?highlight=roc) au ROC ya mfano. ROC curves mara nyingi hutumiwa kupata mtazamo wa matokeo ya classifier kwa upande wa true vs. false positives. "ROC curves kawaida huonyesha true positive rate kwenye mhimili wa Y, na false positive rate kwenye mhimili wa X." Kwa hivyo, mwinuko wa curve na nafasi kati ya mstari wa kati na curve ni muhimu: unataka curve ambayo inaelekea juu na juu ya mstari haraka. Katika kesi yetu, kuna false positives kuanza na, na kisha mstari unaelekea juu na juu ipasavyo:
+
+
+
+Hatimaye, tumia [`roc_auc_score` API](https://scikit-learn.org/stable/modules/generated/sklearn.metrics.roc_auc_score.html?highlight=roc_auc#sklearn.metrics.roc_auc_score) ya Scikit-learn kuhesabu 'Area Under the Curve' (AUC):
+
+```python
+auc = roc_auc_score(y_test,y_scores[:,1])
+print(auc)
+```
+Matokeo ni `0.9749908725812341`. Kwa kuwa AUC inatoka
+
+**Kanusho**:
+Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokamilika. Hati asili katika lugha yake ya asili inapaswa kuzingatiwa kama chanzo cha mamlaka. Kwa habari muhimu, tafsiri ya kitaalamu ya binadamu inapendekezwa. Hatutawajibika kwa maelewano au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii.
\ No newline at end of file
diff --git a/translations/sw/2-Regression/4-Logistic/assignment.md b/translations/sw/2-Regression/4-Logistic/assignment.md
new file mode 100644
index 000000000..4fa89565e
--- /dev/null
+++ b/translations/sw/2-Regression/4-Logistic/assignment.md
@@ -0,0 +1,13 @@
+# Kurudia Ujirani
+
+## Maelekezo
+
+Katika somo, ulitumia sehemu ndogo ya data ya maboga. Sasa, rudi kwenye data ya asili na ujaribu kutumia yote, iliyosafishwa na kuwekwa viwango, kujenga mfano wa Logistic Regression.
+## Rubric
+
+| Kigezo | Bora Zaidi | Inayotosheleza | Inayohitaji Kuboresha |
+| ------- | ---------------------------------------------------------------------- | ---------------------------------------------------------- | ---------------------------------------------------------- |
+| | Daftari linaoneshwa na mfano ulioelezwa vizuri na kufanya kazi vizuri | Daftari linaoneshwa na mfano unaofanya kazi kwa kiwango cha chini | Daftari linaoneshwa na mfano usiofanya kazi vizuri au hakuna |
+
+**Kanusho**:
+Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kwamba tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwa sahihi. Hati asili katika lugha yake ya asili inapaswa kuzingatiwa kama chanzo cha mamlaka. Kwa taarifa muhimu, inashauriwa kutumia tafsiri ya kitaalamu ya kibinadamu. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii.
\ No newline at end of file
diff --git a/translations/sw/2-Regression/4-Logistic/solution/Julia/README.md b/translations/sw/2-Regression/4-Logistic/solution/Julia/README.md
new file mode 100644
index 000000000..27c2c0510
--- /dev/null
+++ b/translations/sw/2-Regression/4-Logistic/solution/Julia/README.md
@@ -0,0 +1,4 @@
+
+
+**Kanusho**:
+Hati hii imetafsiriwa kwa kutumia huduma za kutafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kwamba tafsiri za kiotomatiki zinaweza kuwa na makosa au dosari. Hati ya asili katika lugha yake ya asili inapaswa kuzingatiwa kama chanzo cha mamlaka. Kwa taarifa muhimu, tafsiri ya kitaalamu ya kibinadamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri potofu zinazotokana na matumizi ya tafsiri hii.
\ No newline at end of file
diff --git a/translations/sw/2-Regression/README.md b/translations/sw/2-Regression/README.md
new file mode 100644
index 000000000..75a6ce155
--- /dev/null
+++ b/translations/sw/2-Regression/README.md
@@ -0,0 +1,43 @@
+# Mifano ya urejeleaji kwa ajili ya kujifunza mashine
+## Mada ya kieneo: Mifano ya urejeleaji kwa bei za maboga Amerika Kaskazini 🎃
+
+Katika Amerika Kaskazini, maboga mara nyingi hukatwa na kufanywa nyuso za kutisha kwa ajili ya Halloween. Hebu tujifunze zaidi kuhusu mboga hizi za kuvutia!
+
+
+> Picha na Beth Teutschmann kwenye Unsplash
+
+## Kile utakachojifunza
+
+[](https://youtu.be/5QnJtDad4iQ "Regression Introduction video - Click to Watch!")
+> 🎥 Bofya picha hapo juu kwa video ya utangulizi wa haraka kwa somo hili
+
+Masomo katika sehemu hii yanashughulikia aina za urejeleaji katika muktadha wa kujifunza mashine. Mifano ya urejeleaji inaweza kusaidia kubaini _uhusiano_ kati ya vigezo. Aina hii ya mfano inaweza kutabiri thamani kama urefu, joto, au umri, hivyo kufichua uhusiano kati ya vigezo inapochambua data.
+
+Katika mfululizo huu wa masomo, utagundua tofauti kati ya urejeleaji wa mstari na urejeleaji wa kimantiki, na wakati gani unapaswa kupendelea moja juu ya nyingine.
+
+[](https://youtu.be/XA3OaoW86R8 "ML for beginners - Introduction to Regression models for Machine Learning")
+
+> 🎥 Bofya picha hapo juu kwa video fupi ya utangulizi wa mifano ya urejeleaji.
+
+Katika kundi hili la masomo, utaandaliwa kuanza kazi za kujifunza mashine, ikiwa ni pamoja na kusanidi Visual Studio Code kusimamia vitabu, mazingira ya kawaida kwa wanasayansi wa data. Utagundua Scikit-learn, maktaba kwa ajili ya kujifunza mashine, na utajenga mifano yako ya kwanza, ukilenga mifano ya urejeleaji katika sura hii.
+
+> Kuna zana muhimu za chini ya msimbo ambazo zinaweza kukusaidia kujifunza kuhusu kufanya kazi na mifano ya urejeleaji. Jaribu [Azure ML kwa kazi hii](https://docs.microsoft.com/learn/modules/create-regression-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott)
+
+### Masomo
+
+1. [Zana za biashara](1-Tools/README.md)
+2. [Usimamizi wa data](2-Data/README.md)
+3. [Urejeleaji wa mstari na polinomiali](3-Linear/README.md)
+4. [Urejeleaji wa kimantiki](4-Logistic/README.md)
+
+---
+### Shukrani
+
+"ML na urejeleaji" iliandikwa kwa ♥️ na [Jen Looper](https://twitter.com/jenlooper)
+
+♥️ Wanaochangia maswali ni pamoja na: [Muhammad Sakib Khan Inan](https://twitter.com/Sakibinan) na [Ornella Altunyan](https://twitter.com/ornelladotcom)
+
+Seti ya data ya maboga imependekezwa na [mradi huu kwenye Kaggle](https://www.kaggle.com/usda/a-year-of-pumpkin-prices) na data yake inatoka [Ripoti za Kawaida za Masoko ya Mazao Maalum](https://www.marketnews.usda.gov/mnp/fv-report-config-step1?type=termPrice) zinazotolewa na Idara ya Kilimo ya Marekani. Tumeongeza baadhi ya pointi kuhusu rangi kulingana na aina ili kusawazisha usambazaji. Data hii ipo katika umma.
+
+**Kanusho**:
+Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI zinazotegemea mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au upotofu. Hati asilia katika lugha yake ya asili inapaswa kuchukuliwa kuwa chanzo chenye mamlaka. Kwa taarifa muhimu, tafsiri ya kitaalamu ya kibinadamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri potofu zinazotokana na matumizi ya tafsiri hii.
\ No newline at end of file
diff --git a/translations/sw/3-Web-App/1-Web-App/README.md b/translations/sw/3-Web-App/1-Web-App/README.md
new file mode 100644
index 000000000..e36b73668
--- /dev/null
+++ b/translations/sw/3-Web-App/1-Web-App/README.md
@@ -0,0 +1,348 @@
+# Jenga Tovuti Kutumia Mfano wa ML
+
+Katika somo hili, utafundisha mfano wa ML kwenye seti ya data ambayo ni ya kipekee: _matukio ya UFO katika karne iliyopita_, iliyotolewa kutoka kwenye hifadhidata ya NUFORC.
+
+Utajifunza:
+
+- Jinsi ya 'pickle' mfano uliyo fundishwa
+- Jinsi ya kutumia mfano huo katika programu ya Flask
+
+Tutaendelea kutumia daftari za maelezo kusafisha data na kufundisha mfano wetu, lakini unaweza kuchukua hatua moja zaidi kwa kuchunguza kutumia mfano 'katika mazingira halisi', kwa maneno mengine: katika programu ya wavuti.
+
+Ili kufanya hivi, unahitaji kujenga programu ya wavuti kwa kutumia Flask.
+
+## [Jaribio la kabla ya somo](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/17/)
+
+## Kujenga programu
+
+Kuna njia kadhaa za kujenga programu za wavuti ili kutumia mifano ya kujifunza mashine. Muundo wako wa wavuti unaweza kuathiri jinsi mfano wako unavyofundishwa. Fikiria kuwa unafanya kazi katika biashara ambapo kikundi cha sayansi ya data kimefundisha mfano ambao wanataka utumie katika programu.
+
+### Mambo ya Kuzingatia
+
+Kuna maswali mengi unayohitaji kuuliza:
+
+- **Je, ni programu ya wavuti au programu ya simu?** Ikiwa unajenga programu ya simu au unahitaji kutumia mfano katika muktadha wa IoT, unaweza kutumia [TensorFlow Lite](https://www.tensorflow.org/lite/) na kutumia mfano katika programu ya Android au iOS.
+- **Mfano utakuwa wapi?** Katika wingu au ndani ya nchi?
+- **Msaada wa nje ya mtandao.** Je, programu inahitaji kufanya kazi nje ya mtandao?
+- **Teknolojia gani ilitumika kufundisha mfano?** Teknolojia iliyochaguliwa inaweza kuathiri zana unazohitaji kutumia.
+ - **Kutumia TensorFlow.** Ikiwa unafundisha mfano kwa kutumia TensorFlow, kwa mfano, mfumo huo unatoa uwezo wa kubadilisha mfano wa TensorFlow kwa matumizi katika programu ya wavuti kwa kutumia [TensorFlow.js](https://www.tensorflow.org/js/).
+ - **Kutumia PyTorch.** Ikiwa unajenga mfano kwa kutumia maktaba kama [PyTorch](https://pytorch.org/), una chaguo la kuuza nje katika muundo wa [ONNX](https://onnx.ai/) (Open Neural Network Exchange) kwa matumizi katika programu za wavuti za JavaScript zinazoweza kutumia [Onnx Runtime](https://www.onnxruntime.ai/). Chaguo hili litachunguzwa katika somo la baadaye kwa mfano uliofundishwa na Scikit-learn.
+ - **Kutumia Lobe.ai au Azure Custom Vision.** Ikiwa unatumia mfumo wa ML SaaS (Software as a Service) kama [Lobe.ai](https://lobe.ai/) au [Azure Custom Vision](https://azure.microsoft.com/services/cognitive-services/custom-vision-service/?WT.mc_id=academic-77952-leestott) kufundisha mfano, aina hii ya programu inatoa njia za kuuza nje mfano kwa majukwaa mengi, ikiwa ni pamoja na kujenga API maalum ya kuulizwa katika wingu na programu yako ya mtandaoni.
+
+Pia una nafasi ya kujenga programu kamili ya wavuti ya Flask ambayo ingeweza kufundisha mfano yenyewe katika kivinjari cha wavuti. Hii inaweza pia kufanywa kwa kutumia TensorFlow.js katika muktadha wa JavaScript.
+
+Kwa madhumuni yetu, kwa kuwa tumekuwa tukifanya kazi na daftari za maelezo za msingi wa Python, hebu tuchunguze hatua unazohitaji kuchukua ili kuuza nje mfano uliofundishwa kutoka daftari kama hilo kwa muundo unaosomeka na programu ya wavuti iliyojengwa kwa Python.
+
+## Zana
+
+Kwa kazi hii, unahitaji zana mbili: Flask na Pickle, zote zinaendesha kwenye Python.
+
+✅ Flask ni nini? [Flask](https://palletsprojects.com/p/flask/) ni mfumo wa 'micro-framework' kama ulivyoelezwa na waumbaji wake, Flask hutoa vipengele vya msingi vya mifumo ya wavuti kwa kutumia Python na injini ya templating kujenga kurasa za wavuti. Angalia [moduli hii ya kujifunza](https://docs.microsoft.com/learn/modules/python-flask-build-ai-web-app?WT.mc_id=academic-77952-leestott) ili kufanya mazoezi ya kujenga na Flask.
+
+✅ Pickle ni nini? [Pickle](https://docs.python.org/3/library/pickle.html) 🥒 ni moduli ya Python inayosarifu na kufungua muundo wa kitu cha Python. Unapofanya 'pickle' mfano, unasarifu au kupanua muundo wake kwa matumizi kwenye wavuti. Kuwa mwangalifu: pickle sio salama kiasili, kwa hivyo kuwa mwangalifu ikiwa umeombwa kufungua faili iliyofunguliwa kwa pickle. Faili iliyofunguliwa kwa pickle ina kiambishi cha `.pkl`.
+
+## Zoezi - safisha data yako
+
+Katika somo hili utatumia data kutoka kwa matukio 80,000 ya UFO, yaliyokusanywa na [NUFORC](https://nuforc.org) (Kituo cha Kitaifa cha Kuripoti UFO). Data hii ina maelezo ya kuvutia ya matukio ya UFO, kwa mfano:
+
+- **Maelezo marefu ya mfano.** "Mtu anatoka kwenye mwanga unaong'aa kwenye uwanja wa nyasi usiku na anakimbia kuelekea kwenye maegesho ya Texas Instruments".
+- **Maelezo mafupi ya mfano.** "taa zilituandama".
+
+Faili ya [ufos.csv](../../../../3-Web-App/1-Web-App/data/ufos.csv) inajumuisha safu kuhusu `city`, `state` na `country` ambapo tukio lilitokea, `shape` ya kitu na `latitude` na `longitude`.
+
+Katika [daftari](../../../../3-Web-App/1-Web-App/notebook.ipynb) lililojumuishwa katika somo hili:
+
+1. ingiza `pandas`, `matplotlib`, na `numpy` kama ulivyofanya katika masomo yaliyopita na ingiza faili ya ufos. Unaweza kuangalia seti ya data ya sampuli:
+
+ ```python
+ import pandas as pd
+ import numpy as np
+
+ ufos = pd.read_csv('./data/ufos.csv')
+ ufos.head()
+ ```
+
+1. Badilisha data ya ufos kuwa dataframe ndogo na vichwa vipya. Angalia maadili ya kipekee katika uwanja wa `Country`.
+
+ ```python
+ ufos = pd.DataFrame({'Seconds': ufos['duration (seconds)'], 'Country': ufos['country'],'Latitude': ufos['latitude'],'Longitude': ufos['longitude']})
+
+ ufos.Country.unique()
+ ```
+
+1. Sasa, unaweza kupunguza kiasi cha data tunachohitaji kushughulika nacho kwa kuondoa maadili yoyote ya null na kuingiza tu matukio kati ya sekunde 1-60:
+
+ ```python
+ ufos.dropna(inplace=True)
+
+ ufos = ufos[(ufos['Seconds'] >= 1) & (ufos['Seconds'] <= 60)]
+
+ ufos.info()
+ ```
+
+1. Ingiza maktaba ya `LabelEncoder` ya Scikit-learn ili kubadilisha maadili ya maandishi kwa nchi kuwa namba:
+
+ ✅ LabelEncoder inasimbua data kwa alfabeti
+
+ ```python
+ from sklearn.preprocessing import LabelEncoder
+
+ ufos['Country'] = LabelEncoder().fit_transform(ufos['Country'])
+
+ ufos.head()
+ ```
+
+ Data yako inapaswa kuonekana kama hii:
+
+ ```output
+ Seconds Country Latitude Longitude
+ 2 20.0 3 53.200000 -2.916667
+ 3 20.0 4 28.978333 -96.645833
+ 14 30.0 4 35.823889 -80.253611
+ 23 60.0 4 45.582778 -122.352222
+ 24 3.0 3 51.783333 -0.783333
+ ```
+
+## Zoezi - jenga mfano wako
+
+Sasa unaweza kujiandaa kufundisha mfano kwa kugawanya data katika kikundi cha mafunzo na majaribio.
+
+1. Chagua vipengele vitatu unavyotaka kufundisha kama vector yako ya X, na vector ya y itakuwa `Country`. You want to be able to input `Seconds`, `Latitude` and `Longitude` na pata kitambulisho cha nchi kurudisha.
+
+ ```python
+ from sklearn.model_selection import train_test_split
+
+ Selected_features = ['Seconds','Latitude','Longitude']
+
+ X = ufos[Selected_features]
+ y = ufos['Country']
+
+ X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+ ```
+
+1. Fundisha mfano wako kwa kutumia regression ya logistic:
+
+ ```python
+ from sklearn.metrics import accuracy_score, classification_report
+ from sklearn.linear_model import LogisticRegression
+ model = LogisticRegression()
+ model.fit(X_train, y_train)
+ predictions = model.predict(X_test)
+
+ print(classification_report(y_test, predictions))
+ print('Predicted labels: ', predictions)
+ print('Accuracy: ', accuracy_score(y_test, predictions))
+ ```
+
+Usahihi sio mbaya **(karibu 95%)**, bila kushangaza, kama `Country` and `Latitude/Longitude` correlate.
+
+The model you created isn't very revolutionary as you should be able to infer a `Country` from its `Latitude` and `Longitude`, lakini ni zoezi nzuri kujaribu kufundisha kutoka kwa data mbichi uliyoisafisha, kuiuza nje, na kisha kutumia mfano huu katika programu ya wavuti.
+
+## Zoezi - 'pickle' mfano wako
+
+Sasa, ni wakati wa _pickle_ mfano wako! Unaweza kufanya hivyo kwa mistari michache ya msimbo. Mara tu unapofanya _pickle_, pakia mfano wako uliopickle na ujaribu dhidi ya safu ya data ya sampuli iliyo na maadili ya sekunde, latitudo na longitudo,
+
+```python
+import pickle
+model_filename = 'ufo-model.pkl'
+pickle.dump(model, open(model_filename,'wb'))
+
+model = pickle.load(open('ufo-model.pkl','rb'))
+print(model.predict([[50,44,-12]]))
+```
+
+Mfano unarudisha **'3'**, ambayo ni nambari ya nchi kwa Uingereza. Ajabu! 👽
+
+## Zoezi - jenga programu ya Flask
+
+Sasa unaweza kujenga programu ya Flask ili kuita mfano wako na kurudisha matokeo sawa, lakini kwa njia ya kuvutia zaidi.
+
+1. Anza kwa kuunda folda inayoitwa **web-app** karibu na faili ya _notebook.ipynb_ ambapo faili yako ya _ufo-model.pkl_ ipo.
+
+1. Katika folda hiyo unda folda nyingine tatu: **static**, yenye folda **css** ndani yake, na **templates**. Sasa unapaswa kuwa na faili na saraka zifuatazo:
+
+ ```output
+ web-app/
+ static/
+ css/
+ templates/
+ notebook.ipynb
+ ufo-model.pkl
+ ```
+
+ ✅ Rejelea folda ya suluhisho kwa mtazamo wa programu iliyokamilika
+
+1. Faili ya kwanza kuunda katika folda ya _web-app_ ni faili ya **requirements.txt**. Kama _package.json_ katika programu ya JavaScript, faili hii inataja utegemezi unaohitajika na programu. Katika **requirements.txt** ongeza mistari:
+
+ ```text
+ scikit-learn
+ pandas
+ numpy
+ flask
+ ```
+
+1. Sasa, endesha faili hii kwa kuvinjari kwenye _web-app_:
+
+ ```bash
+ cd web-app
+ ```
+
+1. Katika terminal yako andika `pip install`, ili kusakinisha maktaba zilizoorodheshwa katika _requirements.txt_:
+
+ ```bash
+ pip install -r requirements.txt
+ ```
+
+1. Sasa, uko tayari kuunda faili tatu zaidi kumaliza programu:
+
+ 1. Unda **app.py** katika mzizi.
+ 2. Unda **index.html** katika saraka ya _templates_.
+ 3. Unda **styles.css** katika saraka ya _static/css_.
+
+1. Jenga faili ya _styles.css_ na mitindo michache:
+
+ ```css
+ body {
+ width: 100%;
+ height: 100%;
+ font-family: 'Helvetica';
+ background: black;
+ color: #fff;
+ text-align: center;
+ letter-spacing: 1.4px;
+ font-size: 30px;
+ }
+
+ input {
+ min-width: 150px;
+ }
+
+ .grid {
+ width: 300px;
+ border: 1px solid #2d2d2d;
+ display: grid;
+ justify-content: center;
+ margin: 20px auto;
+ }
+
+ .box {
+ color: #fff;
+ background: #2d2d2d;
+ padding: 12px;
+ display: inline-block;
+ }
+ ```
+
+1. Kisha, jenga faili ya _index.html_:
+
+ ```html
+
+
+
+
+ 🛸 UFO Appearance Prediction! 👽 + + + + ++ ++ + + + ``` + + Angalia templating katika faili hii. Kumbuka sintaksia ya 'mustache' kuzunguka mabadiliko ambayo yatatolewa na programu, kama maandishi ya utabiri: `{{}}`. There's also a form that posts a prediction to the `/predict` route. + + Finally, you're ready to build the python file that drives the consumption of the model and the display of predictions: + +1. In `app.py` ongeza: + + ```python + import numpy as np + from flask import Flask, request, render_template + import pickle + + app = Flask(__name__) + + model = pickle.load(open("./ufo-model.pkl", "rb")) + + + @app.route("/") + def home(): + return render_template("index.html") + + + @app.route("/predict", methods=["POST"]) + def predict(): + + int_features = [int(x) for x in request.form.values()] + final_features = [np.array(int_features)] + prediction = model.predict(final_features) + + output = prediction[0] + + countries = ["Australia", "Canada", "Germany", "UK", "US"] + + return render_template( + "index.html", prediction_text="Likely country: {}".format(countries[output]) + ) + + + if __name__ == "__main__": + app.run(debug=True) + ``` + + > 💡 Kidokezo: unapoongeza [`debug=True`](https://www.askpython.com/python-modules/flask/flask-debug-mode) while running the web app using Flask, any changes you make to your application will be reflected immediately without the need to restart the server. Beware! Don't enable this mode in a production app. + +If you run `python app.py` or `python3 app.py` - your web server starts up, locally, and you can fill out a short form to get an answer to your burning question about where UFOs have been sighted! + +Before doing that, take a look at the parts of `app.py`: + +1. First, dependencies are loaded and the app starts. +1. Then, the model is imported. +1. Then, index.html is rendered on the home route. + +On the `/predict` route, several things happen when the form is posted: + +1. The form variables are gathered and converted to a numpy array. They are then sent to the model and a prediction is returned. +2. The Countries that we want displayed are re-rendered as readable text from their predicted country code, and that value is sent back to index.html to be rendered in the template. + +Using a model this way, with Flask and a pickled model, is relatively straightforward. The hardest thing is to understand what shape the data is that must be sent to the model to get a prediction. That all depends on how the model was trained. This one has three data points to be input in order to get a prediction. + +In a professional setting, you can see how good communication is necessary between the folks who train the model and those who consume it in a web or mobile app. In our case, it's only one person, you! + +--- + +## 🚀 Challenge + +Instead of working in a notebook and importing the model to the Flask app, you could train the model right within the Flask app! Try converting your Python code in the notebook, perhaps after your data is cleaned, to train the model from within the app on a route called `train`. Je, ni faida na hasara gani za kufuata njia hii? + +## [Jaribio la baada ya somo](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/18/) + +## Mapitio & Kujisomea + +Kuna njia nyingi za kujenga programu ya wavuti ili kutumia mifano ya ML. Fanya orodha ya njia ambazo unaweza kutumia JavaScript au Python kujenga programu ya wavuti ili kutumia kujifunza mashine. Fikiria muundo: je, mfano unabaki katika programu au unaishi katika wingu? Ikiwa ni la pili, utaupataje? Chora muundo wa kimuundo kwa suluhisho la wavuti linalotumia ML. + +## Kazi + +[Jaribu mfano tofauti](assignment.md) + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kwamba tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwa sahihi. Hati asilia katika lugha yake ya asili inapaswa kuzingatiwa kama chanzo cha mamlaka. Kwa taarifa muhimu, inashauriwa kutumia tafsiri ya kibinadamu ya kitaalamu. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/3-Web-App/1-Web-App/assignment.md b/translations/sw/3-Web-App/1-Web-App/assignment.md new file mode 100644 index 000000000..a4451ffe8 --- /dev/null +++ b/translations/sw/3-Web-App/1-Web-App/assignment.md @@ -0,0 +1,14 @@ +# Jaribu mfano tofauti + +## Maelekezo + +Sasa kwa kuwa umeunda programu ya wavuti ukitumia mfano wa Regression uliyojifunza, tumia moja ya mifano kutoka kwenye somo la Regression la awali ili kurekebisha programu hii ya wavuti. Unaweza kubaki na mtindo huo au kuibuni kwa njia tofauti ili kuakisi data za malenge. Kuwa makini kubadilisha pembejeo ili kuakisi njia ya mafunzo ya mfano wako. + +## Rubric + +| Kigezo | Bora | Inatosha | Inahitaji Kuboresha | +| -------------------------- | ------------------------------------------------------- | --------------------------------------------------------- | --------------------------------------- | +| | Programu ya wavuti inafanya kazi kama inavyotarajiwa na imewekwa kwenye wingu | Programu ya wavuti ina kasoro au inaonyesha matokeo yasiyotarajiwa | Programu ya wavuti haifanyi kazi ipasavyo | + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI zinazotumia mashine. Ingawa tunajitahidi kupata usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwa sahihi. Hati ya asili katika lugha yake ya awali inapaswa kuzingatiwa kama chanzo cha mamlaka. Kwa habari muhimu, tafsiri ya kitaalamu ya kibinadamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/3-Web-App/README.md b/translations/sw/3-Web-App/README.md new file mode 100644 index 000000000..3c8947616 --- /dev/null +++ b/translations/sw/3-Web-App/README.md @@ -0,0 +1,24 @@ +# Jenga programu ya wavuti kutumia mfano wako wa ML + +Katika sehemu hii ya mtaala, utajifunza mada ya ML inayotumika: jinsi ya kuhifadhi mfano wako wa Scikit-learn kama faili inayoweza kutumika kutoa utabiri ndani ya programu ya wavuti. Mara baada ya kuhifadhi mfano, utajifunza jinsi ya kuutumia katika programu ya wavuti iliyojengwa kwa kutumia Flask. Kwanza utaunda mfano ukitumia data fulani inayohusu matukio ya kuona UFO! Kisha, utajenga programu ya wavuti itakayokuruhusu kuingiza idadi ya sekunde pamoja na thamani ya latitudo na longitudo ili kutabiri ni nchi gani iliyoripoti kuona UFO. + + + +Picha na Michael Herren kwenye Unsplash + +## Masomo + +1. [Jenga Programu ya Wavuti](1-Web-App/README.md) + +## Shukrani + +"Jenga Programu ya Wavuti" iliandikwa kwa ♥️ na [Jen Looper](https://twitter.com/jenlooper). + +♥️ Maswali ya mazoezi yaliandikwa na Rohan Raj. + +Seti ya data imetolewa kutoka [Kaggle](https://www.kaggle.com/NUFORC/ufo-sightings). + +Miundombinu ya programu ya wavuti ilipendekezwa kwa sehemu na [makala hii](https://towardsdatascience.com/how-to-easily-deploy-machine-learning-models-using-flask-b95af8fe34d4) na [repo hii](https://github.com/abhinavsagar/machine-learning-deployment) na Abhinav Sagar. + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI zinazotumia mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwa sahihi. Hati asili katika lugha yake ya asili inapaswa kuzingatiwa kama chanzo chenye mamlaka. Kwa taarifa muhimu, tafsiri ya kibinadamu ya kitaalamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/4-Classification/1-Introduction/README.md b/translations/sw/4-Classification/1-Introduction/README.md new file mode 100644 index 000000000..10b66e587 --- /dev/null +++ b/translations/sw/4-Classification/1-Introduction/README.md @@ -0,0 +1,302 @@ +# Utangulizi wa Uainishaji + +Katika masomo haya manne, utachunguza mwelekeo wa msingi wa ujifunzaji wa mashine wa kawaida - _uainishaji_. Tutapitia kutumia algorithimu mbalimbali za uainishaji na seti ya data kuhusu vyakula vyote bora vya Asia na India. Tunatumaini una njaa! + + + +> Sherehekea vyakula vya pan-Asia katika masomo haya! Picha na [Jen Looper](https://twitter.com/jenlooper) + +Uainishaji ni aina ya [ujifunzaji unaosimamiwa](https://wikipedia.org/wiki/Supervised_learning) ambao una mambo mengi yanayofanana na mbinu za urejeleaji. Ikiwa ujifunzaji wa mashine ni kuhusu kutabiri thamani au majina ya vitu kwa kutumia seti za data, basi uainishaji kwa ujumla unagawanyika katika makundi mawili: _uainishaji wa binary_ na _uainishaji wa makundi mengi_. + +[](https://youtu.be/eg8DJYwdMyg "Introduction to classification") + +> 🎥 Bofya picha hapo juu kwa video: John Guttag wa MIT anatambulisha uainishaji + +Kumbuka: + +- **Urejeleaji wa mstari** ulikusaidia kutabiri uhusiano kati ya vigezo na kufanya utabiri sahihi kuhusu mahali ambapo kipengele kipya kingeangukia katika uhusiano na mstari huo. Kwa hivyo, ungeweza kutabiri _bei ya boga itakuwa kiasi gani mwezi wa Septemba vs. Desemba_, kwa mfano. +- **Urejeleaji wa logisitiki** ulikusaidia kugundua "makundi mawili": kwa bei hii, _je, boga hili ni la rangi ya machungwa au si la machungwa_? + +Uainishaji hutumia algorithimu mbalimbali kuamua njia zingine za kuamua lebo au darasa la kipengele cha data. Hebu tufanye kazi na data hii ya vyakula ili kuona kama, kwa kuangalia kikundi cha viungo, tunaweza kuamua asili ya vyakula hivyo. + +## [Jaribio la kabla ya somo](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/19/) + +> ### [Somo hili linapatikana katika R!](../../../../4-Classification/1-Introduction/solution/R/lesson_10.html) + +### Utangulizi + +Uainishaji ni mojawapo ya shughuli za msingi za mtafiti wa ujifunzaji wa mashine na mwanasayansi wa data. Kutoka uainishaji wa msingi wa thamani ya binary ("je, barua pepe hii ni spam au si spam?"), hadi uainishaji na ugawaji wa picha tata kwa kutumia maono ya kompyuta, daima ni muhimu kuweza kupanga data katika madarasa na kuuliza maswali kuihusu. + +Kueleza mchakato kwa njia ya kisayansi zaidi, mbinu yako ya uainishaji inaunda mfano wa utabiri unaokuwezesha kuonyesha uhusiano kati ya vigezo vya ingizo na vigezo vya pato. + + + +> Masuala ya binary vs. multiclass kwa algorithimu za uainishaji kushughulikia. Picha na [Jen Looper](https://twitter.com/jenlooper) + +Kabla ya kuanza mchakato wa kusafisha data yetu, kuiona, na kuiandaa kwa kazi zetu za ML, hebu tujifunze kidogo kuhusu njia mbalimbali ambazo ujifunzaji wa mashine unaweza kutumika kuainisha data. + +Iliyotokana na [takwimu](https://wikipedia.org/wiki/Statistical_classification), uainishaji kwa kutumia ujifunzaji wa mashine wa kawaida hutumia sifa, kama vile `smoker`, `weight`, na `age` kuamua _uwezekano wa kupata X ugonjwa_. Kama mbinu ya ujifunzaji unaosimamiwa inayofanana na mazoezi ya urejeleaji uliyofanya awali, data yako imewekwa lebo na algorithimu za ML hutumia lebo hizo kuainisha na kutabiri madarasa (au 'sifa') za seti ya data na kuyapeleka kwenye kikundi au matokeo. + +✅ Chukua muda kufikiria seti ya data kuhusu vyakula. Mfano wa multiclass ungeweza kujibu nini? Mfano wa binary ungeweza kujibu nini? Je, ungependa kuamua kama chakula fulani kina uwezekano wa kutumia fenugreek? Je, ungependa kuona kama, ukipewa mfuko wa mboga uliojaa nyota ya anise, artichokes, cauliflower, na horseradish, ungeweza kuunda sahani ya kawaida ya Kihindi? + +[](https://youtu.be/GuTeDbaNoEU "Crazy mystery baskets") + +> 🎥 Bofya picha hapo juu kwa video. Wazo kuu la kipindi 'Chopped' ni 'kikapu cha siri' ambapo wapishi wanapaswa kutengeneza sahani kutoka kwenye uchaguzi wa viungo vya bahati nasibu. Bila shaka mfano wa ML ungeweza kusaidia! + +## Halo 'classifier' + +Swali tunalotaka kuuliza kuhusu seti hii ya data ya vyakula ni swali la **multiclass**, kwani tuna vyakula vingi vya kitaifa vya kufanya kazi navyo. Tukipewa kundi la viungo, ni darasa gani kati ya haya mengi data itafaa? + +Scikit-learn inatoa algorithimu tofauti za kutumia kuainisha data, kulingana na aina ya tatizo unalotaka kutatua. Katika masomo mawili yajayo, utajifunza kuhusu baadhi ya algorithimu hizi. + +## Zoezi - safisha na usawazishe data yako + +Kazi ya kwanza, kabla ya kuanza mradi huu, ni kusafisha na **kusawazisha** data yako ili kupata matokeo bora. Anza na faili tupu _notebook.ipynb_ katika mzizi wa folda hii. + +Kitu cha kwanza kufunga ni [imblearn](https://imbalanced-learn.org/stable/). Hii ni kifurushi cha Scikit-learn ambacho kitakuwezesha kusawazisha data vizuri zaidi (utajifunza zaidi kuhusu kazi hii kwa muda mfupi). + +1. Kufunga `imblearn`, endesha `pip install`, kama ifuatavyo: + + ```python + pip install imblearn + ``` + +1. Leta vifurushi unavyohitaji ili kuingiza data yako na kuiangalia, pia leta `SMOTE` kutoka `imblearn`. + + ```python + import pandas as pd + import matplotlib.pyplot as plt + import matplotlib as mpl + import numpy as np + from imblearn.over_sampling import SMOTE + ``` + + Sasa uko tayari kusoma kuingiza data inayofuata. + +1. Kazi inayofuata itakuwa kuingiza data: + + ```python + df = pd.read_csv('../data/cuisines.csv') + ``` + + Kutumia `read_csv()` will read the content of the csv file _cusines.csv_ and place it in the variable `df`. + +1. Angalia sura ya data: + + ```python + df.head() + ``` + + Safu tano za kwanza zinaonekana hivi: + + ```output + | | Unnamed: 0 | cuisine | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | + | --- | ---------- | ------- | ------ | -------- | ----- | ---------- | ----- | ------------ | ------- | -------- | --- | ------- | ----------- | ---------- | ----------------------- | ---- | ---- | --- | ----- | ------ | -------- | + | 0 | 65 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 1 | 66 | indian | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 2 | 67 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 3 | 68 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 4 | 69 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | + ``` + +1. Pata taarifa kuhusu data hii kwa kuita `info()`: + + ```python + df.info() + ``` + + Matokeo yako yanafanana na: + + ```output ++ ++ +According to the number of seconds, latitude and longitude, which country is likely to have reported seeing a UFO?
+ + + +{{ prediction_text }}
+ ++ RangeIndex: 2448 entries, 0 to 2447 + Columns: 385 entries, Unnamed: 0 to zucchini + dtypes: int64(384), object(1) + memory usage: 7.2+ MB + ``` + +## Zoezi - kujifunza kuhusu vyakula + +Sasa kazi inaanza kuwa ya kuvutia zaidi. Hebu tugundue usambazaji wa data, kwa kila chakula + +1. Panga data kama baa kwa kuita `barh()`: + + ```python + df.cuisine.value_counts().plot.barh() + ``` + +  + + Kuna idadi ndogo ya vyakula, lakini usambazaji wa data si sawa. Unaweza kurekebisha hilo! Kabla ya kufanya hivyo, chunguza kidogo zaidi. + +1. Tafuta ni kiasi gani cha data kinapatikana kwa kila chakula na ichapishe: + + ```python + thai_df = df[(df.cuisine == "thai")] + japanese_df = df[(df.cuisine == "japanese")] + chinese_df = df[(df.cuisine == "chinese")] + indian_df = df[(df.cuisine == "indian")] + korean_df = df[(df.cuisine == "korean")] + + print(f'thai df: {thai_df.shape}') + print(f'japanese df: {japanese_df.shape}') + print(f'chinese df: {chinese_df.shape}') + print(f'indian df: {indian_df.shape}') + print(f'korean df: {korean_df.shape}') + ``` + + matokeo yanaonekana hivi: + + ```output + thai df: (289, 385) + japanese df: (320, 385) + chinese df: (442, 385) + indian df: (598, 385) + korean df: (799, 385) + ``` + +## Kugundua viungo + +Sasa unaweza kuchimba zaidi katika data na kujifunza ni viungo gani vya kawaida kwa kila chakula. Unapaswa kusafisha data inayojirudia ambayo inasababisha mkanganyiko kati ya vyakula, kwa hivyo hebu tujifunze kuhusu tatizo hili. + +1. Unda kazi `create_ingredient()` katika Python ili kuunda fremu ya data ya viungo. Kazi hii itaanza kwa kuacha safu isiyo na msaada na kupanga viungo kwa hesabu zao: + + ```python + def create_ingredient_df(df): + ingredient_df = df.T.drop(['cuisine','Unnamed: 0']).sum(axis=1).to_frame('value') + ingredient_df = ingredient_df[(ingredient_df.T != 0).any()] + ingredient_df = ingredient_df.sort_values(by='value', ascending=False, + inplace=False) + return ingredient_df + ``` + + Sasa unaweza kutumia kazi hiyo kupata wazo la viungo kumi maarufu zaidi kwa kila chakula. + +1. Ita `create_ingredient()` and plot it calling `barh()`: + + ```python + thai_ingredient_df = create_ingredient_df(thai_df) + thai_ingredient_df.head(10).plot.barh() + ``` + +  + +1. Fanya vivyo hivyo kwa data ya Kijapani: + + ```python + japanese_ingredient_df = create_ingredient_df(japanese_df) + japanese_ingredient_df.head(10).plot.barh() + ``` + +  + +1. Sasa kwa viungo vya Kichina: + + ```python + chinese_ingredient_df = create_ingredient_df(chinese_df) + chinese_ingredient_df.head(10).plot.barh() + ``` + +  + +1. Panga viungo vya Kihindi: + + ```python + indian_ingredient_df = create_ingredient_df(indian_df) + indian_ingredient_df.head(10).plot.barh() + ``` + +  + +1. Hatimaye, panga viungo vya Kikorea: + + ```python + korean_ingredient_df = create_ingredient_df(korean_df) + korean_ingredient_df.head(10).plot.barh() + ``` + +  + +1. Sasa, acha viungo vya kawaida vinavyosababisha mkanganyiko kati ya vyakula tofauti, kwa kuita `drop()`: + + Kila mtu anapenda mchele, vitunguu na tangawizi! + + ```python + feature_df= df.drop(['cuisine','Unnamed: 0','rice','garlic','ginger'], axis=1) + labels_df = df.cuisine #.unique() + feature_df.head() + ``` + +## Sawazisha seti ya data + +Sasa kwa kuwa umesafisha data, tumia [SMOTE](https://imbalanced-learn.org/dev/references/generated/imblearn.over_sampling.SMOTE.html) - "Mbinu ya Kuzidisha Sampuli Ndogo ya Kijinga" - kuisawazisha. + +1. Ita `fit_resample()`, mkakati huu unazalisha sampuli mpya kwa upatanishi. + + ```python + oversample = SMOTE() + transformed_feature_df, transformed_label_df = oversample.fit_resample(feature_df, labels_df) + ``` + + Kwa kusawazisha data yako, utapata matokeo bora zaidi unapoitainisha. Fikiria kuhusu uainishaji wa binary. Ikiwa data yako nyingi ni ya darasa moja, mfano wa ML utaweza kutabiri darasa hilo mara nyingi zaidi, kwa sababu kuna data zaidi kwa ajili yake. Kusawazisha data kunachukua data yoyote iliyopotoka na kusaidia kuondoa usawa huu. + +1. Sasa unaweza kuangalia idadi ya lebo kwa kila kiungo: + + ```python + print(f'new label count: {transformed_label_df.value_counts()}') + print(f'old label count: {df.cuisine.value_counts()}') + ``` + + Matokeo yako yanaonekana hivi: + + ```output + new label count: korean 799 + chinese 799 + indian 799 + japanese 799 + thai 799 + Name: cuisine, dtype: int64 + old label count: korean 799 + indian 598 + chinese 442 + japanese 320 + thai 289 + Name: cuisine, dtype: int64 + ``` + + Data ni safi na nzuri, imesawazishwa, na ni ladha sana! + +1. Hatua ya mwisho ni kuhifadhi data yako iliyosawazishwa, ikiwa ni pamoja na lebo na sifa, kwenye fremu mpya ya data inayoweza kusafirishwa kwenye faili: + + ```python + transformed_df = pd.concat([transformed_label_df,transformed_feature_df],axis=1, join='outer') + ``` + +1. Unaweza kuangalia data kwa kutumia `transformed_df.head()` and `transformed_df.info()`. Hifadhi nakala ya data hii kwa matumizi ya masomo yajayo: + + ```python + transformed_df.head() + transformed_df.info() + transformed_df.to_csv("../data/cleaned_cuisines.csv") + ``` + + CSV hii mpya sasa inaweza kupatikana katika folda ya mzizi ya data. + +--- + +## 🚀Changamoto + +Mtaala huu una seti kadhaa za data za kuvutia. Chunguza folda za `data` na uone kama kuna yoyote yenye seti za data ambazo zingefaa kwa uainishaji wa binary au wa makundi mengi? Maswali gani ungependa kuuliza kuhusu seti hii ya data? + +## [Jaribio la baada ya somo](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/20/) + +## Mapitio & Kujisomea + +Chunguza API ya SMOTE. Inafaa kutumika kwa kesi gani? Inatatua matatizo gani? + +## Kazi + +[Chunguza mbinu za uainishaji](assignment.md) + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI zinazotegemea mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwa sahihi. Hati ya asili katika lugha yake ya asili inapaswa kuchukuliwa kuwa chanzo cha mamlaka. Kwa taarifa muhimu, tafsiri ya kibinadamu ya kitaalamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/4-Classification/1-Introduction/assignment.md b/translations/sw/4-Classification/1-Introduction/assignment.md new file mode 100644 index 000000000..c3e4643dc --- /dev/null +++ b/translations/sw/4-Classification/1-Introduction/assignment.md @@ -0,0 +1,14 @@ +# Chunguza mbinu za uainishaji + +## Maelekezo + +Katika [hati za Scikit-learn](https://scikit-learn.org/stable/supervised_learning.html) utapata orodha kubwa ya njia za kuainisha data. Fanya utafutaji kidogo katika hati hizi: lengo lako ni kutafuta mbinu za uainishaji na kulinganisha na seti ya data katika mtaala huu, swali unaloweza kuuliza, na mbinu ya uainishaji. Tengeneza lahajedwali au jedwali katika faili la .doc na eleza jinsi seti ya data itakavyofanya kazi na algoriti ya uainishaji. + +## Rubric + +| Kigezo | Bora sana | Inayotosheleza | Inahitaji Kuboresha | +| ------- | ----------------------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------- | +| | hati inawasilishwa ikipitia algoriti 5 pamoja na mbinu ya uainishaji. Muhtasari umeelezwa vizuri na kwa kina. | hati inawasilishwa ikipitia algoriti 3 pamoja na mbinu ya uainishaji. Muhtasari umeelezwa vizuri na kwa kina. | hati inawasilishwa ikipitia algoriti chini ya tatu pamoja na mbinu ya uainishaji na muhtasari haujaelezwa vizuri wala kwa kina. | + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kwamba tafsiri za kiotomatiki zinaweza kuwa na makosa au dosari. Hati ya asili katika lugha yake ya kiasili inapaswa kuchukuliwa kama chanzo cha mamlaka. Kwa taarifa muhimu, tafsiri ya kibinadamu ya kitaalamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri potofu zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/4-Classification/1-Introduction/solution/Julia/README.md b/translations/sw/4-Classification/1-Introduction/solution/Julia/README.md new file mode 100644 index 000000000..59ab2b944 --- /dev/null +++ b/translations/sw/4-Classification/1-Introduction/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI zinazotumia mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kwamba tafsiri za kiotomatiki zinaweza kuwa na makosa au upungufu wa usahihi. Hati asili katika lugha yake ya asili inapaswa kuchukuliwa kuwa chanzo cha mamlaka. Kwa taarifa muhimu, tafsiri ya kibinadamu ya kitaalam inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/4-Classification/2-Classifiers-1/README.md b/translations/sw/4-Classification/2-Classifiers-1/README.md new file mode 100644 index 000000000..7b1df609e --- /dev/null +++ b/translations/sw/4-Classification/2-Classifiers-1/README.md @@ -0,0 +1,77 @@ +# Vihesabu vya Chakula 1 + +Katika somo hili, utatumia dataset uliyohifadhi kutoka somo lililopita lililojaa data safi na iliyosawazishwa kuhusu aina za vyakula. + +Utatumia dataset hii na aina mbalimbali za vihesabu (classifiers) _kutabiri aina ya chakula cha kitaifa kulingana na kikundi cha viungo_. Wakati wa kufanya hivyo, utajifunza zaidi kuhusu baadhi ya njia ambazo algorithimu zinaweza kutumika kwa kazi za uainishaji. + +## [Pre-lecture quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/21/) +# Maandalizi + +Kama umehitimisha [Somo la 1](../1-Introduction/README.md), hakikisha kuwa faili _cleaned_cuisines.csv_ ipo katika folda ya mizizi `/data` kwa ajili ya masomo haya manne. + +## Zoezi - tabiri aina ya chakula cha kitaifa + +1. Ukifanya kazi katika folda ya _notebook.ipynb_ ya somo hili, leta faili hilo pamoja na maktaba ya Pandas: + + ```python + import pandas as pd + cuisines_df = pd.read_csv("../data/cleaned_cuisines.csv") + cuisines_df.head() + ``` + + Data inaonekana hivi: + +| | Unnamed: 0 | cuisine | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | +| --- | ---------- | ------- | ------ | -------- | ----- | ---------- | ----- | ------------ | ------- | -------- | --- | ------- | ----------- | ---------- | ----------------------- | ---- | ---- | --- | ----- | ------ | -------- | +| 0 | 0 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 1 | 1 | indian | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 2 | 2 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 3 | 3 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 4 | 4 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | + + +1. Sasa, leta maktaba zaidi kadhaa: + + ```python + from sklearn.linear_model import LogisticRegression + from sklearn.model_selection import train_test_split, cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report, precision_recall_curve + from sklearn.svm import SVC + import numpy as np + ``` + +1. Gawanya viwianishi vya X na y katika dataframes mbili kwa mafunzo. `cuisine` inaweza kuwa dataframe ya lebo: + + ```python + cuisines_label_df = cuisines_df['cuisine'] + cuisines_label_df.head() + ``` + + Itaonekana hivi: + + ```output + 0 indian + 1 indian + 2 indian + 3 indian + 4 indian + Name: cuisine, dtype: object + ``` + +1. Ondoa `Unnamed: 0` column and the `cuisine` column, calling `drop()`. Hifadhi data iliyobaki kama sifa za kufundisha: + + ```python + cuisines_feature_df = cuisines_df.drop(['Unnamed: 0', 'cuisine'], axis=1) + cuisines_feature_df.head() + ``` + + Sifa zako zinaonekana hivi: + +| | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | artemisia | artichoke | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | +| ---: | -----: | -------: | ----: | ---------: | ----: | -----------: | ------: | -------: | --------: | --------: | ---: | ------: | ----------: | ---------: | ----------------------: | ---: | ---: | ---: | ----: | -----: | -------: | +| 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 1 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 2 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 + +**Onyo**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI zinazotumia mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokubaliana. Hati ya asili katika lugha yake ya asili inapaswa kuzingatiwa kama chanzo cha mamlaka. Kwa taarifa muhimu, tafsiri ya kitaalamu ya kibinadamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/4-Classification/2-Classifiers-1/assignment.md b/translations/sw/4-Classification/2-Classifiers-1/assignment.md new file mode 100644 index 000000000..02b18d75a --- /dev/null +++ b/translations/sw/4-Classification/2-Classifiers-1/assignment.md @@ -0,0 +1,12 @@ +# Jifunze Kuhusu Watatuzi +## Maelekezo + +Katika somo hili ulijifunza kuhusu watatuzi mbalimbali ambao huunganisha algorithimu na mchakato wa kujifunza mashine ili kuunda mfano sahihi. Pitia watatuzi waliotajwa katika somo na chagua wawili. Kwa maneno yako mwenyewe, linganisha na tofautisha watatuzi hawa wawili. Wanashughulikia aina gani ya tatizo? Wanashirikiana vipi na miundo mbalimbali ya data? Kwa nini ungechagua mmoja badala ya mwingine? +## Rubric + +| Kigezo | Bora Sana | Inayotosha | Inahitaji Kuboresha | +| -------- | ---------------------------------------------------------------------------------------------- | ------------------------------------------------ | ---------------------------- | +| | Faili ya .doc imewasilishwa na aya mbili, moja kwa kila mtafsiri, zikilinganishwa kwa umakini. | Faili ya .doc imewasilishwa na aya moja tu | Kazi haijakamilika | + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI zinazotumia mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kwamba tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokubaliana. Hati asili katika lugha yake ya asili inapaswa kuchukuliwa kama chanzo cha mamlaka. Kwa habari muhimu, tafsiri ya kitaalamu ya kibinadamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri potofu zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/4-Classification/2-Classifiers-1/solution/Julia/README.md b/translations/sw/4-Classification/2-Classifiers-1/solution/Julia/README.md new file mode 100644 index 000000000..006a85db7 --- /dev/null +++ b/translations/sw/4-Classification/2-Classifiers-1/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Onyo**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au upungufu. Hati asilia katika lugha yake ya awali inapaswa kuzingatiwa kama chanzo cha mamlaka. Kwa taarifa muhimu, tafsiri ya kitaalamu ya kibinadamu inapendekezwa. Hatutawajibika kwa kutokuelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/4-Classification/3-Classifiers-2/README.md b/translations/sw/4-Classification/3-Classifiers-2/README.md new file mode 100644 index 000000000..ef5c665b0 --- /dev/null +++ b/translations/sw/4-Classification/3-Classifiers-2/README.md @@ -0,0 +1,238 @@ +# Vihesabu vya vyakula 2 + +Katika somo hili la pili la uainishaji, utaangalia njia zaidi za kuainisha data za nambari. Pia utajifunza kuhusu athari za kuchagua kihesabu kimoja juu ya kingine. + +## [Jaribio la kabla ya somo](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/23/) + +### Sharti + +Tunadhani kwamba umekamilisha masomo ya awali na una dataset iliyosafishwa katika folda yako ya `data` inayoitwa _cleaned_cuisines.csv_ katika mzizi wa folda hii ya masomo manne. + +### Maandalizi + +Tumeweka faili yako ya _notebook.ipynb_ na dataset iliyosafishwa na tumeigawa katika dataframes za X na y, tayari kwa mchakato wa kujenga modeli. + +## Ramani ya uainishaji + +Hapo awali, ulijifunza kuhusu chaguzi mbalimbali unazoweza kuwa nazo unapoweka data kwa kutumia karatasi ya udanganyifu ya Microsoft. Scikit-learn inatoa karatasi ya udanganyifu inayofanana, lakini yenye undani zaidi ambayo inaweza kusaidia zaidi kupunguza washauri wako (neno lingine la vihesabu): + + +> Tip: [tembelea ramani hii mtandaoni](https://scikit-learn.org/stable/tutorial/machine_learning_map/) na bonyeza njia ili kusoma nyaraka. + +### Mpango + +Ramani hii ni muhimu sana mara tu unapokuwa na uelewa mzuri wa data yako, kwani unaweza 'kutembea' kwenye njia zake hadi uamuzi: + +- Tuna sampuli >50 +- Tunataka kutabiri kategoria +- Tuna data zilizo na lebo +- Tuna sampuli chini ya 100K +- ✨ Tunaweza kuchagua Linear SVC +- Ikiwa hiyo haifanyi kazi, kwa kuwa tuna data za nambari + - Tunaweza kujaribu ✨ KNeighbors Classifier + - Ikiwa hiyo haifanyi kazi, jaribu ✨ SVC na ✨ Ensemble Classifiers + +Hii ni njia nzuri sana ya kufuata. + +## Zoezi - gawanya data + +Kufuata njia hii, tunapaswa kuanza kwa kuingiza baadhi ya maktaba za kutumia. + +1. Ingiza maktaba zinazohitajika: + + ```python + from sklearn.neighbors import KNeighborsClassifier + from sklearn.linear_model import LogisticRegression + from sklearn.svm import SVC + from sklearn.ensemble import RandomForestClassifier, AdaBoostClassifier + from sklearn.model_selection import train_test_split, cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report, precision_recall_curve + import numpy as np + ``` + +1. Gawanya data yako ya mafunzo na majaribio: + + ```python + X_train, X_test, y_train, y_test = train_test_split(cuisines_feature_df, cuisines_label_df, test_size=0.3) + ``` + +## Kihesabu cha Linear SVC + +Support-Vector clustering (SVC) ni mtoto wa familia ya Support-Vector machines ya mbinu za ML (jifunze zaidi kuhusu hizi hapa chini). Katika njia hii, unaweza kuchagua 'kernel' kuamua jinsi ya kuainisha lebo. Kigezo cha 'C' kinahusu 'uregulishaji' ambao unadhibiti ushawishi wa vigezo. Kernel inaweza kuwa moja ya [kadhaa](https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html#sklearn.svm.SVC); hapa tunaweka 'linear' kuhakikisha tunatumia linear SVC. Uwezekano kwa default ni 'false'; hapa tunaweka 'true' ili kupata makadirio ya uwezekano. Tunaweka hali ya nasibu kuwa '0' ili kuchanganya data kupata uwezekano. + +### Zoezi - tumia linear SVC + +Anza kwa kuunda safu ya vihesabu. Utaongeza polepole kwenye safu hii tunapojaribu. + +1. Anza na Linear SVC: + + ```python + C = 10 + # Create different classifiers. + classifiers = { + 'Linear SVC': SVC(kernel='linear', C=C, probability=True,random_state=0) + } + ``` + +2. Funza modeli yako kwa kutumia Linear SVC na uchapishe ripoti: + + ```python + n_classifiers = len(classifiers) + + for index, (name, classifier) in enumerate(classifiers.items()): + classifier.fit(X_train, np.ravel(y_train)) + + y_pred = classifier.predict(X_test) + accuracy = accuracy_score(y_test, y_pred) + print("Accuracy (train) for %s: %0.1f%% " % (name, accuracy * 100)) + print(classification_report(y_test,y_pred)) + ``` + + Matokeo ni mazuri sana: + + ```output + Accuracy (train) for Linear SVC: 78.6% + precision recall f1-score support + + chinese 0.71 0.67 0.69 242 + indian 0.88 0.86 0.87 234 + japanese 0.79 0.74 0.76 254 + korean 0.85 0.81 0.83 242 + thai 0.71 0.86 0.78 227 + + accuracy 0.79 1199 + macro avg 0.79 0.79 0.79 1199 + weighted avg 0.79 0.79 0.79 1199 + ``` + +## K-Neighbors classifier + +K-Neighbors ni sehemu ya familia ya "majirani" ya mbinu za ML, ambazo zinaweza kutumika kwa kujifunza kwa usimamizi na bila usimamizi. Katika njia hii, idadi iliyopangwa ya pointi huundwa na data hukusanywa karibu na pointi hizi ili lebo zilizojumlishwa ziweze kutabiriwa kwa data. + +### Zoezi - tumia K-Neighbors classifier + +Kihesabu kilichopita kilikuwa kizuri, na kilifanya kazi vizuri na data, lakini labda tunaweza kupata usahihi bora zaidi. Jaribu K-Neighbors classifier. + +1. Ongeza mstari kwenye safu yako ya kihesabu (ongeza koma baada ya kipengee cha Linear SVC): + + ```python + 'KNN classifier': KNeighborsClassifier(C), + ``` + + Matokeo ni mabaya kidogo: + + ```output + Accuracy (train) for KNN classifier: 73.8% + precision recall f1-score support + + chinese 0.64 0.67 0.66 242 + indian 0.86 0.78 0.82 234 + japanese 0.66 0.83 0.74 254 + korean 0.94 0.58 0.72 242 + thai 0.71 0.82 0.76 227 + + accuracy 0.74 1199 + macro avg 0.76 0.74 0.74 1199 + weighted avg 0.76 0.74 0.74 1199 + ``` + + ✅ Jifunze kuhusu [K-Neighbors](https://scikit-learn.org/stable/modules/neighbors.html#neighbors) + +## Kihesabu cha Support Vector + +Kihesabu cha Support-Vector ni sehemu ya familia ya [Support-Vector Machine](https://wikipedia.org/wiki/Support-vector_machine) ya mbinu za ML ambazo hutumika kwa kazi za uainishaji na regression. SVMs "huweka mifano ya mafunzo kwenye pointi katika nafasi" ili kuongeza umbali kati ya kategoria mbili. Data inayofuata huwekwa katika nafasi hii ili kategoria yao iweze kutabiriwa. + +### Zoezi - tumia Support Vector Classifier + +Hebu jaribu kupata usahihi bora zaidi kwa kutumia Support Vector Classifier. + +1. Ongeza koma baada ya kipengee cha K-Neighbors, na kisha ongeza mstari huu: + + ```python + 'SVC': SVC(), + ``` + + Matokeo ni mazuri sana! + + ```output + Accuracy (train) for SVC: 83.2% + precision recall f1-score support + + chinese 0.79 0.74 0.76 242 + indian 0.88 0.90 0.89 234 + japanese 0.87 0.81 0.84 254 + korean 0.91 0.82 0.86 242 + thai 0.74 0.90 0.81 227 + + accuracy 0.83 1199 + macro avg 0.84 0.83 0.83 1199 + weighted avg 0.84 0.83 0.83 1199 + ``` + + ✅ Jifunze kuhusu [Support-Vectors](https://scikit-learn.org/stable/modules/svm.html#svm) + +## Vihesabu vya Ensemble + +Hebu fuata njia hadi mwisho, ingawa jaribio la awali lilikuwa zuri sana. Hebu jaribu 'Ensemble Classifiers, haswa Random Forest na AdaBoost: + +```python + 'RFST': RandomForestClassifier(n_estimators=100), + 'ADA': AdaBoostClassifier(n_estimators=100) +``` + +Matokeo ni mazuri sana, hasa kwa Random Forest: + +```output +Accuracy (train) for RFST: 84.5% + precision recall f1-score support + + chinese 0.80 0.77 0.78 242 + indian 0.89 0.92 0.90 234 + japanese 0.86 0.84 0.85 254 + korean 0.88 0.83 0.85 242 + thai 0.80 0.87 0.83 227 + + accuracy 0.84 1199 + macro avg 0.85 0.85 0.84 1199 +weighted avg 0.85 0.84 0.84 1199 + +Accuracy (train) for ADA: 72.4% + precision recall f1-score support + + chinese 0.64 0.49 0.56 242 + indian 0.91 0.83 0.87 234 + japanese 0.68 0.69 0.69 254 + korean 0.73 0.79 0.76 242 + thai 0.67 0.83 0.74 227 + + accuracy 0.72 1199 + macro avg 0.73 0.73 0.72 1199 +weighted avg 0.73 0.72 0.72 1199 +``` + +✅ Jifunze kuhusu [Ensemble Classifiers](https://scikit-learn.org/stable/modules/ensemble.html) + +Njia hii ya Kujifunza Mashine "inaunganisha utabiri wa wahesabuji kadhaa wa msingi" ili kuboresha ubora wa modeli. Katika mfano wetu, tulitumia Random Trees na AdaBoost. + +- [Random Forest](https://scikit-learn.org/stable/modules/ensemble.html#forest), njia ya wastani, inajenga 'msitu' wa 'miti ya maamuzi' iliyo na nasibu ili kuepuka kufaa kupita kiasi. Kigezo cha n_estimators kimewekwa kwa idadi ya miti. + +- [AdaBoost](https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.AdaBoostClassifier.html) inafaa kihesabu kwa dataset na kisha inafaa nakala za kihesabu hicho kwa dataset hiyo hiyo. Inazingatia uzito wa vitu vilivyoainishwa vibaya na kurekebisha kifaa kwa kihesabu kinachofuata ili kusahihisha. + +--- + +## 🚀Changamoto + +Kila moja ya mbinu hizi ina idadi kubwa ya vigezo unavyoweza kurekebisha. Tafiti vigezo vya default vya kila moja na fikiria kuhusu nini kurekebisha vigezo hivi kungeleta kwa ubora wa modeli. + +## [Jaribio la baada ya somo](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/24/) + +## Mapitio & Kujisomea + +Kuna maneno mengi ya kitaalamu katika masomo haya, kwa hivyo chukua muda kidogo kupitia [orodha hii](https://docs.microsoft.com/dotnet/machine-learning/resources/glossary?WT.mc_id=academic-77952-leestott) ya maneno muhimu! + +## Kazi + +[Cheza na vigezo](assignment.md) + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI zinazotumia mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokamilika. Hati ya asili katika lugha yake ya asili inapaswa kuzingatiwa kama chanzo cha mamlaka. Kwa taarifa muhimu, tafsiri ya kitaalamu ya binadamu inapendekezwa. Hatutawajibika kwa kutoelewana au kutafsiri vibaya kunakotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/4-Classification/3-Classifiers-2/assignment.md b/translations/sw/4-Classification/3-Classifiers-2/assignment.md new file mode 100644 index 000000000..637a01862 --- /dev/null +++ b/translations/sw/4-Classification/3-Classifiers-2/assignment.md @@ -0,0 +1,14 @@ +# Parameter Play + +## Maelekezo + +Kuna vigezo vingi ambavyo vimewekwa kwa chaguo-msingi wakati wa kufanya kazi na hizi classifiers. Intellisense katika VS Code inaweza kukusaidia kuchambua vigezo hivi. Chagua mojawapo ya Mbinu za Uainishaji wa ML katika somo hili na ufunze upya mifano ukibadilisha thamani mbalimbali za vigezo. Tengeneza daftari inayoeleza kwa nini baadhi ya mabadiliko yanasaidia ubora wa mfano huku mengine yakidhoofisha. Eleza kwa kina katika jibu lako. + +## Rubric + +| Kigezo | Bora kabisa | Inayotosheleza | Inayohitaji Kuboresha | +| ------- | ----------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------- | ----------------------------- | +| | Daftari imewasilishwa na classifier iliyojengwa kikamilifu na vigezo vyake kubadilishwa na mabadiliko kuelezewa katika visanduku vya maandishi | Daftari imewasilishwa kwa sehemu au kuelezewa vibaya | Daftari ina hitilafu au kasoro | + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwepo kwa usahihi. Hati ya asili katika lugha yake ya asili inapaswa kuzingatiwa kama chanzo cha mamlaka. Kwa taarifa muhimu, tafsiri ya kitaalamu ya kibinadamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/4-Classification/3-Classifiers-2/solution/Julia/README.md b/translations/sw/4-Classification/3-Classifiers-2/solution/Julia/README.md new file mode 100644 index 000000000..c92c8d7b9 --- /dev/null +++ b/translations/sw/4-Classification/3-Classifiers-2/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI zinazotumia mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwa sahihi. Hati ya asili katika lugha yake ya kiasili inapaswa kuzingatiwa kama chanzo cha mamlaka. Kwa habari muhimu, inashauriwa kutumia tafsiri ya kibinadamu ya kitaalamu. Hatutawajibika kwa kutokuelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/4-Classification/4-Applied/README.md b/translations/sw/4-Classification/4-Applied/README.md new file mode 100644 index 000000000..d9a78c9ce --- /dev/null +++ b/translations/sw/4-Classification/4-Applied/README.md @@ -0,0 +1,317 @@ +# Jenga Programu ya Mapendekezo ya Vyakula + +Katika somo hili, utajenga mfano wa uainishaji ukitumia baadhi ya mbinu ulizojifunza katika masomo yaliyopita na kwa kutumia seti ya data ya vyakula vitamu iliyotumika katika mfululizo huu. Aidha, utajenga programu ndogo ya wavuti kutumia mfano uliowekwa, kwa kutumia Onnx's web runtime. + +Moja ya matumizi muhimu ya kujifunza kwa mashine ni kujenga mifumo ya mapendekezo, na unaweza kuchukua hatua ya kwanza katika mwelekeo huo leo! + +[](https://youtu.be/17wdM9AHMfg "Applied ML") + +> 🎥 Bofya picha hapo juu kwa video: Jen Looper anajenga programu ya wavuti kutumia data ya vyakula vilivyowekwa + +## [Jaribio la kabla ya somo](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/25/) + +Katika somo hili utajifunza: + +- Jinsi ya kujenga mfano na kuihifadhi kama mfano wa Onnx +- Jinsi ya kutumia Netron kukagua mfano +- Jinsi ya kutumia mfano wako katika programu ya wavuti kwa utabiri + +## Jenga mfano wako + +Kujenga mifumo ya ML inayotumika ni sehemu muhimu ya kutumia teknolojia hizi kwa mifumo ya biashara yako. Unaweza kutumia mifano ndani ya programu zako za wavuti (na hivyo kuzitumia katika muktadha wa nje ya mtandao ikiwa inahitajika) kwa kutumia Onnx. + +Katika [somo la awali](../../3-Web-App/1-Web-App/README.md), ulijenga mfano wa Regression kuhusu kuona UFO, "pickled" na kuutumia katika programu ya Flask. Wakati usanifu huu ni muhimu sana kujua, ni programu kamili ya Python, na mahitaji yako yanaweza kujumuisha matumizi ya programu ya JavaScript. + +Katika somo hili, unaweza kujenga mfumo wa msingi wa JavaScript kwa utabiri. Kwanza, hata hivyo, unahitaji kufundisha mfano na kuubadilisha kwa matumizi na Onnx. + +## Zoezi - fundisha mfano wa uainishaji + +Kwanza, fundisha mfano wa uainishaji ukitumia seti ya data ya vyakula iliyosafishwa tuliyotumia. + +1. Anza kwa kuingiza maktaba muhimu: + + ```python + !pip install skl2onnx + import pandas as pd + ``` + + Unahitaji '[skl2onnx](https://onnx.ai/sklearn-onnx/)' kusaidia kubadilisha mfano wako wa Scikit-learn kuwa muundo wa Onnx. + +1. Kisha, fanya kazi na data yako kwa njia ile ile uliyofanya katika masomo yaliyopita, kwa kusoma faili ya CSV ukitumia `read_csv()`: + + ```python + data = pd.read_csv('../data/cleaned_cuisines.csv') + data.head() + ``` + +1. Ondoa safu mbili za kwanza zisizo za lazima na uhifadhi data iliyobaki kama 'X': + + ```python + X = data.iloc[:,2:] + X.head() + ``` + +1. Hifadhi lebo kama 'y': + + ```python + y = data[['cuisine']] + y.head() + + ``` + +### Anza mchakato wa mafunzo + +Tutatumia maktaba ya 'SVC' ambayo ina usahihi mzuri. + +1. Ingiza maktaba zinazofaa kutoka Scikit-learn: + + ```python + from sklearn.model_selection import train_test_split + from sklearn.svm import SVC + from sklearn.model_selection import cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report + ``` + +1. Tenganisha seti za mafunzo na majaribio: + + ```python + X_train, X_test, y_train, y_test = train_test_split(X,y,test_size=0.3) + ``` + +1. Jenga mfano wa Uainishaji wa SVC kama ulivyofanya katika somo lililopita: + + ```python + model = SVC(kernel='linear', C=10, probability=True,random_state=0) + model.fit(X_train,y_train.values.ravel()) + ``` + +1. Sasa, jaribu mfano wako, ukipiga `predict()`: + + ```python + y_pred = model.predict(X_test) + ``` + +1. Chapisha ripoti ya uainishaji ili kuangalia ubora wa mfano: + + ```python + print(classification_report(y_test,y_pred)) + ``` + + Kama tulivyoona hapo awali, usahihi ni mzuri: + + ```output + precision recall f1-score support + + chinese 0.72 0.69 0.70 257 + indian 0.91 0.87 0.89 243 + japanese 0.79 0.77 0.78 239 + korean 0.83 0.79 0.81 236 + thai 0.72 0.84 0.78 224 + + accuracy 0.79 1199 + macro avg 0.79 0.79 0.79 1199 + weighted avg 0.79 0.79 0.79 1199 + ``` + +### Badilisha mfano wako kuwa Onnx + +Hakikisha unafanya ubadilishaji na idadi sahihi ya Tensor. Seti hii ya data ina viungo 380 vilivyotajwa, kwa hivyo unahitaji kubainisha idadi hiyo katika `FloatTensorType`: + +1. Badilisha ukitumia idadi ya tensor ya 380. + + ```python + from skl2onnx import convert_sklearn + from skl2onnx.common.data_types import FloatTensorType + + initial_type = [('float_input', FloatTensorType([None, 380]))] + options = {id(model): {'nocl': True, 'zipmap': False}} + ``` + +1. Unda onx na uhifadhi kama faili **model.onnx**: + + ```python + onx = convert_sklearn(model, initial_types=initial_type, options=options) + with open("./model.onnx", "wb") as f: + f.write(onx.SerializeToString()) + ``` + + > Kumbuka, unaweza kupitisha [chaguzi](https://onnx.ai/sklearn-onnx/parameterized.html) katika hati yako ya ubadilishaji. Katika kesi hii, tulipitisha 'nocl' kuwa Kweli na 'zipmap' kuwa Uongo. Kwa kuwa huu ni mfano wa uainishaji, una chaguo la kuondoa ZipMap ambayo hutoa orodha ya kamusi (si lazima). `nocl` refers to class information being included in the model. Reduce your model's size by setting `nocl` to 'True'. + +Running the entire notebook will now build an Onnx model and save it to this folder. + +## View your model + +Onnx models are not very visible in Visual Studio code, but there's a very good free software that many researchers use to visualize the model to ensure that it is properly built. Download [Netron](https://github.com/lutzroeder/Netron) and open your model.onnx file. You can see your simple model visualized, with its 380 inputs and classifier listed: + + + +Netron is a helpful tool to view your models. + +Now you are ready to use this neat model in a web app. Let's build an app that will come in handy when you look in your refrigerator and try to figure out which combination of your leftover ingredients you can use to cook a given cuisine, as determined by your model. + +## Build a recommender web application + +You can use your model directly in a web app. This architecture also allows you to run it locally and even offline if needed. Start by creating an `index.html` file in the same folder where you stored your `model.onnx` faili. + +1. Katika faili hii _index.html_, ongeza alama zifuatazo: + + ```html + + + + + + ... + + + ``` + +1. Sasa, ukifanya kazi ndani ya vitambulisho vya `body`, ongeza alama kidogo kuonyesha orodha ya visanduku vya kukagua vinavyoakisi baadhi ya viungo: + + ```html +Cuisine Matcher +Check your refrigerator. What can you create?
++++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + +++ ++ ``` + + Angalia kwamba kila kisanduku cha kukagua kimepewa thamani. Hii inaonyesha index ambapo kiungo kinapatikana kulingana na seti ya data. Apple, kwa mfano, katika orodha hii ya alfabeti, inachukua safu ya tano, kwa hivyo thamani yake ni '4' kwa kuwa tunaanza kuhesabu kutoka 0. Unaweza kushauriana na [spreadsheet ya viungo](../../../../4-Classification/data/ingredient_indexes.csv) kugundua index ya kiungo fulani. + + Ukiendelea na kazi yako katika faili ya index.html, ongeza kizuizi cha hati ambapo mfano unaitwa baada ya kufunga mwisho ``. + +1. Kwanza, ingiza [Onnx Runtime](https://www.onnxruntime.ai/): + + ```html + + ``` + + > Onnx Runtime inatumika kuwezesha kuendesha mifano yako ya Onnx kwenye majukwaa mbalimbali ya vifaa, ikiwa ni pamoja na uboreshaji na API ya kutumia. + +1. Mara Runtime inapowekwa, unaweza kuipiga: + + ```html + + ``` + +Katika msimbo huu, kuna mambo kadhaa yanayotokea: + +1. Uliunda safu ya thamani 380 zinazowezekana (1 au 0) kuwekwa na kutumwa kwa mfano kwa utabiri, kulingana na kama kisanduku cha kukagua kiungo kimechaguliwa. +2. Uliunda safu ya visanduku vya kukagua na njia ya kubaini kama vilikuwa vimechaguliwa katika `init` function that is called when the application starts. When a checkbox is checked, the `ingredients` array is altered to reflect the chosen ingredient. +3. You created a `testCheckboxes` function that checks whether any checkbox was checked. +4. You use `startInference` function when the button is pressed and, if any checkbox is checked, you start inference. +5. The inference routine includes: + 1. Setting up an asynchronous load of the model + 2. Creating a Tensor structure to send to the model + 3. Creating 'feeds' that reflects the `float_input` input that you created when training your model (you can use Netron to verify that name) + 4. Sending these 'feeds' to the model and waiting for a response + +## Test your application + +Open a terminal session in Visual Studio Code in the folder where your index.html file resides. Ensure that you have [http-server](https://www.npmjs.com/package/http-server) installed globally, and type `http-server` kwenye prompt. Localhost inapaswa kufunguka na unaweza kuona programu yako ya wavuti. Angalia ni chakula gani kinachopendekezwa kulingana na viungo mbalimbali: + + + +Hongera, umeunda programu ya wavuti ya 'mapendekezo' na sehemu chache. Chukua muda kujenga mfumo huu zaidi! +## 🚀Changamoto + +Programu yako ya wavuti ni ndogo sana, kwa hivyo endelea kuijenga ukitumia viungo na fahirisi zao kutoka kwa data ya [ingredient_indexes](../../../../4-Classification/data/ingredient_indexes.csv). Ni mchanganyiko gani wa ladha hufanya chakula cha kitaifa fulani? + +## [Jaribio la baada ya somo](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/26/) + +## Mapitio & Kujisomea + +Wakati somo hili limegusia tu matumizi ya kujenga mfumo wa mapendekezo kwa viungo vya chakula, eneo hili la matumizi ya ML lina mifano mingi. Soma zaidi kuhusu jinsi mifumo hii inavyojengwa: + +- https://www.sciencedirect.com/topics/computer-science/recommendation-engine +- https://www.technologyreview.com/2014/08/25/171547/the-ultimate-challenge-for-recommendation-engines/ +- https://www.technologyreview.com/2015/03/23/168831/everything-is-a-recommendation/ + +## Kazi + +[Jenga kipendekezo kipya](assignment.md) + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kwamba tafsiri za kiotomatiki zinaweza kuwa na makosa au upotovu. Hati asili katika lugha yake ya asili inapaswa kuzingatiwa kuwa chanzo cha mamlaka. Kwa habari muhimu, tafsiri ya kitaalamu ya binadamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri potofu zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/4-Classification/4-Applied/assignment.md b/translations/sw/4-Classification/4-Applied/assignment.md new file mode 100644 index 000000000..b95923f7b --- /dev/null +++ b/translations/sw/4-Classification/4-Applied/assignment.md @@ -0,0 +1,14 @@ +# Jenga Recommender + +## Maelekezo + +Kutokana na mazoezi yako katika somo hili, sasa unajua jinsi ya kujenga programu ya wavuti inayotumia JavaScript kwa kutumia Onnx Runtime na mfano wa Onnx uliobadilishwa. Jaribu kujenga recommender mpya ukitumia data kutoka kwenye masomo haya au kutoka kwingine (tafadhali toa shukrani). Unaweza kuunda recommender ya wanyama wa kipenzi kulingana na sifa mbalimbali za utu, au recommender ya aina za muziki kulingana na hali ya mtu. Kuwa mbunifu! + +## Rubric + +| Vigezo | Bora kabisa | Inatosha | Inahitaji Kuboresha | +| --------- | --------------------------------------------------------------------- | -------------------------------------- | ------------------------------------ | +| | Programu ya wavuti na daftari vinaonyeshwa, vyote vina nyaraka nzuri na vinafanya kazi | Moja kati ya hizo mbili inakosekana au ina kasoro | Vyote vinakosekana au vina kasoro | + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kwamba tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwepo na usahihi. Hati ya asili katika lugha yake ya asili inapaswa kuchukuliwa kuwa chanzo cha mamlaka. Kwa taarifa muhimu, tafsiri ya kitaalamu ya kibinadamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/4-Classification/README.md b/translations/sw/4-Classification/README.md new file mode 100644 index 000000000..af218c6b0 --- /dev/null +++ b/translations/sw/4-Classification/README.md @@ -0,0 +1,30 @@ +# Kuanza na uainishaji + +## Mada ya Kieneo: Vyakula Vitamu vya Asia na India 🍜 + +Katika Asia na India, mila za chakula ni nyingi sana, na ni tamu sana! Hebu tuangalie data kuhusu vyakula vya kieneo ili kujaribu kuelewa viungo vyao. + + +> Picha na Lisheng Chang kwenye Unsplash + +## Kile utakachojifunza + +Katika sehemu hii, utajenga juu ya masomo yako ya awali ya Regression na kujifunza kuhusu waainishaji wengine ambao unaweza kutumia kuelewa data vizuri zaidi. + +> Kuna zana za low-code zinazoweza kukusaidia kujifunza kuhusu kufanya kazi na mifano ya uainishaji. Jaribu [Azure ML kwa kazi hii](https://docs.microsoft.com/learn/modules/create-classification-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott) + +## Masomo + +1. [Utangulizi wa uainishaji](1-Introduction/README.md) +2. [Waainishaji zaidi](2-Classifiers-1/README.md) +3. [Waainishaji wengine tena](3-Classifiers-2/README.md) +4. [ML iliyotumika: jenga programu ya wavuti](4-Applied/README.md) + +## Shukrani + +"Kuanza na uainishaji" kiliandikwa kwa ♥️ na [Cassie Breviu](https://www.twitter.com/cassiebreviu) na [Jen Looper](https://www.twitter.com/jenlooper) + +Seti ya data ya vyakula vitamu ilitoka [Kaggle](https://www.kaggle.com/hoandan/asian-and-indian-cuisines). + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za kiotomatiki za AI. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwa sahihi. Hati ya asili katika lugha yake ya asili inapaswa kuzingatiwa kama chanzo rasmi. Kwa taarifa muhimu, inashauriwa kutumia tafsiri ya kitaalamu ya binadamu. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/5-Clustering/1-Visualize/README.md b/translations/sw/5-Clustering/1-Visualize/README.md new file mode 100644 index 000000000..8daf74916 --- /dev/null +++ b/translations/sw/5-Clustering/1-Visualize/README.md @@ -0,0 +1,216 @@ +# Utangulizi wa clustering + +Clustering ni aina ya [Unsupervised Learning](https://wikipedia.org/wiki/Unsupervised_learning) ambayo inadhani kwamba dataset haina lebo au kwamba ingizo zake hazijalinganishwa na matokeo yaliyoainishwa awali. Inatumia algoriti mbalimbali kuchambua data isiyo na lebo na kutoa makundi kulingana na mifumo inayoona kwenye data. + +[](https://youtu.be/ty2advRiWJM "No One Like You by PSquare") + +> 🎥 Bofya picha hapo juu kwa video. Wakati unajifunza machine learning na clustering, furahia baadhi ya nyimbo za Nigerian Dance Hall - hii ni wimbo uliopendwa sana kutoka mwaka 2014 na PSquare. +## [Pre-lecture quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/27/) +### Utangulizi + +[Clustering](https://link.springer.com/referenceworkentry/10.1007%2F978-0-387-30164-8_124) ni muhimu sana kwa uchunguzi wa data. Hebu tuone kama inaweza kusaidia kugundua mwelekeo na mifumo katika njia ambayo hadhira ya Nigeria hutumia muziki. + +✅ Chukua dakika moja kufikiria matumizi ya clustering. Katika maisha halisi, clustering hutokea wakati wowote unapokuwa na rundo la nguo na unahitaji kupanga nguo za wanafamilia wako 🧦👕👖🩲. Katika data science, clustering hutokea wakati wa kujaribu kuchambua mapendeleo ya mtumiaji, au kubaini sifa za dataset yoyote isiyo na lebo. Clustering, kwa njia, husaidia kufanya mambo kuwa na maana, kama droo ya soksi. + +[](https://youtu.be/esmzYhuFnds "Introduction to Clustering") + +> 🎥 Bofya picha hapo juu kwa video: John Guttag wa MIT anatoa utangulizi wa clustering + +Katika mazingira ya kitaalamu, clustering inaweza kutumika kubaini mambo kama kugawanya soko, kubaini ni makundi ya umri gani yanayonunua bidhaa gani, kwa mfano. Matumizi mengine yanaweza kuwa kugundua udanganyifu, labda kugundua ulaghai kutoka kwenye dataset ya miamala ya kadi za mkopo. Au unaweza kutumia clustering kubaini uvimbe katika kundi la picha za matibabu. + +✅ Fikiria dakika moja jinsi unavyoweza kuwa umekutana na clustering 'katika mazingira ya asili', katika mazingira ya benki, e-commerce, au biashara. + +> 🎓 Inafurahisha, uchambuzi wa cluster ulitokana na nyanja za Anthropolojia na Saikolojia katika miaka ya 1930. Je, unaweza kufikiria jinsi ilivyoweza kutumika? + +Vinginevyo, unaweza kuitumia kwa kupanga matokeo ya utafutaji - kwa viungo vya ununuzi, picha, au hakiki, kwa mfano. Clustering ni muhimu unapokuwa na dataset kubwa ambayo unataka kupunguza na ambayo unataka kufanya uchambuzi wa kina zaidi, kwa hivyo mbinu hii inaweza kutumika kujifunza kuhusu data kabla ya kujenga mifano mingine. + +✅ Mara data yako inapopangwa katika clusters, unapeleka kitambulisho cha cluster, na mbinu hii inaweza kuwa na manufaa wakati wa kuhifadhi faragha ya dataset; badala yake unaweza kurejelea kipengele cha data kwa kitambulisho cha cluster, badala ya data inayotambulika zaidi. Je, unaweza kufikiria sababu nyingine kwa nini ungependa kurejelea kitambulisho cha cluster badala ya vipengele vingine vya cluster ili kuitambulisha? + +Kuelewa zaidi mbinu za clustering katika [Learn module](https://docs.microsoft.com/learn/modules/train-evaluate-cluster-models?WT.mc_id=academic-77952-leestott) +## Kuanza na clustering + +[Scikit-learn inatoa mbinu nyingi](https://scikit-learn.org/stable/modules/clustering.html) za kufanya clustering. Aina unayochagua itategemea kesi yako ya matumizi. Kulingana na nyaraka, kila mbinu ina faida mbalimbali. Hapa kuna jedwali rahisi la mbinu zinazoungwa mkono na Scikit-learn na kesi zao za matumizi zinazofaa: + +| Jina la Mbinu | Kesi ya Matumizi | +| :--------------------------- | :------------------------------------------------------------------ | +| K-Means | matumizi ya jumla, inductive | +| Affinity propagation | makundi mengi, yasiyo sawa, inductive | +| Mean-shift | makundi mengi, yasiyo sawa, inductive | +| Spectral clustering | makundi machache, sawa, transductive | +| Ward hierarchical clustering | makundi mengi, yenye vikwazo, transductive | +| Agglomerative clustering | makundi mengi, yenye vikwazo, umbali usio wa Euclidean, transductive| +| DBSCAN | jiometri isiyo tambarare, makundi yasiyo sawa, transductive | +| OPTICS | jiometri isiyo tambarare, makundi yasiyo sawa yenye msongamano tofauti, transductive| +| Gaussian mixtures | jiometri tambarare, inductive | +| BIRCH | dataset kubwa yenye outliers, inductive | + +> 🎓 Jinsi tunavyounda clusters inahusiana sana na jinsi tunavyokusanya pointi za data katika makundi. Hebu tuchambue baadhi ya msamiati: +> +> 🎓 ['Transductive' vs. 'inductive'](https://wikipedia.org/wiki/Transduction_(machine_learning)) +> +> Transductive inference inatokana na kesi za mafunzo zilizozingatiwa ambazo zinaelekeza kwenye kesi maalum za mtihani. Inductive inference inatokana na kesi za mafunzo ambazo zinaelekeza kwenye sheria za jumla ambazo baadaye zinatumika kwenye kesi za mtihani. +> +> Mfano: Fikiria una dataset ambayo ina lebo kwa sehemu tu. Vitu vingine ni 'rekodi', vingine ni 'cds', na vingine havina lebo. Kazi yako ni kutoa lebo kwa data isiyo na lebo. Ikiwa unachagua mbinu ya inductive, ungefundisha mfano kwa kutafuta 'rekodi' na 'cds', na kutumia lebo hizo kwenye data yako isiyo na lebo. Mbinu hii itapata shida kuainisha vitu ambavyo kwa kweli ni 'cassettes'. Mbinu ya transductive, kwa upande mwingine, hushughulikia data hii isiyojulikana kwa ufanisi zaidi kwani inafanya kazi ya kuunganisha vitu vinavyofanana na kisha kutoa lebo kwa kundi. Katika kesi hii, clusters zinaweza kuonyesha 'vitu vya muziki vya mviringo' na 'vitu vya muziki vya mraba'. +> +> 🎓 ['Non-flat' vs. 'flat' geometry](https://datascience.stackexchange.com/questions/52260/terminology-flat-geometry-in-the-context-of-clustering) +> +> Imetokana na istilahi za kihesabu, jiometri isiyo tambarare vs. tambarare inahusu kipimo cha umbali kati ya pointi kwa njia ya 'tambarare' ([Euclidean](https://wikipedia.org/wiki/Euclidean_geometry)) au 'isiyo tambarare' (isiyo ya Euclidean). +> +>'Tambarare' katika muktadha huu inarejelea jiometri ya Euclidean (sehemu za ambayo hufundishwa kama 'jiometri ya ndege'), na isiyo tambarare inarejelea jiometri isiyo ya Euclidean. Jiometri inahusiana vipi na machine learning? Naam, kama nyanja mbili ambazo zinategemea hesabu, lazima kuwe na njia ya kawaida ya kupima umbali kati ya pointi katika clusters, na hiyo inaweza kufanywa kwa njia ya 'tambarare' au 'isiyo tambarare', kulingana na asili ya data. [Umbali wa Euclidean](https://wikipedia.org/wiki/Euclidean_distance) unapimwa kama urefu wa kipande cha mstari kati ya pointi mbili. [Umbali usio wa Euclidean](https://wikipedia.org/wiki/Non-Euclidean_geometry) unapimwa kando ya curve. Ikiwa data yako, ikionyeshwa, inaonekana kuwa haipo kwenye ndege, unaweza kuhitaji kutumia algoriti maalum kuishughulikia. +> + +> Infographic na [Dasani Madipalli](https://twitter.com/dasani_decoded) +> +> 🎓 ['Umbali'](https://web.stanford.edu/class/cs345a/slides/12-clustering.pdf) +> +> Clusters zinafafanuliwa na matrix ya umbali wao, yaani umbali kati ya pointi. Umbali huu unaweza kupimwa kwa njia kadhaa. Clusters za Euclidean zinafafanuliwa na wastani wa thamani za pointi, na zina 'centroid' au kituo. Umbali hupimwa kwa umbali hadi kwenye centroid hiyo. Umbali usio wa Euclidean unarejelea 'clustroids', pointi iliyo karibu zaidi na pointi nyingine. Clustroids kwa upande wao zinaweza kufafanuliwa kwa njia mbalimbali. +> +> 🎓 ['Yenye vikwazo'](https://wikipedia.org/wiki/Constrained_clustering) +> +> [Constrained Clustering](https://web.cs.ucdavis.edu/~davidson/Publications/ICDMTutorial.pdf) inaletwa 'semi-supervised' learning katika mbinu hii isiyo ya usimamizi. Mahusiano kati ya pointi yamewekwa alama kama 'hayawezi kuunganishwa' au 'lazima yaunganishwe' hivyo sheria fulani zinalazimishwa kwenye dataset. +> +> Mfano: Ikiwa algoriti imeachiwa huru kwenye kundi la data isiyo na lebo au yenye lebo kidogo, clusters zinazozalisha zinaweza kuwa za ubora duni. Katika mfano hapo juu, clusters zinaweza kuunganisha 'vitu vya muziki vya mviringo' na 'vitu vya muziki vya mraba' na 'vitu vya pembetatu' na 'biskuti'. Ikiwa imepewa vikwazo fulani, au sheria za kufuata ("kipengele lazima kiwe cha plastiki", "kipengele kinahitaji kuwa na uwezo wa kutoa muziki") hii inaweza kusaidia 'kuzuia' algoriti kufanya uchaguzi bora. +> +> 🎓 'Density' +> +> Data ambayo ni 'noisy' inachukuliwa kuwa 'dense'. Umbali kati ya pointi katika kila cluster zake unaweza kuonyesha, kwa uchunguzi, kuwa zaidi au chini ya dense, au 'imejaa' na hivyo data hii inahitaji kuchambuliwa kwa mbinu sahihi ya clustering. [Makala hii](https://www.kdnuggets.com/2020/02/understanding-density-based-clustering.html) inaonyesha tofauti kati ya kutumia algoriti za K-Means clustering vs. HDBSCAN kuchunguza dataset yenye kelele na msongamano wa cluster usio sawa. + +## Algoriti za clustering + +Kuna zaidi ya algoriti 100 za clustering, na matumizi yake yanategemea asili ya data iliyo mkononi. Hebu tujadili baadhi ya zile kuu: + +- **Hierarchical clustering**. Ikiwa kitu kimeainishwa kwa ukaribu wake na kitu kilicho karibu, badala ya kile kilicho mbali zaidi, clusters zinaundwa kulingana na umbali wa wanachama wake na vitu vingine. Agglomerative clustering ya Scikit-learn ni hierarchical. + +  + > Infographic na [Dasani Madipalli](https://twitter.com/dasani_decoded) + +- **Centroid clustering**. Algoriti hii maarufu inahitaji kuchagua 'k', au idadi ya clusters za kuunda, baada ya hapo algoriti inaamua kituo cha cluster na kukusanya data karibu na kituo hicho. [K-means clustering](https://wikipedia.org/wiki/K-means_clustering) ni toleo maarufu la centroid clustering. Kituo kinaamuliwa na wastani wa karibu, hivyo jina. Umbali wa mraba kutoka kwenye cluster unapunguzwa. + +  + > Infographic na [Dasani Madipalli](https://twitter.com/dasani_decoded) + +- **Distribution-based clustering**. Inategemea modeli za takwimu, clustering inayotegemea usambazaji inajikita katika kubaini uwezekano kwamba kipengele cha data kinahusiana na cluster, na kukipeleka ipasavyo. Mbinu za Gaussian mixture ni za aina hii. + +- **Density-based clustering**. Vipengele vya data vinapewa clusters kulingana na density yao, au mkusanyiko wao karibu na kila mmoja. Vipengele vya data vilivyo mbali na kundi vinachukuliwa kuwa outliers au kelele. DBSCAN, Mean-shift na OPTICS ni za aina hii ya clustering. + +- **Grid-based clustering**. Kwa datasets za vipimo vingi, gridi inaundwa na data inagawanywa kati ya seli za gridi, hivyo kuunda clusters. + +## Zoezi - panga data yako + +Clustering kama mbinu inasaidiwa sana na taswira sahihi, kwa hivyo hebu tuanze kwa kutazama data yetu ya muziki. Zoezi hili litatusaidia kuamua ni mbinu gani za clustering tunazopaswa kutumia kwa ufanisi zaidi kwa asili ya data hii. + +1. Fungua faili [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/1-Visualize/notebook.ipynb) katika folda hii. + +1. Ingiza kifurushi cha `Seaborn` kwa taswira bora ya data. + + ```python + !pip install seaborn + ``` + +1. Ongeza data ya wimbo kutoka [_nigerian-songs.csv_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/data/nigerian-songs.csv). Pakia dataframe na data fulani kuhusu nyimbo. Jiandae kuchunguza data hii kwa kuingiza maktaba na kutoa data: + + ```python + import matplotlib.pyplot as plt + import pandas as pd + + df = pd.read_csv("../data/nigerian-songs.csv") + df.head() + ``` + + Angalia mistari ya kwanza ya data: + + | | name | album | artist | artist_top_genre | release_date | length | popularity | danceability | acousticness | energy | instrumentalness | liveness | loudness | speechiness | tempo | time_signature | + | --- | ------------------------ | ---------------------------- | ------------------- | ---------------- | ------------ | ------ | ---------- | ------------ | ------------ | ------ | ---------------- | -------- | -------- | ----------- | ------- | -------------- | + | 0 | Sparky | Mandy & The Jungle | Cruel Santino | alternative r&b | 2019 | 144000 | 48 | 0.666 | 0.851 | 0.42 | 0.534 | 0.11 | -6.699 | 0.0829 | 133.015 | 5 | + | 1 | shuga rush | EVERYTHING YOU HEARD IS TRUE | Odunsi (The Engine) | afropop | 2020 | 89488 | 30 | 0.71 | 0.0822 | 0.683 | 0.000169 | 0.101 | -5.64 | 0.36 | 129.993 | 3 | + | 2 | LITT! | LITT! | AYLØ | indie r&b | 2018 | 207758 | 40 | 0.836 | 0.272 | 0.564 | 0.000537 | 0.11 | -7.127 | 0.0424 | 130.005 | 4 | + | 3 | Confident / Feeling Cool | Enjoy Your Life | Lady Donli | nigerian pop | 2019 | 175135 | 14 | 0.894 | 0.798 | 0.611 | 0.000187 | 0.0964 | -4.961 | 0.113 | 111.087 | 4 | + | 4 | wanted you | rare. | Odunsi (The Engine) | afropop | 2018 | 152049 | 25 | 0.702 | 0.116 | 0.833 | 0.91 | 0.348 | -6.044 | 0.0447 | 105.115 | 4 | + +1. Pata taarifa kuhusu dataframe, kwa kuita `info()`: + + ```python + df.info() + ``` + + Matokeo yanaonekana kama hivi: + + ```output ++ RangeIndex: 530 entries, 0 to 529 + Data columns (total 16 columns): + # Column Non-Null Count Dtype + --- ------ -------------- ----- + 0 name 530 non-null object + 1 album 530 non-null object + 2 artist 530 non-null object + 3 artist_top_genre 530 non-null object + 4 release_date 530 non-null int64 + 5 length 530 non-null int64 + 6 popularity 530 non-null int64 + 7 danceability 530 non-null float64 + 8 acousticness 530 non-null float64 + 9 energy 530 non-null float64 + 10 instrumentalness 530 non-null float64 + 11 liveness 530 non-null float64 + 12 loudness 530 non-null float64 + 13 speechiness 530 non-null float64 + 14 tempo 530 non-null float64 + 15 time_signature 530 non-null int64 + dtypes: float64(8), int64(4), object(4) + memory usage: 66.4+ KB + ``` + +1. Angalia mara mbili kama kuna thamani za null, kwa kuita `isnull()` na kuthibitisha jumla kuwa 0: + + ```python + df.isnull().sum() + ``` + + Inaonekana vizuri: + + ```output + name 0 + album 0 + artist 0 + artist_top_genre 0 + release_date 0 + length 0 + popularity 0 + danceability 0 + acousticness 0 + energy 0 + instrumentalness 0 + liveness 0 + loudness 0 + speechiness 0 + tempo 0 + time_signature 0 + dtype: int64 + ``` + +1. Eleza data: + + ```python + df.describe() + ``` + + | | release_date | length | popularity | danceability | acousticness | energy | instrumentalness | liveness | loudness | speechiness | tempo | time_signature | + | ----- | ------------ | ----------- | ---------- | ------------ | ------------ | -------- | ---------------- | -------- | --------- | ----------- | ---------- | -------------- | + | count | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | + | mean | 2015.390566 | 222298.1698 | 17.507547 | 0.741619 | 0.265412 | 0.760623 | 0.016305 | 0.147308 | -4.953011 | 0.130748 | 116.487864 | 3.986792 | + | std | 3.131688 | 39696.82226 | +## [Jaribio baada ya somo](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/28/) + +## Mapitio na Kujisomea + +Kabla ya kutumia algorithms za clustering, kama tulivyojifunza, ni wazo zuri kuelewa asili ya dataset yako. Soma zaidi kuhusu mada hii [hapa](https://www.kdnuggets.com/2019/10/right-clustering-algorithm.html) + +[Makala hii ya msaada](https://www.freecodecamp.org/news/8-clustering-algorithms-in-machine-learning-that-all-data-scientists-should-know/) inakuelekeza njia tofauti ambazo algorithms mbalimbali za clustering zinavyofanya kazi, kutokana na maumbo tofauti ya data. + +## Kazi + +[Fanya utafiti juu ya visualizations nyingine za clustering](assignment.md) + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokubaliana. Hati ya asili katika lugha yake ya kiasili inapaswa kuzingatiwa kama chanzo rasmi. Kwa taarifa muhimu, inashauriwa kupata tafsiri ya kitaalamu ya kibinadamu. Hatutawajibika kwa kutokuelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/5-Clustering/1-Visualize/assignment.md b/translations/sw/5-Clustering/1-Visualize/assignment.md new file mode 100644 index 000000000..ea86f0a75 --- /dev/null +++ b/translations/sw/5-Clustering/1-Visualize/assignment.md @@ -0,0 +1,14 @@ +# Tafiti Visualizations Nyingine kwa Clustering + +## Maelekezo + +Katika somo hili, umeshughulika na mbinu kadhaa za kuonyesha data ili kupata ufahamu wa jinsi ya kuchora data yako kwa maandalizi ya kuigawanya. Scatterplots, hasa, ni muhimu kwa kupata makundi ya vitu. Tafiti njia tofauti na maktaba tofauti za kuunda scatterplots na andika kazi yako kwenye daftari. Unaweza kutumia data kutoka somo hili, masomo mengine, au data unayopata mwenyewe (tafadhali toa chanzo chake, hata hivyo, katika daftari lako). Chora baadhi ya data ukitumia scatterplots na eleza kile unachogundua. + +## Rubric + +| Vigezo | Bora Zaidi | Inayotosheleza | Inayohitaji Kuboresha | +| -------- | -------------------------------------------------------------- | --------------------------------------------------------------------------------------- | ---------------------------------- | +| | Daftari linaonyeshwa na scatterplots tano zilizoandikwa vizuri | Daftari linaonyeshwa na scatterplots chini ya tano na limeandikwa kidogo | Daftari halijakamilika linaonyeshwa | + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za kutafsiri za AI zinazotumia mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au upotofu. Hati asili katika lugha yake ya asili inapaswa kuchukuliwa kuwa chanzo cha mamlaka. Kwa taarifa muhimu, inashauriwa kupata tafsiri ya kitaalamu ya kibinadamu. Hatutawajibika kwa kutoelewana au tafsiri potofu zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/5-Clustering/1-Visualize/solution/Julia/README.md b/translations/sw/5-Clustering/1-Visualize/solution/Julia/README.md new file mode 100644 index 000000000..291f11ddb --- /dev/null +++ b/translations/sw/5-Clustering/1-Visualize/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI zinazotegemea mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au upungufu wa usahihi. Hati ya asili katika lugha yake ya kiasili inapaswa kuzingatiwa kama chanzo cha mamlaka. Kwa taarifa muhimu, tafsiri ya kitaalamu ya kibinadamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/5-Clustering/2-K-Means/README.md b/translations/sw/5-Clustering/2-K-Means/README.md new file mode 100644 index 000000000..ae27e851e --- /dev/null +++ b/translations/sw/5-Clustering/2-K-Means/README.md @@ -0,0 +1,250 @@ +# K-Means clustering + +## [Pre-lecture quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/29/) + +Katika somo hili, utajifunza jinsi ya kuunda vikundi kwa kutumia Scikit-learn na dataset ya muziki wa Nigeria uliyoiingiza awali. Tutashughulikia misingi ya K-Means kwa ajili ya Clustering. Kumbuka kwamba, kama ulivyojifunza katika somo la awali, kuna njia nyingi za kufanya kazi na vikundi na njia unayotumia inategemea data yako. Tutajaribu K-Means kwani ni mbinu ya kawaida zaidi ya clustering. Twende kazi! + +Maneno utakayojifunza: + +- Silhouette scoring +- Elbow method +- Inertia +- Variance + +## Utangulizi + +[K-Means Clustering](https://wikipedia.org/wiki/K-means_clustering) ni mbinu inayotokana na eneo la usindikaji wa ishara. Inatumika kugawanya na kugawa vikundi vya data katika 'k' clusters kwa kutumia mfululizo wa uchunguzi. Kila uchunguzi hufanya kazi ya kuweka kipengele cha data karibu zaidi na 'mean' yake, au sehemu ya kati ya cluster. + +Vikundi vinaweza kuonyeshwa kama [Voronoi diagrams](https://wikipedia.org/wiki/Voronoi_diagram), ambazo zinajumuisha sehemu (au 'mbegu') na eneo lake linalolingana. + + + +> infographic by [Jen Looper](https://twitter.com/jenlooper) + +Mchakato wa K-Means clustering [unatekelezwa katika hatua tatu](https://scikit-learn.org/stable/modules/clustering.html#k-means): + +1. Algorithimu huchagua idadi ya k ya sehemu za kati kwa kuchukua sampuli kutoka kwenye dataset. Baada ya hapo, inarudia: + 1. Inapeleka kila sampuli kwa centroid iliyo karibu zaidi. + 2. Inaunda centroids mpya kwa kuchukua thamani ya wastani wa sampuli zote zilizotolewa kwa centroids za awali. + 3. Kisha, inahesabu tofauti kati ya centroids mpya na za zamani na kurudia hadi centroids zitakapokuwa imara. + +Hasara moja ya kutumia K-Means ni kwamba utahitaji kuanzisha 'k', ambayo ni idadi ya centroids. Kwa bahati nzuri, 'elbow method' husaidia kukadiria thamani nzuri ya kuanzia kwa 'k'. Utaijaribu baada ya muda mfupi. + +## Sharti + +Utafanya kazi katika faili la [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/2-K-Means/notebook.ipynb) la somo hili ambalo linajumuisha uingizaji wa data na usafishaji wa awali ulioufanya katika somo lililopita. + +## Mazoezi - maandalizi + +Anza kwa kuangalia tena data ya nyimbo. + +1. Unda boxplot, ukipiga `boxplot()` kwa kila safu: + + ```python + plt.figure(figsize=(20,20), dpi=200) + + plt.subplot(4,3,1) + sns.boxplot(x = 'popularity', data = df) + + plt.subplot(4,3,2) + sns.boxplot(x = 'acousticness', data = df) + + plt.subplot(4,3,3) + sns.boxplot(x = 'energy', data = df) + + plt.subplot(4,3,4) + sns.boxplot(x = 'instrumentalness', data = df) + + plt.subplot(4,3,5) + sns.boxplot(x = 'liveness', data = df) + + plt.subplot(4,3,6) + sns.boxplot(x = 'loudness', data = df) + + plt.subplot(4,3,7) + sns.boxplot(x = 'speechiness', data = df) + + plt.subplot(4,3,8) + sns.boxplot(x = 'tempo', data = df) + + plt.subplot(4,3,9) + sns.boxplot(x = 'time_signature', data = df) + + plt.subplot(4,3,10) + sns.boxplot(x = 'danceability', data = df) + + plt.subplot(4,3,11) + sns.boxplot(x = 'length', data = df) + + plt.subplot(4,3,12) + sns.boxplot(x = 'release_date', data = df) + ``` + + Data hii ni kidogo yenye kelele: kwa kuangalia kila safu kama boxplot, unaweza kuona outliers. + +  + +Unaweza kupitia dataset na kuondoa hizi outliers, lakini hiyo ingefanya data kuwa kidogo sana. + +1. Kwa sasa, chagua safu ambazo utatumia kwa zoezi lako la clustering. Chagua zile zenye anuwai zinazofanana na encode safu ya `artist_top_genre` kama data ya nambari: + + ```python + from sklearn.preprocessing import LabelEncoder + le = LabelEncoder() + + X = df.loc[:, ('artist_top_genre','popularity','danceability','acousticness','loudness','energy')] + + y = df['artist_top_genre'] + + X['artist_top_genre'] = le.fit_transform(X['artist_top_genre']) + + y = le.transform(y) + ``` + +1. Sasa unahitaji kuchagua idadi ya clusters za kulenga. Unajua kuna aina 3 za nyimbo ambazo tulizitenga kutoka kwenye dataset, kwa hivyo jaribu 3: + + ```python + from sklearn.cluster import KMeans + + nclusters = 3 + seed = 0 + + km = KMeans(n_clusters=nclusters, random_state=seed) + km.fit(X) + + # Predict the cluster for each data point + + y_cluster_kmeans = km.predict(X) + y_cluster_kmeans + ``` + +Unaona safu iliyochapishwa na clusters zilizotabiriwa (0, 1, au 2) kwa kila safu ya dataframe. + +1. Tumia safu hii kuhesabu 'silhouette score': + + ```python + from sklearn import metrics + score = metrics.silhouette_score(X, y_cluster_kmeans) + score + ``` + +## Silhouette score + +Tafuta silhouette score iliyo karibu na 1. Alama hii inatofautiana kutoka -1 hadi 1, na ikiwa alama ni 1, cluster ni mnene na imejitenga vizuri na clusters nyingine. Thamani karibu na 0 inawakilisha clusters zinazofuatana na sampuli ziko karibu sana na mipaka ya maamuzi ya clusters jirani. [(Chanzo)](https://dzone.com/articles/kmeans-silhouette-score-explained-with-python-exam) + +Alama yetu ni **.53**, kwa hivyo katikati. Hii inaonyesha kwamba data yetu haifai sana kwa aina hii ya clustering, lakini tuendelee. + +### Mazoezi - jenga modeli + +1. Ingiza `KMeans` na anza mchakato wa clustering. + + ```python + from sklearn.cluster import KMeans + wcss = [] + + for i in range(1, 11): + kmeans = KMeans(n_clusters = i, init = 'k-means++', random_state = 42) + kmeans.fit(X) + wcss.append(kmeans.inertia_) + + ``` + + Kuna sehemu chache hapa ambazo zinahitaji maelezo. + + > 🎓 range: Hizi ni iterations za mchakato wa clustering + + > 🎓 random_state: "Inabainisha uzalishaji wa nambari za bahati nasibu kwa uanzishaji wa centroid." [Chanzo](https://scikit-learn.org/stable/modules/generated/sklearn.cluster.KMeans.html#sklearn.cluster.KMeans) + + > 🎓 WCSS: "within-cluster sums of squares" hupima umbali wa wastani wa mraba wa pointi zote ndani ya cluster hadi kwenye centroid ya cluster. [Chanzo](https://medium.com/@ODSC/unsupervised-learning-evaluating-clusters-bd47eed175ce). + + > 🎓 Inertia: Algorithimu za K-Means hujaribu kuchagua centroids kupunguza 'inertia', "kipimo cha jinsi clusters zilivyo na mshikamano wa ndani." [Chanzo](https://scikit-learn.org/stable/modules/clustering.html). Thamani inaongezwa kwenye variable ya wcss katika kila iteration. + + > 🎓 k-means++: Katika [Scikit-learn](https://scikit-learn.org/stable/modules/clustering.html#k-means) unaweza kutumia 'k-means++' optimization, ambayo "inaanzisha centroids kuwa (kwa ujumla) mbali kutoka kwa kila mmoja, na kusababisha matokeo bora kuliko uanzishaji wa nasibu. + +### Elbow method + +Awali, ulidhani kwamba, kwa kuwa ulilenga aina 3 za nyimbo, unapaswa kuchagua clusters 3. Lakini je, ni hivyo? + +1. Tumia 'elbow method' kuhakikisha. + + ```python + plt.figure(figsize=(10,5)) + sns.lineplot(x=range(1, 11), y=wcss, marker='o', color='red') + plt.title('Elbow') + plt.xlabel('Number of clusters') + plt.ylabel('WCSS') + plt.show() + ``` + + Tumia variable ya `wcss` ambayo uliijenga katika hatua ya awali kuunda chati inayoonyesha wapi 'bend' katika elbow ipo, ambayo inaonyesha idadi bora ya clusters. Labda ni **3**! + +  + +## Mazoezi - onyesha clusters + +1. Jaribu mchakato tena, wakati huu ukiweka clusters tatu, na uonyeshe clusters kama scatterplot: + + ```python + from sklearn.cluster import KMeans + kmeans = KMeans(n_clusters = 3) + kmeans.fit(X) + labels = kmeans.predict(X) + plt.scatter(df['popularity'],df['danceability'],c = labels) + plt.xlabel('popularity') + plt.ylabel('danceability') + plt.show() + ``` + +1. Angalia usahihi wa modeli: + + ```python + labels = kmeans.labels_ + + correct_labels = sum(y == labels) + + print("Result: %d out of %d samples were correctly labeled." % (correct_labels, y.size)) + + print('Accuracy score: {0:0.2f}'. format(correct_labels/float(y.size))) + ``` + + Usahihi wa modeli hii sio mzuri sana, na umbo la clusters linakupa dokezo kwa nini. + +  + + Data hii ni isiyo na usawa, haijakolea sana na kuna tofauti kubwa kati ya thamani za safu ili kuunda clusters vizuri. Kwa kweli, clusters zinazoundwa zinaweza kuwa zimeathiriwa sana au kupotoshwa na aina tatu za muziki tulizozitaja hapo juu. Huo ulikuwa mchakato wa kujifunza! + + Katika nyaraka za Scikit-learn, unaweza kuona kwamba modeli kama hii, yenye clusters ambazo hazijatengwa vizuri, ina tatizo la 'variance': + +  + > Infographic kutoka Scikit-learn + +## Variance + +Variance inafafanuliwa kama "wastani wa tofauti za mraba kutoka kwa Mean" [(Chanzo)](https://www.mathsisfun.com/data/standard-deviation.html). Katika muktadha wa tatizo hili la clustering, inahusu data ambayo nambari za dataset yetu zina mwelekeo wa kutofautiana sana kutoka kwa wastani. + +✅ Huu ni wakati mzuri wa kufikiria njia zote ambazo unaweza kurekebisha tatizo hili. Kuboresha data zaidi? Kutumia safu tofauti? Kutumia algorithimu tofauti? Dokezo: Jaribu [kusawazisha data yako](https://www.mygreatlearning.com/blog/learning-data-science-with-k-means-clustering/) ili kuifanya iwe kawaida na jaribu safu zingine. + +> Jaribu hii '[variance calculator](https://www.calculatorsoup.com/calculators/statistics/variance-calculator.php)' kuelewa dhana zaidi. + +--- + +## 🚀Changamoto + +Tumia muda na notebook hii, ukibadilisha vigezo. Je, unaweza kuboresha usahihi wa modeli kwa kusafisha data zaidi (kuondoa outliers, kwa mfano)? Unaweza kutumia uzito kutoa uzito zaidi kwa sampuli fulani za data. Unaweza kufanya nini kingine kuunda clusters bora? + +Dokezo: Jaribu kusawazisha data yako. Kuna msimbo uliotolewa maoni katika notebook unaoongeza kusawazisha kwa kiwango cha kawaida ili kufanya safu za data zifanane zaidi kwa karibu kwa suala la anuwai. Utapata kuwa wakati silhouette score inashuka, 'kink' katika grafu ya elbow inakuwa laini zaidi. Hii ni kwa sababu kuacha data bila kusawazishwa kunaruhusu data yenye tofauti ndogo kubeba uzito zaidi. Soma zaidi kuhusu tatizo hili [hapa](https://stats.stackexchange.com/questions/21222/are-mean-normalization-and-feature-scaling-needed-for-k-means-clustering/21226#21226). + +## [Post-lecture quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/30/) + +## Mapitio & Kujisomea + +Angalia K-Means Simulator [kama hii](https://user.ceng.metu.edu.tr/~akifakkus/courses/ceng574/k-means/). Unaweza kutumia zana hii kuona pointi za sampuli za data na kubaini centroids zake. Unaweza kuhariri nasibu ya data, idadi ya clusters na idadi ya centroids. Je, hii inakusaidia kupata wazo la jinsi data inaweza kugawanywa? + +Pia, angalia [handout hii juu ya K-Means](https://stanford.edu/~cpiech/cs221/handouts/kmeans.html) kutoka Stanford. + +## Kazi + +[Jaribu njia tofauti za clustering](assignment.md) + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI zinazotegemea mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwa sahihi. Hati asilia katika lugha yake ya asili inapaswa kuchukuliwa kama chanzo chenye mamlaka. Kwa taarifa muhimu, tafsiri ya kitaalamu ya binadamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/5-Clustering/2-K-Means/assignment.md b/translations/sw/5-Clustering/2-K-Means/assignment.md new file mode 100644 index 000000000..ddd7c1939 --- /dev/null +++ b/translations/sw/5-Clustering/2-K-Means/assignment.md @@ -0,0 +1,13 @@ +# Jaribu Njia Mbalimbali za Kuunda Makundi + +## Maelekezo + +Katika somo hili ulijifunza kuhusu K-Means clustering. Wakati mwingine K-Means haifai kwa data yako. Unda daftari la mazoezi ukitumia data kutoka kwenye masomo haya au kutoka sehemu nyingine (toa chanzo chako) na onyesha njia tofauti ya kuunda makundi ISIYOTUMIA K-Means. Umejifunza nini? +## Rubric + +| Kigezo | Bora Sana | Kutosha | Inahitaji Kuboresha | +| -------- | --------------------------------------------------------------- | -------------------------------------------------------------------- | ----------------------------- | +| | Daftari la mazoezi limewasilishwa na lina modeli ya kuunda makundi iliyoandikwa vizuri | Daftari la mazoezi limewasilishwa bila maelezo mazuri na/au halijakamilika | Kazi isiyokamilika imewasilishwa | + +**Onyo**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwa sahihi. Hati ya asili katika lugha yake ya kiasili inapaswa kuzingatiwa kama chanzo cha mamlaka. Kwa taarifa muhimu, inashauriwa kutumia tafsiri ya kitaalamu ya kibinadamu. Hatutawajibika kwa kutoelewana au tafsiri potofu zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/5-Clustering/2-K-Means/solution/Julia/README.md b/translations/sw/5-Clustering/2-K-Means/solution/Julia/README.md new file mode 100644 index 000000000..5e36efbae --- /dev/null +++ b/translations/sw/5-Clustering/2-K-Means/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwepo kwa usahihi. Hati ya asili katika lugha yake ya asili inapaswa kuzingatiwa kama chanzo cha mamlaka. Kwa taarifa muhimu, tafsiri ya kibinadamu ya kitaalam inapendekezwa. Hatutawajibika kwa kutokuelewana au tafsiri potofu zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/5-Clustering/README.md b/translations/sw/5-Clustering/README.md new file mode 100644 index 000000000..d94b24b5b --- /dev/null +++ b/translations/sw/5-Clustering/README.md @@ -0,0 +1,31 @@ +# Mifano ya Clustering kwa ajili ya ujifunzaji wa mashine + +Clustering ni kazi ya ujifunzaji wa mashine ambapo inatafuta vitu vinavyofanana na kuviweka katika makundi yanayoitwa clusters. Kitu kinachotofautisha clustering na mbinu nyingine za ujifunzaji wa mashine ni kwamba mambo hufanyika moja kwa moja, kwa kweli, ni sahihi kusema ni kinyume cha ujifunzaji unaosimamiwa. + +## Mada ya Kikanda: mifano ya clustering kwa ladha ya muziki ya hadhira ya Nigeria 🎧 + +Hadhira ya Nigeria ina ladha mbalimbali za muziki. Kutumia data zilizokusanywa kutoka Spotify (zilizoongozwa na [makala hii](https://towardsdatascience.com/country-wise-visual-analysis-of-music-taste-using-spotify-api-seaborn-in-python-77f5b749b421)), hebu tuangalie baadhi ya muziki maarufu nchini Nigeria. Dataset hii inajumuisha data kuhusu alama za 'danceability' za nyimbo mbalimbali, 'acousticness', kelele, 'speechiness', umaarufu na nishati. Itakuwa ya kuvutia kugundua mifumo katika data hii! + + + +> Picha na Marcela Laskoski kwenye Unsplash + +Katika mfululizo huu wa masomo, utagundua njia mpya za kuchambua data kwa kutumia mbinu za clustering. Clustering ni muhimu sana wakati dataset yako haina lebo. Ikiwa ina lebo, basi mbinu za uainishaji kama zile ulizojifunza katika masomo ya awali zinaweza kuwa na manufaa zaidi. Lakini katika hali ambapo unatafuta kuunganisha data isiyo na lebo, clustering ni njia nzuri ya kugundua mifumo. + +> Kuna zana za kiwango cha chini cha msimbo zinazoweza kukusaidia kujifunza kuhusu kufanya kazi na mifano ya clustering. Jaribu [Azure ML kwa kazi hii](https://docs.microsoft.com/learn/modules/create-clustering-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott) + +## Masomo + +1. [Utangulizi wa clustering](1-Visualize/README.md) +2. [Clustering ya K-Means](2-K-Means/README.md) + +## Shukrani + +Masomo haya yaliandikwa na 🎶 na [Jen Looper](https://www.twitter.com/jenlooper) kwa ukaguzi wa msaada kutoka kwa [Rishit Dagli](https://rishit_dagli) na [Muhammad Sakib Khan Inan](https://twitter.com/Sakibinan). + +Dataset ya [Nyimbo za Nigeria](https://www.kaggle.com/sootersaalu/nigerian-songs-spotify) ilitolewa kutoka Kaggle kama ilivyokusanywa kutoka Spotify. + +Mifano ya K-Means yenye manufaa ambayo ilisaidia katika kuunda somo hili ni pamoja na huu [uchunguzi wa iris](https://www.kaggle.com/bburns/iris-exploration-pca-k-means-and-gmm-clustering), hii [notebook ya utangulizi](https://www.kaggle.com/prashant111/k-means-clustering-with-python), na huu [mfano wa kidhahania wa NGO](https://www.kaggle.com/ankandash/pca-k-means-clustering-hierarchical-clustering). + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI zinazotumia mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwa sahihi. Hati asili katika lugha yake ya awali inapaswa kuchukuliwa kama chanzo cha mamlaka. Kwa taarifa muhimu, tafsiri ya kibinadamu ya kitaalamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/6-NLP/1-Introduction-to-NLP/README.md b/translations/sw/6-NLP/1-Introduction-to-NLP/README.md new file mode 100644 index 000000000..e5c59ec06 --- /dev/null +++ b/translations/sw/6-NLP/1-Introduction-to-NLP/README.md @@ -0,0 +1,168 @@ +# Utangulizi wa usindikaji wa lugha asilia + +Somo hili linashughulikia historia fupi na dhana muhimu za *usindikaji wa lugha asilia*, tawi la *isimu ya kompyuta*. + +## [Jaribio kabla ya somo](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/31/) + +## Utangulizi + +NLP, kama inavyojulikana, ni moja ya maeneo yanayojulikana zaidi ambapo kujifunza kwa mashine kumetumika na kutumiwa katika programu za uzalishaji. + +✅ Je, unaweza kufikiria programu unayotumia kila siku ambayo labda ina baadhi ya NLP iliyojumuishwa? Je, kuhusu programu zako za kuandika au programu za simu unazotumia mara kwa mara? + +Utaweza kujifunza kuhusu: + +- **Wazo la lugha**. Jinsi lugha zilivyoendelea na maeneo makubwa ya utafiti yamekuwa nini. +- **Ufafanuzi na dhana**. Pia utajifunza ufafanuzi na dhana kuhusu jinsi kompyuta zinavyosindika maandishi, ikiwa ni pamoja na uchambuzi, sarufi, na kutambua nomino na vitenzi. Kuna baadhi ya kazi za programu katika somo hili, na dhana kadhaa muhimu zinaanzishwa ambazo utajifunza kuandika baadaye katika masomo yafuatayo. + +## Isimu ya kompyuta + +Isimu ya kompyuta ni eneo la utafiti na maendeleo kwa miongo mingi ambalo linachunguza jinsi kompyuta zinaweza kufanya kazi na hata kuelewa, kutafsiri, na kuwasiliana na lugha. Usindikaji wa lugha asilia (NLP) ni uwanja unaohusiana unaozingatia jinsi kompyuta zinaweza kusindika lugha za 'asili', au lugha za kibinadamu. + +### Mfano - uchapaji kwa simu + +Ikiwa umewahi kuchapisha kwa simu yako badala ya kuandika au kumuuliza msaidizi wa virtual swali, hotuba yako ilibadilishwa kuwa maandishi na kisha kusindika au *kuchambuliwa* kutoka kwa lugha uliyoongea. Maneno muhimu yaliyogunduliwa kisha yalisindika kuwa muundo ambao simu au msaidizi angeweza kuelewa na kutekeleza. + + +> Ufahamu wa lugha halisi ni ngumu! Picha na [Jen Looper](https://twitter.com/jenlooper) + +### Teknolojia hii inafanyikaje? + +Hii inawezekana kwa sababu mtu aliandika programu ya kompyuta kufanya hivi. Miongo michache iliyopita, baadhi ya waandishi wa hadithi za sayansi walitabiri kuwa watu wangezungumza zaidi na kompyuta zao, na kompyuta zingeelewa kila mara walichomaanisha. Kwa bahati mbaya, iligeuka kuwa tatizo gumu zaidi kuliko wengi walivyofikiria, na ingawa ni tatizo linaloeleweka vizuri zaidi leo, kuna changamoto kubwa katika kufanikisha usindikaji wa lugha asilia 'mkamilifu' linapokuja suala la kuelewa maana ya sentensi. Hili ni tatizo gumu hasa linapokuja suala la kuelewa ucheshi au kugundua hisia kama vile kejeli katika sentensi. + +Kwa wakati huu, unaweza kukumbuka madarasa ya shule ambapo mwalimu alifundisha sehemu za sarufi katika sentensi. Katika baadhi ya nchi, wanafunzi hufundishwa sarufi na isimu kama somo maalum, lakini katika nyingi, mada hizi hujumuishwa kama sehemu ya kujifunza lugha: ama lugha yako ya kwanza katika shule ya msingi (kujifunza kusoma na kuandika) na labda lugha ya pili baada ya msingi, au shule ya upili. Usijali ikiwa wewe si mtaalamu wa kutofautisha nomino na vitenzi au viambishi na vivumishi! + +Ikiwa unapata shida na tofauti kati ya *wakati uliopo rahisi* na *wakati uliopo endelevu*, hauko peke yako. Hii ni jambo gumu kwa watu wengi, hata wasemaji wa lugha ya asili. Habari njema ni kwamba kompyuta ni nzuri sana katika kutumia sheria rasmi, na utajifunza kuandika programu ambayo inaweza *kuchambua* sentensi kama vile binadamu. Changamoto kubwa zaidi utakayochunguza baadaye ni kuelewa *maana*, na *hisia*, ya sentensi. + +## Mahitaji ya awali + +Kwa somo hili, hitaji kuu la awali ni kuwa na uwezo wa kusoma na kuelewa lugha ya somo hili. Hakuna matatizo ya hesabu au usawa wa kutatua. Wakati mwandishi asili aliandika somo hili kwa Kiingereza, pia limetafsiriwa katika lugha zingine, kwa hivyo unaweza kuwa unasoma tafsiri. Kuna mifano ambapo lugha kadhaa tofauti zinatumika (kulinganisha sheria za sarufi tofauti za lugha tofauti). Hizi *hazijatafsiriwa*, lakini maandishi ya maelezo yametafsiriwa, kwa hivyo maana inapaswa kuwa wazi. + +Kwa kazi za programu, utatumia Python na mifano inatumia Python 3.8. + +Katika sehemu hii, utahitaji, na kutumia: + +- **Uelewa wa Python 3**. Uelewa wa lugha ya programu katika Python 3, somo hili linatumia pembejeo, loop, kusoma faili, arrays. +- **Visual Studio Code + kiendelezi**. Tutatumia Visual Studio Code na kiendelezi chake cha Python. Unaweza pia kutumia IDE ya Python unayopenda. +- **TextBlob**. [TextBlob](https://github.com/sloria/TextBlob) ni maktaba rahisi ya usindikaji wa maandishi kwa Python. Fuata maelekezo kwenye tovuti ya TextBlob ili kuisakinisha kwenye mfumo wako (sakinisha corpora pia, kama inavyoonyeshwa hapa chini): + + ```bash + pip install -U textblob + python -m textblob.download_corpora + ``` + +> 💡 Kidokezo: Unaweza kuendesha Python moja kwa moja katika mazingira ya VS Code. Angalia [docs](https://code.visualstudio.com/docs/languages/python?WT.mc_id=academic-77952-leestott) kwa habari zaidi. + +## Kuzungumza na mashine + +Historia ya kujaribu kufanya kompyuta kuelewa lugha ya kibinadamu inarudi nyuma miongo kadhaa, na mmoja wa wanasayansi wa kwanza kuzingatia usindikaji wa lugha asilia alikuwa *Alan Turing*. + +### Jaribio la 'Turing' + +Wakati Turing alikuwa akifanya utafiti juu ya *akili bandia* katika miaka ya 1950, alifikiria ikiwa jaribio la mazungumzo linaweza kufanywa kwa binadamu na kompyuta (kupitia mawasiliano yaliyoandikwa) ambapo binadamu katika mazungumzo hakuwa na uhakika ikiwa alikuwa akizungumza na binadamu mwingine au kompyuta. + +Ikiwa, baada ya muda fulani wa mazungumzo, binadamu hangeweza kuamua kuwa majibu yalitoka kwa kompyuta au la, basi je, kompyuta ingeweza kusemwa kuwa *inawaza*? + +### Msukumo - 'mchezo wa kuiga' + +Wazo hili lilitokana na mchezo wa karamu uitwao *Mchezo wa Kuiga* ambapo mhojiwa yuko peke yake katika chumba na ana jukumu la kuamua ni nani kati ya watu wawili (katika chumba kingine) ni mwanaume na mwanamke mtawalia. Mhojiwa anaweza kutuma maelezo, na lazima ajaribu kufikiria maswali ambapo majibu yaliyoandikwa yanafichua jinsia ya mtu wa fumbo. Bila shaka, wachezaji katika chumba kingine wanajaribu kumdanganya mhojiwa kwa kujibu maswali kwa njia ya kupotosha au kuchanganya mhojiwa, huku pia wakijaribu kuonekana kama wanajibu kwa uaminifu. + +### Kuendeleza Eliza + +Katika miaka ya 1960 mwanasayansi wa MIT aitwaye *Joseph Weizenbaum* aliendeleza [*Eliza*](https://wikipedia.org/wiki/ELIZA), 'mtaalamu' wa kompyuta ambaye angeuliza maswali kwa binadamu na kuonekana kama anaelewa majibu yao. Hata hivyo, ingawa Eliza angeweza kuchambua sentensi na kutambua baadhi ya miundo ya kisarufi na maneno muhimu ili kutoa jibu linalofaa, haingeweza kusemwa kuwa *inaelewa* sentensi. Ikiwa Eliza ingepewa sentensi inayofuata muundo "**Mimi ni** huzuni" inaweza kupanga upya na kubadilisha maneno katika sentensi ili kuunda jibu "Umekuwa **wewe ni** huzuni kwa muda gani". + +Hii ilitoa picha kwamba Eliza aliuelewa kauli hiyo na alikuwa akiuliza swali la ufuatiliaji, wakati kwa kweli, ilikuwa ikibadilisha wakati na kuongeza baadhi ya maneno. Ikiwa Eliza haingeweza kutambua neno kuu ambalo lilikuwa na jibu lake, ingetoa jibu la nasibu ambalo lingeweza kutumika kwa kauli nyingi tofauti. Eliza angeweza kudanganywa kwa urahisi, kwa mfano ikiwa mtumiaji aliandika "**Wewe ni** baiskeli" inaweza kujibu "Umekuwa **mimi ni** baiskeli kwa muda gani?", badala ya jibu lenye busara zaidi. + +[](https://youtu.be/RMK9AphfLco "Kuzungumza na Eliza") + +> 🎥 Bofya picha hapo juu kwa video kuhusu programu asili ya ELIZA + +> Kumbuka: Unaweza kusoma maelezo asili ya [Eliza](https://cacm.acm.org/magazines/1966/1/13317-elizaa-computer-program-for-the-study-of-natural-language-communication-between-man-and-machine/abstract) yaliyochapishwa mwaka 1966 ikiwa una akaunti ya ACM. Vinginevyo, soma kuhusu Eliza kwenye [wikipedia](https://wikipedia.org/wiki/ELIZA) + +## Zoezi - kuandika bot ya mazungumzo ya msingi + +Bot ya mazungumzo, kama Eliza, ni programu inayochochea pembejeo za mtumiaji na kuonekana kuelewa na kujibu kwa busara. Tofauti na Eliza, bot yetu haitakuwa na sheria kadhaa zinazompa mwonekano wa kuwa na mazungumzo yenye akili. Badala yake, bot yetu itakuwa na uwezo mmoja tu, kuendelea na mazungumzo na majibu ya nasibu ambayo yanaweza kufanya kazi karibu katika mazungumzo yoyote ya kijinga. + +### Mpango + +Hatua zako unapojenga bot ya mazungumzo: + +1. Chapisha maagizo yanayomshauri mtumiaji jinsi ya kuingiliana na bot +2. Anzisha kitanzi + 1. Kubali pembejeo za mtumiaji + 2. Ikiwa mtumiaji ameomba kutoka, basi toka + 3. Sindika pembejeo za mtumiaji na uamue jibu (katika kesi hii, jibu ni chaguo la nasibu kutoka kwenye orodha ya majibu yanayowezekana) + 4. Chapisha jibu +3. rudi kwenye hatua ya 2 + +### Kujenga bot + +Wacha tuunde bot sasa. Tutaanza kwa kufafanua baadhi ya misemo. + +1. Unda bot hii mwenyewe kwa Python na majibu ya nasibu yafuatayo: + + ```python + random_responses = ["That is quite interesting, please tell me more.", + "I see. Do go on.", + "Why do you say that?", + "Funny weather we've been having, isn't it?", + "Let's change the subject.", + "Did you catch the game last night?"] + ``` + + Hapa kuna baadhi ya matokeo ya sampuli ya kukuongoza (pembejeo za mtumiaji ziko kwenye mistari inayoanza na `>`): + + ```output + Hello, I am Marvin, the simple robot. + You can end this conversation at any time by typing 'bye' + After typing each answer, press 'enter' + How are you today? + > I am good thanks + That is quite interesting, please tell me more. + > today I went for a walk + Did you catch the game last night? + > I did, but my team lost + Funny weather we've been having, isn't it? + > yes but I hope next week is better + Let's change the subject. + > ok, lets talk about music + Why do you say that? + > because I like music! + Why do you say that? + > bye + It was nice talking to you, goodbye! + ``` + + Suluhisho moja linalowezekana kwa kazi ni [hapa](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/1-Introduction-to-NLP/solution/bot.py) + + ✅ Simama na fikiria + + 1. Je, unafikiri majibu ya nasibu yangemdanganya mtu kufikiri kwamba bot kwa kweli ilimuelewa? + 2. Ni vipengele gani bot ingehitaji kuwa bora zaidi? + 3. Ikiwa bot ingeweza kweli 'kuelewa' maana ya sentensi, je, ingehitaji 'kumbuka' maana ya sentensi za awali katika mazungumzo pia? + +--- + +## 🚀Changamoto + +Chagua mojawapo ya vipengele vya "simama na fikiria" hapo juu na ujaribu kuvitumia kwa programu au andika suluhisho kwenye karatasi kwa kutumia pseudocode. + +Katika somo lijalo, utajifunza kuhusu mbinu kadhaa zingine za kuchambua lugha asilia na kujifunza kwa mashine. + +## [Jaribio baada ya somo](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/32/) + +## Mapitio & Kujisomea + +Angalia marejeo hapa chini kama fursa za kusoma zaidi. + +### Marejeo + +1. Schubert, Lenhart, "Isimu ya Kompyuta", *The Stanford Encyclopedia of Philosophy* (Toleo la Spring 2020), Edward N. Zalta (ed.), URL =
| Maoni Chanya | Lebo | +| -------------- | ---------------------- | ---------------- | :------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | --------------------------------- | ----------------------------------------------------------------------------------------- | +| 7.8 | 1945 | 2.5 | Hii kwa sasa sio hoteli lakini ni eneo la ujenzi niliteswa kutoka asubuhi na mapema na siku nzima na kelele za ujenzi zisizokubalika wakati wa kupumzika baada ya safari ndefu na kufanya kazi chumbani Watu walikuwa wakifanya kazi siku nzima i e na nyundo za umeme katika vyumba vya jirani niliomba kubadilisha chumba lakini hakuna chumba kimya kilichopatikana Ili kufanya mambo kuwa mabaya zaidi nilitozwa zaidi niliondoka jioni kwa kuwa nilihitaji kuondoka mapema sana kwa ndege na kupokea bili inayofaa Siku moja baadaye hoteli ilifanya malipo mengine bila idhini yangu zaidi ya bei iliyowekwa Ni mahali pabaya Usijiteshe kwa kujibook hapa | Hakuna Mahali pabaya Kaa mbali | Safari ya kikazi Wenzi Chumba cha kawaida cha mara mbili Kaa usiku 2 | + +Kama unavyoona, mgeni huyu hakuwa na kukaa vizuri katika hoteli hii. Hoteli ina alama nzuri ya wastani ya 7.8 na maoni 1945, lakini mtoa maoni huyu alitoa alama 2.5 na kuandika maneno 115 kuhusu jinsi kukaa kwao kulivyokuwa hasi. Ikiwa hawakuandika chochote kabisa katika safu ya Positive_Review, unaweza kudhani hakuna kitu chanya, lakini walakini waliandika maneno 7 ya onyo. Ikiwa tungehisabu maneno badala ya maana, au hisia za maneno, tunaweza kuwa na mtazamo potofu wa nia ya mtoa maoni. Kwa kushangaza, alama yao ya 2.5 inachanganya, kwa sababu ikiwa kukaa kwao katika hoteli hiyo kulikuwa kibaya sana, kwa nini wape alama yoyote kabisa? Kuchunguza seti ya data kwa karibu, utaona kuwa alama ya chini kabisa inayowezekana ni 2.5, sio 0. Alama ya juu kabisa inayowezekana ni 10. + +##### Lebo + +Kama ilivyotajwa hapo juu, kwa mtazamo wa kwanza, wazo la kutumia `Tags` kuainisha data linaonekana kuwa na maana. Kwa bahati mbaya lebo hizi hazijasanifishwa, ambayo inamaanisha kuwa katika hoteli fulani, chaguzi zinaweza kuwa *Chumba kimoja*, *Chumba pacha*, na *Chumba mara mbili*, lakini katika hoteli nyingine, ni *Chumba cha Deluxe Single*, *Chumba cha Classic Queen*, na *Chumba cha Executive King*. Hizi zinaweza kuwa vitu sawa, lakini kuna tofauti nyingi sana kwamba chaguo linakuwa: + +1. Jaribu kubadilisha maneno yote kuwa kiwango kimoja, ambayo ni ngumu sana, kwa sababu haijulikani njia ya kubadilisha itakuwa nini katika kila kesi (mfano, *Chumba kimoja cha classic* kinaenda kwa *Chumba kimoja* lakini *Chumba cha Superior Queen na Mtazamo wa Bustani ya Ua au Jiji* ni ngumu zaidi kubadilisha) + +1. Tunaweza kuchukua njia ya NLP na kupima marudio ya maneno fulani kama *Solo*, *Msafiri wa Biashara*, au *Familia yenye watoto wadogo* jinsi zinavyotumika kwa kila hoteli, na kuingiza hiyo katika mapendekezo + +Lebo kawaida (lakini si mara zote) ni uwanja mmoja unaojumuisha orodha ya maadili 5 hadi 6 yaliyotenganishwa kwa koma yanayolingana na *Aina ya safari*, *Aina ya wageni*, *Aina ya chumba*, *Idadi ya usiku*, na *Aina ya kifaa maoni yalivyowasilishwa*. Hata hivyo, kwa sababu waandishi wa maoni wengine hawajazi kila uwanja (wanaweza kuacha moja wazi), maadili hayako katika mpangilio sawa kila wakati. + +Kwa mfano, chukua *Aina ya kikundi*. Kuna uwezekano wa kipekee 1025 katika uwanja huu katika safu ya `Tags`, na kwa bahati mbaya ni baadhi tu yao yanayohusu kikundi (baadhi ni aina ya chumba n.k.). Ikiwa unachuja zile zinazotaja familia pekee, matokeo yana maadili mengi ya aina ya *Chumba cha familia*. Ikiwa unajumuisha neno *na*, yaani hesabu maadili ya *Familia na*, matokeo ni bora, na zaidi ya 80,000 ya matokeo 515,000 yanajumuisha maneno "Familia na watoto wadogo" au "Familia na watoto wakubwa". + +Hii inamaanisha safu ya lebo sio bure kabisa kwetu, lakini itachukua kazi kuifanya iwe na maana. + +##### Alama ya wastani ya hoteli + +Kuna mambo kadhaa yasiyoeleweka au tofauti na seti ya data ambayo siwezi kuelewa, lakini yanaonyeshwa hapa ili uweze kujua wakati wa kujenga mifano yako. Ikiwa utaelewa, tafadhali tujulishe katika sehemu ya majadiliano! + +Seti ya data ina safu zifuatazo zinazohusiana na alama ya wastani na idadi ya maoni: + +1. Hotel_Name +2. Additional_Number_of_Scoring +3. Average_Score +4. Total_Number_of_Reviews +5. Reviewer_Score + +Hoteli moja yenye maoni mengi zaidi katika seti hii ya data ni *Britannia International Hotel Canary Wharf* yenye maoni 4789 kati ya 515,000. Lakini ikiwa tutaangalia thamani ya `Total_Number_of_Reviews` kwa hoteli hii, ni 9086. Unaweza kudhani kuwa kuna alama nyingi zaidi bila maoni, hivyo labda tunapaswa kuongeza thamani ya safu ya `Additional_Number_of_Scoring`. Thamani hiyo ni 2682, na kuiongeza kwa 4789 inatufikisha 7,471 ambayo bado ni 1615 pungufu ya `Total_Number_of_Reviews`. + +Ikiwa unachukua safu za `Average_Score`, unaweza kudhani ni wastani wa maoni katika seti ya data, lakini maelezo kutoka Kaggle ni "*Alama ya wastani ya hoteli, iliyohesabiwa kulingana na maoni ya hivi karibuni katika mwaka uliopita*". Hiyo haionekani kuwa na maana, lakini tunaweza kuhesabu wastani wetu kulingana na alama za maoni katika seti ya data. Kwa kutumia hoteli hiyo hiyo kama mfano, alama ya wastani ya hoteli inatolewa kama 7.1 lakini alama iliyohesabiwa (wastani wa alama za mtoa maoni *katika* seti ya data) ni 6.8. Hii ni karibu, lakini sio thamani sawa, na tunaweza kudhani tu kuwa alama zilizotolewa katika maoni ya `Additional_Number_of_Scoring` ziliongeza wastani hadi 7.1. Kwa bahati mbaya bila njia ya kujaribu au kuthibitisha dhana hiyo, ni vigumu kutumia au kuamini `Average_Score`, `Additional_Number_of_Scoring` na `Total_Number_of_Reviews` wakati zinategemea, au zinarejelea, data ambayo hatuna. + +Kuchanganya mambo zaidi, hoteli yenye idadi ya pili ya juu zaidi ya maoni ina alama ya wastani iliyohesabiwa ya 8.12 na seti ya data ya `Average_Score` ni 8.1. Je, alama sahihi ni bahati nasibu au hoteli ya kwanza ni tofauti? + +Kwa uwezekano kwamba hoteli hizi zinaweza kuwa ni kipekee, na kwamba labda maadili mengi yanafikia (lakini baadhi hayafanyi kwa sababu fulani) tutaandika programu fupi ijayo ili kuchunguza maadili katika seti ya data na kubaini matumizi sahihi (au yasiyo ya matumizi) ya maadili. + +> 🚨 Tahadhari +> +> Unapofanya kazi na seti hii ya data utaandika misimbo inayohesabu kitu kutoka kwa maandishi bila kuwa na haja ya kusoma au kuchambua maandishi wewe mwenyewe. Hii ndio kiini cha NLP, kutafsiri maana au hisia bila kuwa na binadamu kufanya hivyo. Hata hivyo, inawezekana kwamba utasoma baadhi ya maoni hasi. Ningekushauri usifanye hivyo, kwa sababu huna haja ya kufanya hivyo. Baadhi yao ni ya kipuuzi, au maoni hasi yasiyohusiana na hoteli, kama "Hali ya hewa haikuwa nzuri", jambo ambalo liko nje ya uwezo wa hoteli, au hata mtu yeyote. Lakini kuna upande mweusi kwa baadhi ya maoni pia. Wakati mwingine maoni hasi ni ya kibaguzi, ya kijinsia, au ya umri. Hii ni bahati mbaya lakini inatarajiwa katika seti ya data iliyopatikana kutoka tovuti ya umma. Waandishi wa maoni wengine wanaacha maoni ambayo ungeona yasiyopendeza, yasiyofurahisha, au yenye kusikitisha. Bora kuacha msimbo kupima hisia kuliko kuyasoma mwenyewe na kusikitika. Hata hivyo, ni wachache wanaoandika vitu kama hivyo +rows have column `Positive_Review` values of "No Positive" 9. Calculate and print out how many rows have column `Positive_Review` values of "No Positive" **and** `Negative_Review` values of "No Negative" ### Code answers 1. Print out the *shape* of the data frame you have just loaded (the shape is the number of rows and columns) ```python + print("The shape of the data (rows, cols) is " + str(df.shape)) + > The shape of the data (rows, cols) is (515738, 17) + ``` 2. Calculate the frequency count for reviewer nationalities: 1. How many distinct values are there for the column `Reviewer_Nationality` and what are they? 2. What reviewer nationality is the most common in the dataset (print country and number of reviews)? ```python + # value_counts() creates a Series object that has index and values in this case, the country and the frequency they occur in reviewer nationality + nationality_freq = df["Reviewer_Nationality"].value_counts() + print("There are " + str(nationality_freq.size) + " different nationalities") + # print first and last rows of the Series. Change to nationality_freq.to_string() to print all of the data + print(nationality_freq) + + There are 227 different nationalities + United Kingdom 245246 + United States of America 35437 + Australia 21686 + Ireland 14827 + United Arab Emirates 10235 + ... + Comoros 1 + Palau 1 + Northern Mariana Islands 1 + Cape Verde 1 + Guinea 1 + Name: Reviewer_Nationality, Length: 227, dtype: int64 + ``` 3. What are the next top 10 most frequently found nationalities, and their frequency count? ```python + print("The highest frequency reviewer nationality is " + str(nationality_freq.index[0]).strip() + " with " + str(nationality_freq[0]) + " reviews.") + # Notice there is a leading space on the values, strip() removes that for printing + # What is the top 10 most common nationalities and their frequencies? + print("The next 10 highest frequency reviewer nationalities are:") + print(nationality_freq[1:11].to_string()) + + The highest frequency reviewer nationality is United Kingdom with 245246 reviews. + The next 10 highest frequency reviewer nationalities are: + United States of America 35437 + Australia 21686 + Ireland 14827 + United Arab Emirates 10235 + Saudi Arabia 8951 + Netherlands 8772 + Switzerland 8678 + Germany 7941 + Canada 7894 + France 7296 + ``` 3. What was the most frequently reviewed hotel for each of the top 10 most reviewer nationalities? ```python + # What was the most frequently reviewed hotel for the top 10 nationalities + # Normally with pandas you will avoid an explicit loop, but wanted to show creating a new dataframe using criteria (don't do this with large amounts of data because it could be very slow) + for nat in nationality_freq[:10].index: + # First, extract all the rows that match the criteria into a new dataframe + nat_df = df[df["Reviewer_Nationality"] == nat] + # Now get the hotel freq + freq = nat_df["Hotel_Name"].value_counts() + print("The most reviewed hotel for " + str(nat).strip() + " was " + str(freq.index[0]) + " with " + str(freq[0]) + " reviews.") + + The most reviewed hotel for United Kingdom was Britannia International Hotel Canary Wharf with 3833 reviews. + The most reviewed hotel for United States of America was Hotel Esther a with 423 reviews. + The most reviewed hotel for Australia was Park Plaza Westminster Bridge London with 167 reviews. + The most reviewed hotel for Ireland was Copthorne Tara Hotel London Kensington with 239 reviews. + The most reviewed hotel for United Arab Emirates was Millennium Hotel London Knightsbridge with 129 reviews. + The most reviewed hotel for Saudi Arabia was The Cumberland A Guoman Hotel with 142 reviews. + The most reviewed hotel for Netherlands was Jaz Amsterdam with 97 reviews. + The most reviewed hotel for Switzerland was Hotel Da Vinci with 97 reviews. + The most reviewed hotel for Germany was Hotel Da Vinci with 86 reviews. + The most reviewed hotel for Canada was St James Court A Taj Hotel London with 61 reviews. + ``` 4. How many reviews are there per hotel (frequency count of hotel) in the dataset? ```python + # First create a new dataframe based on the old one, removing the uneeded columns + hotel_freq_df = df.drop(["Hotel_Address", "Additional_Number_of_Scoring", "Review_Date", "Average_Score", "Reviewer_Nationality", "Negative_Review", "Review_Total_Negative_Word_Counts", "Positive_Review", "Review_Total_Positive_Word_Counts", "Total_Number_of_Reviews_Reviewer_Has_Given", "Reviewer_Score", "Tags", "days_since_review", "lat", "lng"], axis = 1) + + # Group the rows by Hotel_Name, count them and put the result in a new column Total_Reviews_Found + hotel_freq_df['Total_Reviews_Found'] = hotel_freq_df.groupby('Hotel_Name').transform('count') + + # Get rid of all the duplicated rows + hotel_freq_df = hotel_freq_df.drop_duplicates(subset = ["Hotel_Name"]) + display(hotel_freq_df) + ``` | Hotel_Name | Total_Number_of_Reviews | Total_Reviews_Found | | :----------------------------------------: | :---------------------: | :-----------------: | | Britannia International Hotel Canary Wharf | 9086 | 4789 | | Park Plaza Westminster Bridge London | 12158 | 4169 | | Copthorne Tara Hotel London Kensington | 7105 | 3578 | | ... | ... | ... | | Mercure Paris Porte d Orleans | 110 | 10 | | Hotel Wagner | 135 | 10 | | Hotel Gallitzinberg | 173 | 8 | You may notice that the *counted in the dataset* results do not match the value in `Total_Number_of_Reviews`. It is unclear if this value in the dataset represented the total number of reviews the hotel had, but not all were scraped, or some other calculation. `Total_Number_of_Reviews` is not used in the model because of this unclarity. 5. While there is an `Average_Score` column for each hotel in the dataset, you can also calculate an average score (getting the average of all reviewer scores in the dataset for each hotel). Add a new column to your dataframe with the column header `Calc_Average_Score` that contains that calculated average. Print out the columns `Hotel_Name`, `Average_Score`, and `Calc_Average_Score`. ```python + # define a function that takes a row and performs some calculation with it + def get_difference_review_avg(row): + return row["Average_Score"] - row["Calc_Average_Score"] + + # 'mean' is mathematical word for 'average' + df['Calc_Average_Score'] = round(df.groupby('Hotel_Name').Reviewer_Score.transform('mean'), 1) + + # Add a new column with the difference between the two average scores + df["Average_Score_Difference"] = df.apply(get_difference_review_avg, axis = 1) + + # Create a df without all the duplicates of Hotel_Name (so only 1 row per hotel) + review_scores_df = df.drop_duplicates(subset = ["Hotel_Name"]) + + # Sort the dataframe to find the lowest and highest average score difference + review_scores_df = review_scores_df.sort_values(by=["Average_Score_Difference"]) + + display(review_scores_df[["Average_Score_Difference", "Average_Score", "Calc_Average_Score", "Hotel_Name"]]) + ``` You may also wonder about the `Average_Score` value and why it is sometimes different from the calculated average score. As we can't know why some of the values match, but others have a difference, it's safest in this case to use the review scores that we have to calculate the average ourselves. That said, the differences are usually very small, here are the hotels with the greatest deviation from the dataset average and the calculated average: | Average_Score_Difference | Average_Score | Calc_Average_Score | Hotel_Name | | :----------------------: | :-----------: | :----------------: | ------------------------------------------: | | -0.8 | 7.7 | 8.5 | Best Western Hotel Astoria | | -0.7 | 8.8 | 9.5 | Hotel Stendhal Place Vend me Paris MGallery | | -0.7 | 7.5 | 8.2 | Mercure Paris Porte d Orleans | | -0.7 | 7.9 | 8.6 | Renaissance Paris Vendome Hotel | | -0.5 | 7.0 | 7.5 | Hotel Royal Elys es | | ... | ... | ... | ... | | 0.7 | 7.5 | 6.8 | Mercure Paris Op ra Faubourg Montmartre | | 0.8 | 7.1 | 6.3 | Holiday Inn Paris Montparnasse Pasteur | | 0.9 | 6.8 | 5.9 | Villa Eugenie | | 0.9 | 8.6 | 7.7 | MARQUIS Faubourg St Honor Relais Ch teaux | | 1.3 | 7.2 | 5.9 | Kube Hotel Ice Bar | With only 1 hotel having a difference of score greater than 1, it means we can probably ignore the difference and use the calculated average score. 6. Calculate and print out how many rows have column `Negative_Review` values of "No Negative" 7. Calculate and print out how many rows have column `Positive_Review` values of "No Positive" 8. Calculate and print out how many rows have column `Positive_Review` values of "No Positive" **and** `Negative_Review` values of "No Negative" ```python + # with lambdas: + start = time.time() + no_negative_reviews = df.apply(lambda x: True if x['Negative_Review'] == "No Negative" else False , axis=1) + print("Number of No Negative reviews: " + str(len(no_negative_reviews[no_negative_reviews == True].index))) + + no_positive_reviews = df.apply(lambda x: True if x['Positive_Review'] == "No Positive" else False , axis=1) + print("Number of No Positive reviews: " + str(len(no_positive_reviews[no_positive_reviews == True].index))) + + both_no_reviews = df.apply(lambda x: True if x['Negative_Review'] == "No Negative" and x['Positive_Review'] == "No Positive" else False , axis=1) + print("Number of both No Negative and No Positive reviews: " + str(len(both_no_reviews[both_no_reviews == True].index))) + end = time.time() + print("Lambdas took " + str(round(end - start, 2)) + " seconds") + + Number of No Negative reviews: 127890 + Number of No Positive reviews: 35946 + Number of both No Negative and No Positive reviews: 127 + Lambdas took 9.64 seconds + ``` ## Another way Another way count items without Lambdas, and use sum to count the rows: ```python + # without lambdas (using a mixture of notations to show you can use both) + start = time.time() + no_negative_reviews = sum(df.Negative_Review == "No Negative") + print("Number of No Negative reviews: " + str(no_negative_reviews)) + + no_positive_reviews = sum(df["Positive_Review"] == "No Positive") + print("Number of No Positive reviews: " + str(no_positive_reviews)) + + both_no_reviews = sum((df.Negative_Review == "No Negative") & (df.Positive_Review == "No Positive")) + print("Number of both No Negative and No Positive reviews: " + str(both_no_reviews)) + + end = time.time() + print("Sum took " + str(round(end - start, 2)) + " seconds") + + Number of No Negative reviews: 127890 + Number of No Positive reviews: 35946 + Number of both No Negative and No Positive reviews: 127 + Sum took 0.19 seconds + ``` You may have noticed that there are 127 rows that have both "No Negative" and "No Positive" values for the columns `Negative_Review` and `Positive_Review` respectively. That means that the reviewer gave the hotel a numerical score, but declined to write either a positive or negative review. Luckily this is a small amount of rows (127 out of 515738, or 0.02%), so it probably won't skew our model or results in any particular direction, but you might not have expected a data set of reviews to have rows with no reviews, so it's worth exploring the data to discover rows like this. Now that you have explored the dataset, in the next lesson you will filter the data and add some sentiment analysis. --- ## 🚀Challenge This lesson demonstrates, as we saw in previous lessons, how critically important it is to understand your data and its foibles before performing operations on it. Text-based data, in particular, bears careful scrutiny. Dig through various text-heavy datasets and see if you can discover areas that could introduce bias or skewed sentiment into a model. ## [Post-lecture quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/38/) ## Review & Self Study Take [this Learning Path on NLP](https://docs.microsoft.com/learn/paths/explore-natural-language-processing/?WT.mc_id=academic-77952-leestott) to discover tools to try when building speech and text-heavy models. ## Assignment [NLTK](assignment.md) + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kwamba tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwepo kwa usahihi. Hati ya asili katika lugha yake ya asili inapaswa kuzingatiwa kama chanzo chenye mamlaka. Kwa taarifa muhimu, tafsiri ya kitaalamu ya binadamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/6-NLP/4-Hotel-Reviews-1/assignment.md b/translations/sw/6-NLP/4-Hotel-Reviews-1/assignment.md new file mode 100644 index 000000000..bd2d7c375 --- /dev/null +++ b/translations/sw/6-NLP/4-Hotel-Reviews-1/assignment.md @@ -0,0 +1,8 @@ +# NLTK + +## Maelekezo + +NLTK ni maktaba inayojulikana kwa matumizi katika isimu ya kompyuta na NLP. Tumia fursa hii kusoma '[kitabu cha NLTK](https://www.nltk.org/book/)' na ujaribu mazoezi yake. Katika kazi hii isiyopimwa, utapata kujua maktaba hii kwa undani zaidi. + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au upungufu. Hati asili katika lugha yake ya asili inapaswa kuzingatiwa kama chanzo cha mamlaka. Kwa habari muhimu, tafsiri ya kibinadamu ya kitaalamu inapendekezwa. Hatutawajibika kwa kutokuelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/6-NLP/4-Hotel-Reviews-1/solution/Julia/README.md b/translations/sw/6-NLP/4-Hotel-Reviews-1/solution/Julia/README.md new file mode 100644 index 000000000..2c1472893 --- /dev/null +++ b/translations/sw/6-NLP/4-Hotel-Reviews-1/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI zinazotumia mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwa sahihi. Hati ya asili katika lugha yake ya asili inapaswa kuchukuliwa kama chanzo cha mamlaka. Kwa habari muhimu, tafsiri ya kitaalamu ya kibinadamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/6-NLP/4-Hotel-Reviews-1/solution/R/README.md b/translations/sw/6-NLP/4-Hotel-Reviews-1/solution/R/README.md new file mode 100644 index 000000000..49b7a67c6 --- /dev/null +++ b/translations/sw/6-NLP/4-Hotel-Reviews-1/solution/R/README.md @@ -0,0 +1,4 @@ + + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI zinazotegemea mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokubaliana. Hati ya asili katika lugha yake ya asili inapaswa kuchukuliwa kuwa chanzo cha mamlaka. Kwa habari muhimu, tafsiri ya kitaalam ya kibinadamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/6-NLP/5-Hotel-Reviews-2/README.md b/translations/sw/6-NLP/5-Hotel-Reviews-2/README.md new file mode 100644 index 000000000..fd9c99890 --- /dev/null +++ b/translations/sw/6-NLP/5-Hotel-Reviews-2/README.md @@ -0,0 +1,377 @@ +# Uchambuzi wa Hisia na Maoni ya Hoteli + +Sasa kwa kuwa umechunguza kwa kina seti ya data, ni wakati wa kuchuja safu na kisha kutumia mbinu za NLP kwenye seti ya data ili kupata maarifa mapya kuhusu hoteli. +## [Jaribio la kabla ya somo](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/39/) + +### Uchujaji na Shughuli za Uchambuzi wa Hisia + +Kama ulivyoweza kugundua, seti ya data ina masuala kadhaa. Baadhi ya safu zimejazwa na taarifa zisizo na maana, zingine zinaonekana kuwa si sahihi. Ikiwa ni sahihi, haijulikani jinsi zilivyohesabiwa, na majibu hayawezi kuthibitishwa kwa uhuru kwa hesabu zako mwenyewe. + +## Zoezi: usindikaji zaidi wa data + +Safisha data kidogo zaidi. Ongeza safu ambazo zitakuwa na manufaa baadaye, badilisha thamani katika safu nyingine, na acha baadhi ya safu kabisa. + +1. Usindikaji wa awali wa safu + + 1. Acha `lat` na `lng` + + 2. Badilisha thamani za `Hotel_Address` na thamani zifuatazo (ikiwa anwani ina jina la mji na nchi, badilisha iwe tu mji na nchi). + + Hizi ni miji na nchi pekee katika seti ya data: + + Amsterdam, Netherlands + + Barcelona, Spain + + London, United Kingdom + + Milan, Italy + + Paris, France + + Vienna, Austria + + ```python + def replace_address(row): + if "Netherlands" in row["Hotel_Address"]: + return "Amsterdam, Netherlands" + elif "Barcelona" in row["Hotel_Address"]: + return "Barcelona, Spain" + elif "United Kingdom" in row["Hotel_Address"]: + return "London, United Kingdom" + elif "Milan" in row["Hotel_Address"]: + return "Milan, Italy" + elif "France" in row["Hotel_Address"]: + return "Paris, France" + elif "Vienna" in row["Hotel_Address"]: + return "Vienna, Austria" + + # Replace all the addresses with a shortened, more useful form + df["Hotel_Address"] = df.apply(replace_address, axis = 1) + # The sum of the value_counts() should add up to the total number of reviews + print(df["Hotel_Address"].value_counts()) + ``` + + Sasa unaweza kuuliza data ya kiwango cha nchi: + + ```python + display(df.groupby("Hotel_Address").agg({"Hotel_Name": "nunique"})) + ``` + + | Hotel_Address | Hotel_Name | + | :--------------------- | :--------: | + | Amsterdam, Netherlands | 105 | + | Barcelona, Spain | 211 | + | London, United Kingdom | 400 | + | Milan, Italy | 162 | + | Paris, France | 458 | + | Vienna, Austria | 158 | + +2. Usindikaji wa safu za Meta-review za Hoteli + + 1. Acha `Additional_Number_of_Scoring` + + 1. Replace `Total_Number_of_Reviews` with the total number of reviews for that hotel that are actually in the dataset + + 1. Replace `Average_Score` na hesabu yetu wenyewe + + ```python + # Drop `Additional_Number_of_Scoring` + df.drop(["Additional_Number_of_Scoring"], axis = 1, inplace=True) + # Replace `Total_Number_of_Reviews` and `Average_Score` with our own calculated values + df.Total_Number_of_Reviews = df.groupby('Hotel_Name').transform('count') + df.Average_Score = round(df.groupby('Hotel_Name').Reviewer_Score.transform('mean'), 1) + ``` + +3. Usindikaji wa safu za maoni + + 1. Acha `Review_Total_Negative_Word_Counts`, `Review_Total_Positive_Word_Counts`, `Review_Date` and `days_since_review` + + 2. Keep `Reviewer_Score`, `Negative_Review`, and `Positive_Review` as they are, + + 3. Keep `Tags` for now + + - We'll be doing some additional filtering operations on the tags in the next section and then tags will be dropped + +4. Process reviewer columns + + 1. Drop `Total_Number_of_Reviews_Reviewer_Has_Given` + + 2. Keep `Reviewer_Nationality` + +### Tag columns + +The `Tag` column is problematic as it is a list (in text form) stored in the column. Unfortunately the order and number of sub sections in this column are not always the same. It's hard for a human to identify the correct phrases to be interested in, because there are 515,000 rows, and 1427 hotels, and each has slightly different options a reviewer could choose. This is where NLP shines. You can scan the text and find the most common phrases, and count them. + +Unfortunately, we are not interested in single words, but multi-word phrases (e.g. *Business trip*). Running a multi-word frequency distribution algorithm on that much data (6762646 words) could take an extraordinary amount of time, but without looking at the data, it would seem that is a necessary expense. This is where exploratory data analysis comes in useful, because you've seen a sample of the tags such as `[' Business trip ', ' Solo traveler ', ' Single Room ', ' Stayed 5 nights ', ' Submitted from a mobile device ']`, unaweza kuanza kujiuliza kama inawezekana kupunguza kwa kiasi kikubwa usindikaji unaohitaji kufanya. Kwa bahati nzuri, inawezekana - lakini kwanza unahitaji kufuata hatua chache ili kubaini lebo za umuhimu. + +### Kuchuja lebo + +Kumbuka kwamba lengo la seti ya data ni kuongeza hisia na safu ambazo zitakusaidia kuchagua hoteli bora (kwa ajili yako au labda mteja anayekuagiza kutengeneza bot ya mapendekezo ya hoteli). Unahitaji kujiuliza kama lebo ni muhimu au la katika seti ya data ya mwisho. Hapa kuna tafsiri moja (ikiwa unahitaji seti ya data kwa sababu nyingine tofauti lebo zinaweza kubaki/kuondolewa kwenye uteuzi): + +1. Aina ya safari ni muhimu, na hiyo inapaswa kubaki +2. Aina ya kikundi cha wageni ni muhimu, na hiyo inapaswa kubaki +3. Aina ya chumba, suite, au studio ambayo mgeni alikaa haina umuhimu (hoteli zote zina vyumba vya kimsingi sawa) +4. Kifaa ambacho maoni yalitumwa hakina umuhimu +5. Idadi ya usiku mtoa maoni alikaa inaweza kuwa muhimu ikiwa utahusisha kukaa kwa muda mrefu na wao kupenda hoteli zaidi, lakini ni jambo la mbali, na labda halina umuhimu + +Kwa muhtasari, **weka aina 2 za lebo na ondoa nyingine**. + +Kwanza, hutaki kuhesabu lebo mpaka ziwe katika muundo bora, hivyo inamaanisha kuondoa mabano na nukuu. Unaweza kufanya hivi kwa njia kadhaa, lakini unataka njia ya haraka zaidi kwani inaweza kuchukua muda mrefu kusindika data nyingi. Kwa bahati nzuri, pandas ina njia rahisi ya kufanya kila moja ya hatua hizi. + +```Python +# Remove opening and closing brackets +df.Tags = df.Tags.str.strip("[']") +# remove all quotes too +df.Tags = df.Tags.str.replace(" ', '", ",", regex = False) +``` + +Kila lebo inakuwa kama: `Business trip, Solo traveler, Single Room, Stayed 5 nights, Submitted from a mobile device`. + +Next we find a problem. Some reviews, or rows, have 5 columns, some 3, some 6. This is a result of how the dataset was created, and hard to fix. You want to get a frequency count of each phrase, but they are in different order in each review, so the count might be off, and a hotel might not get a tag assigned to it that it deserved. + +Instead you will use the different order to our advantage, because each tag is multi-word but also separated by a comma! The simplest way to do this is to create 6 temporary columns with each tag inserted in to the column corresponding to its order in the tag. You can then merge the 6 columns into one big column and run the `value_counts()` method on the resulting column. Printing that out, you'll see there was 2428 unique tags. Here is a small sample: + +| Tag | Count | +| ------------------------------ | ------ | +| Leisure trip | 417778 | +| Submitted from a mobile device | 307640 | +| Couple | 252294 | +| Stayed 1 night | 193645 | +| Stayed 2 nights | 133937 | +| Solo traveler | 108545 | +| Stayed 3 nights | 95821 | +| Business trip | 82939 | +| Group | 65392 | +| Family with young children | 61015 | +| Stayed 4 nights | 47817 | +| Double Room | 35207 | +| Standard Double Room | 32248 | +| Superior Double Room | 31393 | +| Family with older children | 26349 | +| Deluxe Double Room | 24823 | +| Double or Twin Room | 22393 | +| Stayed 5 nights | 20845 | +| Standard Double or Twin Room | 17483 | +| Classic Double Room | 16989 | +| Superior Double or Twin Room | 13570 | +| 2 rooms | 12393 | + +Some of the common tags like `Submitted from a mobile device` are of no use to us, so it might be a smart thing to remove them before counting phrase occurrence, but it is such a fast operation you can leave them in and ignore them. + +### Removing the length of stay tags + +Removing these tags is step 1, it reduces the total number of tags to be considered slightly. Note you do not remove them from the dataset, just choose to remove them from consideration as values to count/keep in the reviews dataset. + +| Length of stay | Count | +| ---------------- | ------ | +| Stayed 1 night | 193645 | +| Stayed 2 nights | 133937 | +| Stayed 3 nights | 95821 | +| Stayed 4 nights | 47817 | +| Stayed 5 nights | 20845 | +| Stayed 6 nights | 9776 | +| Stayed 7 nights | 7399 | +| Stayed 8 nights | 2502 | +| Stayed 9 nights | 1293 | +| ... | ... | + +There are a huge variety of rooms, suites, studios, apartments and so on. They all mean roughly the same thing and not relevant to you, so remove them from consideration. + +| Type of room | Count | +| ----------------------------- | ----- | +| Double Room | 35207 | +| Standard Double Room | 32248 | +| Superior Double Room | 31393 | +| Deluxe Double Room | 24823 | +| Double or Twin Room | 22393 | +| Standard Double or Twin Room | 17483 | +| Classic Double Room | 16989 | +| Superior Double or Twin Room | 13570 | + +Finally, and this is delightful (because it didn't take much processing at all), you will be left with the following *useful* tags: + +| Tag | Count | +| --------------------------------------------- | ------ | +| Leisure trip | 417778 | +| Couple | 252294 | +| Solo traveler | 108545 | +| Business trip | 82939 | +| Group (combined with Travellers with friends) | 67535 | +| Family with young children | 61015 | +| Family with older children | 26349 | +| With a pet | 1405 | + +You could argue that `Travellers with friends` is the same as `Group` more or less, and that would be fair to combine the two as above. The code for identifying the correct tags is [the Tags notebook](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/1-notebook.ipynb). + +The final step is to create new columns for each of these tags. Then, for every review row, if the `Tag` safu inafanana na moja ya safu mpya, ongeza 1, ikiwa haifanani, ongeza 0. Matokeo ya mwisho yatakuwa hesabu ya ni watoa maoni wangapi walichagua hoteli hii (kwa jumla) kwa mfano, biashara dhidi ya burudani, au kuleta mnyama, na hii ni taarifa muhimu wakati wa kupendekeza hoteli. + +```python +# Process the Tags into new columns +# The file Hotel_Reviews_Tags.py, identifies the most important tags +# Leisure trip, Couple, Solo traveler, Business trip, Group combined with Travelers with friends, +# Family with young children, Family with older children, With a pet +df["Leisure_trip"] = df.Tags.apply(lambda tag: 1 if "Leisure trip" in tag else 0) +df["Couple"] = df.Tags.apply(lambda tag: 1 if "Couple" in tag else 0) +df["Solo_traveler"] = df.Tags.apply(lambda tag: 1 if "Solo traveler" in tag else 0) +df["Business_trip"] = df.Tags.apply(lambda tag: 1 if "Business trip" in tag else 0) +df["Group"] = df.Tags.apply(lambda tag: 1 if "Group" in tag or "Travelers with friends" in tag else 0) +df["Family_with_young_children"] = df.Tags.apply(lambda tag: 1 if "Family with young children" in tag else 0) +df["Family_with_older_children"] = df.Tags.apply(lambda tag: 1 if "Family with older children" in tag else 0) +df["With_a_pet"] = df.Tags.apply(lambda tag: 1 if "With a pet" in tag else 0) + +``` + +### Hifadhi faili yako + +Hatimaye, hifadhi seti ya data kama ilivyo sasa na jina jipya. + +```python +df.drop(["Review_Total_Negative_Word_Counts", "Review_Total_Positive_Word_Counts", "days_since_review", "Total_Number_of_Reviews_Reviewer_Has_Given"], axis = 1, inplace=True) + +# Saving new data file with calculated columns +print("Saving results to Hotel_Reviews_Filtered.csv") +df.to_csv(r'../data/Hotel_Reviews_Filtered.csv', index = False) +``` + +## Shughuli za Uchambuzi wa Hisia + +Katika sehemu hii ya mwisho, utatumia uchambuzi wa hisia kwenye safu za maoni na kuhifadhi matokeo katika seti ya data. + +## Zoezi: pakia na hifadhi data iliyochujwa + +Kumbuka kwamba sasa unapakia seti ya data iliyochujwa ambayo iliokolewa katika sehemu iliyopita, **si** seti ya data asilia. + +```python +import time +import pandas as pd +import nltk as nltk +from nltk.corpus import stopwords +from nltk.sentiment.vader import SentimentIntensityAnalyzer +nltk.download('vader_lexicon') + +# Load the filtered hotel reviews from CSV +df = pd.read_csv('../../data/Hotel_Reviews_Filtered.csv') + +# You code will be added here + + +# Finally remember to save the hotel reviews with new NLP data added +print("Saving results to Hotel_Reviews_NLP.csv") +df.to_csv(r'../data/Hotel_Reviews_NLP.csv', index = False) +``` + +### Kuondoa maneno yasiyo na maana + +Ikiwa ungeendesha Uchambuzi wa Hisia kwenye safu za maoni ya Negativity na Positivity, inaweza kuchukua muda mrefu. Imejaribiwa kwenye laptop yenye CPU ya kasi, ilichukua dakika 12 - 14 kulingana na maktaba ya hisia iliyotumiwa. Huo ni muda mrefu (kwa kiasi fulani), hivyo ni vyema kuchunguza kama inaweza kuharakishwa. + +Kuondoa maneno yasiyo na maana, au maneno ya kawaida ya Kiingereza ambayo hayabadilishi hisia ya sentensi, ni hatua ya kwanza. Kwa kuyaondoa, uchambuzi wa hisia unapaswa kuendeshwa haraka zaidi, lakini sio kuwa na usahihi mdogo (kwa kuwa maneno yasiyo na maana hayabadilishi hisia, lakini yanapunguza kasi ya uchambuzi). + +Maoni ya kirefu zaidi ya negativity yalikuwa na maneno 395, lakini baada ya kuondoa maneno yasiyo na maana, ni maneno 195. + +Kuondoa maneno yasiyo na maana pia ni operesheni ya haraka, kuondoa maneno yasiyo na maana kutoka kwenye safu 2 za maoni zaidi ya mistari 515,000 ilichukua sekunde 3.3 kwenye kifaa cha majaribio. Inaweza kuchukua muda kidogo zaidi au kidogo kwako kulingana na kasi ya CPU ya kifaa chako, RAM, ikiwa una SSD au la, na baadhi ya mambo mengine. Ufupi wa operesheni hii inamaanisha kwamba ikiwa inaboresha muda wa uchambuzi wa hisia, basi inafaa kufanya. + +```python +from nltk.corpus import stopwords + +# Load the hotel reviews from CSV +df = pd.read_csv("../../data/Hotel_Reviews_Filtered.csv") + +# Remove stop words - can be slow for a lot of text! +# Ryan Han (ryanxjhan on Kaggle) has a great post measuring performance of different stop words removal approaches +# https://www.kaggle.com/ryanxjhan/fast-stop-words-removal # using the approach that Ryan recommends +start = time.time() +cache = set(stopwords.words("english")) +def remove_stopwords(review): + text = " ".join([word for word in review.split() if word not in cache]) + return text + +# Remove the stop words from both columns +df.Negative_Review = df.Negative_Review.apply(remove_stopwords) +df.Positive_Review = df.Positive_Review.apply(remove_stopwords) +``` + +### Kufanya uchambuzi wa hisia + +Sasa unapaswa kuhesabu uchambuzi wa hisia kwa safu zote za maoni ya negativity na positivity, na kuhifadhi matokeo katika safu mpya 2. Jaribio la hisia litakuwa kulinganisha na alama ya mtoa maoni kwa maoni sawa. Kwa mfano, ikiwa hisia zinafikiri maoni ya negativity yalikuwa na hisia ya 1 (hisia chanya sana) na maoni ya positivity hisia ya 1, lakini mtoa maoni alitoa hoteli alama ya chini kabisa, basi ama maandishi ya maoni hayalingani na alama, au mchanganuzi wa hisia hakuweza kutambua hisia kwa usahihi. Unapaswa kutarajia baadhi ya alama za hisia kuwa si sahihi kabisa, na mara nyingi hiyo itaelezeka, kwa mfano maoni yanaweza kuwa na kejeli kali "Bila shaka NILIPENDA kulala katika chumba bila joto" na mchanganuzi wa hisia anafikiri hiyo ni hisia chanya, ingawa binadamu akisoma angejua ni kejeli. + +NLTK inatoa wachambuzi wa hisia tofauti wa kujifunza nao, na unaweza kuzibadilisha na kuona kama hisia ni sahihi zaidi au chini. Uchambuzi wa hisia wa VADER umetumika hapa. + +> Hutto, C.J. & Gilbert, E.E. (2014). VADER: A Parsimonious Rule-based Model for Sentiment Analysis of Social Media Text. Eighth International Conference on Weblogs and Social Media (ICWSM-14). Ann Arbor, MI, June 2014. + +```python +from nltk.sentiment.vader import SentimentIntensityAnalyzer + +# Create the vader sentiment analyser (there are others in NLTK you can try too) +vader_sentiment = SentimentIntensityAnalyzer() +# Hutto, C.J. & Gilbert, E.E. (2014). VADER: A Parsimonious Rule-based Model for Sentiment Analysis of Social Media Text. Eighth International Conference on Weblogs and Social Media (ICWSM-14). Ann Arbor, MI, June 2014. + +# There are 3 possibilities of input for a review: +# It could be "No Negative", in which case, return 0 +# It could be "No Positive", in which case, return 0 +# It could be a review, in which case calculate the sentiment +def calc_sentiment(review): + if review == "No Negative" or review == "No Positive": + return 0 + return vader_sentiment.polarity_scores(review)["compound"] +``` + +Baadaye katika programu yako wakati uko tayari kuhesabu hisia, unaweza kuitumia kwa kila maoni kama ifuatavyo: + +```python +# Add a negative sentiment and positive sentiment column +print("Calculating sentiment columns for both positive and negative reviews") +start = time.time() +df["Negative_Sentiment"] = df.Negative_Review.apply(calc_sentiment) +df["Positive_Sentiment"] = df.Positive_Review.apply(calc_sentiment) +end = time.time() +print("Calculating sentiment took " + str(round(end - start, 2)) + " seconds") +``` + +Hii inachukua takriban sekunde 120 kwenye kompyuta yangu, lakini itatofautiana kwenye kila kompyuta. Ikiwa unataka kuchapisha matokeo na kuona kama hisia zinaendana na maoni: + +```python +df = df.sort_values(by=["Negative_Sentiment"], ascending=True) +print(df[["Negative_Review", "Negative_Sentiment"]]) +df = df.sort_values(by=["Positive_Sentiment"], ascending=True) +print(df[["Positive_Review", "Positive_Sentiment"]]) +``` + +Jambo la mwisho kabisa kufanya na faili kabla ya kuitumia kwenye changamoto, ni kuihifadhi! Unapaswa pia kuzingatia kupanga upya safu zako zote mpya ili ziwe rahisi kufanya kazi nazo (kwa binadamu, ni mabadiliko ya vipodozi). + +```python +# Reorder the columns (This is cosmetic, but to make it easier to explore the data later) +df = df.reindex(["Hotel_Name", "Hotel_Address", "Total_Number_of_Reviews", "Average_Score", "Reviewer_Score", "Negative_Sentiment", "Positive_Sentiment", "Reviewer_Nationality", "Leisure_trip", "Couple", "Solo_traveler", "Business_trip", "Group", "Family_with_young_children", "Family_with_older_children", "With_a_pet", "Negative_Review", "Positive_Review"], axis=1) + +print("Saving results to Hotel_Reviews_NLP.csv") +df.to_csv(r"../data/Hotel_Reviews_NLP.csv", index = False) +``` + +Unapaswa kuendesha msimbo mzima kwa [notebook ya uchambuzi](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/3-notebook.ipynb) (baada ya kuendesha [notebook yako ya kuchuja](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/1-notebook.ipynb) ili kuzalisha faili ya Hotel_Reviews_Filtered.csv). + +Ili kukagua, hatua ni: + +1. Faili asilia ya seti ya data **Hotel_Reviews.csv** inachunguzwa katika somo lililopita na [notebook ya uchunguzi](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/4-Hotel-Reviews-1/solution/notebook.ipynb) +2. Hotel_Reviews.csv inachujwa na [notebook ya kuchuja](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/1-notebook.ipynb) na kusababisha **Hotel_Reviews_Filtered.csv** +3. Hotel_Reviews_Filtered.csv inasindikwa na [notebook ya uchambuzi wa hisia](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/3-notebook.ipynb) na kusababisha **Hotel_Reviews_NLP.csv** +4. Tumia Hotel_Reviews_NLP.csv katika Changamoto ya NLP hapa chini + +### Hitimisho + +Ulipoanza, ulikuwa na seti ya data yenye safu na data lakini si yote inaweza kuthibitishwa au kutumika. Umechunguza data, umechambua kile usichohitaji, umebadilisha lebo kuwa kitu muhimu, umehesabu wastani wako mwenyewe, umeongeza safu za hisia na kwa matumaini, umejifunza mambo ya kuvutia kuhusu usindikaji wa maandishi ya asili. + +## [Jaribio la baada ya somo](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/40/) + +## Changamoto + +Sasa kwa kuwa una seti yako ya data iliyochambuliwa kwa hisia, angalia kama unaweza kutumia mikakati uliyojifunza katika mtaala huu (labda kugrupu?) ili kubaini mifumo kuzunguka hisia. + +## Mapitio na Kujisomea + +Chukua [moduli hii ya Kujifunza](https://docs.microsoft.com/en-us/learn/modules/classify-user-feedback-with-the-text-analytics-api/?WT.mc_id=academic-77952-leestott) kujifunza zaidi na kutumia zana tofauti kuchunguza hisia katika maandishi. +## Kazi + +[Jaribu seti tofauti ya data](assignment.md) + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokamilika. Hati asilia katika lugha yake ya asili inapaswa kuzingatiwa kama chanzo rasmi. Kwa taarifa muhimu, tafsiri ya kitaalamu ya kibinadamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/6-NLP/5-Hotel-Reviews-2/assignment.md b/translations/sw/6-NLP/5-Hotel-Reviews-2/assignment.md new file mode 100644 index 000000000..526fb51bd --- /dev/null +++ b/translations/sw/6-NLP/5-Hotel-Reviews-2/assignment.md @@ -0,0 +1,14 @@ +# Jaribu dataset tofauti + +## Maelekezo + +Sasa kwa kuwa umejifunza kuhusu kutumia NLTK kutoa hisia kwa maandishi, jaribu dataset tofauti. Labda utahitaji kufanya usindikaji wa data kuhusu hiyo, kwa hivyo tengeneza daftari na andika mchakato wako wa mawazo. Unagundua nini? + +## Rubric + +| Vigezo | Mfano Bora | Inayotosheleza | Inahitaji Kuboresha | +| ------- | ------------------------------------------------------------------------------------------------------------------- | ----------------------------------------- | ---------------------- | +| | Daftari kamili na dataset zinawasilishwa na seli zilizo na maelezo mazuri jinsi hisia zinavyotolewa | Daftari inakosa maelezo mazuri | Daftari ina kasoro | + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwa sahihi. Hati ya asili katika lugha yake ya asili inapaswa kuzingatiwa kama chanzo cha mamlaka. Kwa habari muhimu, tafsiri ya kibinadamu ya kitaalamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/6-NLP/5-Hotel-Reviews-2/solution/Julia/README.md b/translations/sw/6-NLP/5-Hotel-Reviews-2/solution/Julia/README.md new file mode 100644 index 000000000..21fa91334 --- /dev/null +++ b/translations/sw/6-NLP/5-Hotel-Reviews-2/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI zinazotumia mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokubaliana. Hati asili katika lugha yake ya awali inapaswa kuchukuliwa kama chanzo rasmi. Kwa habari muhimu, tafsiri ya kitaalamu ya binadamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri potofu zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/6-NLP/5-Hotel-Reviews-2/solution/R/README.md b/translations/sw/6-NLP/5-Hotel-Reviews-2/solution/R/README.md new file mode 100644 index 000000000..0633d34bc --- /dev/null +++ b/translations/sw/6-NLP/5-Hotel-Reviews-2/solution/R/README.md @@ -0,0 +1,4 @@ + + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI zinazotumia mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwa sahihi. Hati asilia katika lugha yake ya asili inapaswa kuzingatiwa kama chanzo chenye mamlaka. Kwa taarifa muhimu, tafsiri ya kitaalamu ya binadamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/6-NLP/README.md b/translations/sw/6-NLP/README.md new file mode 100644 index 000000000..04bd9456e --- /dev/null +++ b/translations/sw/6-NLP/README.md @@ -0,0 +1,27 @@ +# Kuanza na usindikaji wa lugha asilia + +Usindikaji wa lugha asilia (NLP) ni uwezo wa programu ya kompyuta kuelewa lugha ya kibinadamu kama inavyoongelewa na kuandikwa -- inayojulikana kama lugha asilia. Ni sehemu ya akili bandia (AI). NLP imekuwepo kwa zaidi ya miaka 50 na ina mizizi katika uwanja wa isimu. Uwanja mzima unalenga kusaidia mashine kuelewa na kusindika lugha ya kibinadamu. Hii inaweza kutumika kutekeleza kazi kama kuangalia tahajia au tafsiri ya mashine. Ina matumizi mbalimbali katika ulimwengu halisi katika nyanja kadhaa, ikiwemo utafiti wa matibabu, injini za utafutaji na ujasusi wa biashara. + +## Mada ya Kikanda: Lugha za Ulaya na fasihi na hoteli za kimapenzi za Ulaya ❤️ + +Katika sehemu hii ya mtaala, utatambulishwa kwa moja ya matumizi ya mashine yanayotumika sana: usindikaji wa lugha asilia (NLP). Imetokana na isimu ya kompyuta, kategoria hii ya akili bandia ni daraja kati ya binadamu na mashine kupitia mawasiliano ya sauti au maandishi. + +Katika masomo haya tutajifunza misingi ya NLP kwa kujenga bots ndogo za mazungumzo ili kujifunza jinsi mashine zinavyosaidia kufanya mazungumzo haya kuwa 'smart' zaidi na zaidi. Utasafiri nyuma ya wakati, ukizungumza na Elizabeth Bennett na Bw. Darcy kutoka kwenye riwaya ya Jane Austen, **Pride and Prejudice**, iliyochapishwa mwaka 1813. Kisha, utaongeza maarifa yako kwa kujifunza kuhusu uchambuzi wa hisia kupitia maoni ya hoteli huko Ulaya. + + +> Picha na Elaine Howlin kwenye Unsplash + +## Masomo + +1. [Utangulizi wa usindikaji wa lugha asilia](1-Introduction-to-NLP/README.md) +2. [Kazi na mbinu za kawaida za NLP](2-Tasks/README.md) +3. [Tafsiri na uchambuzi wa hisia na ujifunzaji wa mashine](3-Translation-Sentiment/README.md) +4. [Kuandaa data yako](4-Hotel-Reviews-1/README.md) +5. [NLTK kwa ajili ya Uchambuzi wa Hisia](5-Hotel-Reviews-2/README.md) + +## Shukrani + +Masomo haya ya usindikaji wa lugha asilia yaliandikwa kwa ☕ na [Stephen Howell](https://twitter.com/Howell_MSFT) + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI zinazotegemea mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kwamba tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwepo na usahihi. Hati asili katika lugha yake ya asili inapaswa kuchukuliwa kuwa chanzo rasmi. Kwa habari muhimu, tafsiri ya kibinadamu ya kitaalamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/6-NLP/data/README.md b/translations/sw/6-NLP/data/README.md new file mode 100644 index 000000000..c22517b47 --- /dev/null +++ b/translations/sw/6-NLP/data/README.md @@ -0,0 +1,4 @@ +Ladda ner hotellrecensionsdatan till den här mappen. + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za kutafsiri za AI zinazotumia mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokamilika. Hati ya awali katika lugha yake asilia inapaswa kuchukuliwa kama chanzo chenye mamlaka. Kwa taarifa muhimu, inashauriwa kutumia tafsiri ya kitaalamu ya kibinadamu. Hatutawajibika kwa kutoelewana au tafsiri potofu zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/7-TimeSeries/1-Introduction/README.md b/translations/sw/7-TimeSeries/1-Introduction/README.md new file mode 100644 index 000000000..7449568bf --- /dev/null +++ b/translations/sw/7-TimeSeries/1-Introduction/README.md @@ -0,0 +1,188 @@ +# Utangulizi wa utabiri wa mfululizo wa muda + + + +> Sketchnote na [Tomomi Imura](https://www.twitter.com/girlie_mac) + +Katika somo hili na lile linalofuata, utajifunza kidogo kuhusu utabiri wa mfululizo wa muda, sehemu ya kuvutia na yenye thamani katika zana za mwanasayansi wa ML ambayo haijulikani sana kuliko mada zingine. Utabiri wa mfululizo wa muda ni kama 'mpira wa kioo': kwa msingi wa utendaji wa zamani wa kigezo kama bei, unaweza kutabiri thamani yake ya baadaye. + +[](https://youtu.be/cBojo1hsHiI "Utangulizi wa utabiri wa mfululizo wa muda") + +> 🎥 Bofya picha hapo juu kwa video kuhusu utabiri wa mfululizo wa muda + +## [Maswali ya awali ya somo](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/41/) + +Ni uwanja wa kuvutia na muhimu na thamani halisi kwa biashara, kwa kuzingatia matumizi yake ya moja kwa moja katika matatizo ya bei, hesabu, na masuala ya mnyororo wa ugavi. Wakati mbinu za kujifunza kwa kina zimeanza kutumika kupata ufahamu zaidi ili kutabiri utendaji wa baadaye vizuri zaidi, utabiri wa mfululizo wa muda bado ni uwanja unaoongozwa sana na mbinu za kimsingi za ML. + +> Mtaala muhimu wa mfululizo wa muda wa Penn State unaweza kupatikana [hapa](https://online.stat.psu.edu/stat510/lesson/1) + +## Utangulizi + +Fikiria unadumisha safu ya mita za maegesho za kisasa ambazo hutoa data kuhusu mara ngapi zinatumika na kwa muda gani kwa muda. + +> Je, ungeweza kutabiri, kwa msingi wa utendaji wa zamani wa mita, thamani yake ya baadaye kulingana na sheria za ugavi na mahitaji? + +Kutabiri kwa usahihi wakati wa kuchukua hatua ili kufikia lengo lako ni changamoto ambayo inaweza kushughulikiwa na utabiri wa mfululizo wa muda. Haita wafurahisha watu kutozwa zaidi wakati wa shughuli nyingi wanapotafuta nafasi ya maegesho, lakini itakuwa njia ya uhakika ya kuzalisha mapato kwa kusafisha barabara! + +Wacha tuchunguze baadhi ya aina za algoriti za mfululizo wa muda na kuanzisha daftari ili kusafisha na kuandaa data. Data utakayochambua imetolewa kutoka kwa mashindano ya utabiri ya GEFCom2014. Inajumuisha miaka 3 ya mzigo wa umeme wa kila saa na thamani za joto kati ya 2012 na 2014. Kwa kuzingatia mifumo ya kihistoria ya mzigo wa umeme na joto, unaweza kutabiri thamani za baadaye za mzigo wa umeme. + +Katika mfano huu, utajifunza jinsi ya kutabiri hatua moja mbele ya wakati, kwa kutumia data ya mzigo wa kihistoria tu. Kabla ya kuanza, hata hivyo, ni muhimu kuelewa kinachoendelea nyuma ya pazia. + +## Baadhi ya ufafanuzi + +Unapokutana na neno 'mfululizo wa muda' unahitaji kuelewa matumizi yake katika muktadha tofauti. + +🎓 **Mfululizo wa muda** + +Katika hisabati, "mfululizo wa muda ni mfululizo wa alama za data zilizoorodheshwa (au zilizoorodheshwa au kuchorwa) kwa mpangilio wa wakati. Mara nyingi, mfululizo wa muda ni mlolongo uliotolewa kwa pointi za wakati zilizo na nafasi sawa." Mfano wa mfululizo wa muda ni thamani ya kufunga kila siku ya [Dow Jones Industrial Average](https://wikipedia.org/wiki/Time_series). Matumizi ya michoro ya mfululizo wa muda na modeli za takwimu mara nyingi hukutana katika usindikaji wa ishara, utabiri wa hali ya hewa, utabiri wa matetemeko ya ardhi, na nyanja zingine ambapo matukio hutokea na alama za data zinaweza kuchorwa kwa muda. + +🎓 **Uchambuzi wa mfululizo wa muda** + +Uchambuzi wa mfululizo wa muda, ni uchambuzi wa data ya mfululizo wa muda iliyotajwa hapo juu. Data ya mfululizo wa muda inaweza kuchukua aina tofauti, ikiwa ni pamoja na 'mfululizo wa muda uliokatizwa' ambao hugundua mifumo katika mabadiliko ya mfululizo wa muda kabla na baada ya tukio linalokatiza. Aina ya uchambuzi inayohitajika kwa mfululizo wa muda, inategemea asili ya data. Data ya mfululizo wa muda yenyewe inaweza kuchukua fomu ya mfululizo wa nambari au herufi. + +Uchambuzi unaofanywa, hutumia mbinu mbalimbali, ikiwa ni pamoja na uwanja wa masafa na uwanja wa wakati, linear na nonlinear, na zaidi. [Jifunze zaidi](https://www.itl.nist.gov/div898/handbook/pmc/section4/pmc4.htm) kuhusu njia nyingi za kuchambua aina hii ya data. + +🎓 **Utabiri wa mfululizo wa muda** + +Utabiri wa mfululizo wa muda ni matumizi ya modeli kutabiri thamani za baadaye kwa msingi wa mifumo iliyojitokeza na data iliyokusanywa hapo awali kama ilivyotokea zamani. Ingawa inawezekana kutumia modeli za regression kuchunguza data ya mfululizo wa muda, na faharasa za wakati kama x kwenye mchoro, data kama hiyo inachambuliwa vizuri zaidi kwa kutumia aina maalum za modeli. + +Data ya mfululizo wa muda ni orodha ya uchunguzi ulioamriwa, tofauti na data inayoweza kuchambuliwa na regression ya mstari. Moja ya kawaida ni ARIMA, kifupi cha "Autoregressive Integrated Moving Average". + +[Modeli za ARIMA](https://online.stat.psu.edu/stat510/lesson/1/1.1) "zinahusisha thamani ya sasa ya mfululizo na thamani za zamani na makosa ya utabiri ya zamani." Zinahitajika zaidi kwa kuchambua data ya uwanja wa wakati, ambapo data imepangwa kwa wakati. + +> Kuna aina kadhaa za modeli za ARIMA, ambazo unaweza kujifunza kuhusu [hapa](https://people.duke.edu/~rnau/411arim.htm) na ambazo utazigusia katika somo lijalo. + +Katika somo lijalo, utajenga modeli ya ARIMA kwa kutumia [Univariate Time Series](https://itl.nist.gov/div898/handbook/pmc/section4/pmc44.htm), inayozingatia kigezo kimoja kinachobadilisha thamani yake kwa muda. Mfano wa aina hii ya data ni [seti hii ya data](https://itl.nist.gov/div898/handbook/pmc/section4/pmc4411.htm) inayorekodi mkusanyiko wa C02 wa kila mwezi katika Kituo cha Mauna Loa: + +| CO2 | YearMonth | Year | Month | +| :----: | :-------: | :---: | :---: | +| 330.62 | 1975.04 | 1975 | 1 | +| 331.40 | 1975.13 | 1975 | 2 | +| 331.87 | 1975.21 | 1975 | 3 | +| 333.18 | 1975.29 | 1975 | 4 | +| 333.92 | 1975.38 | 1975 | 5 | +| 333.43 | 1975.46 | 1975 | 6 | +| 331.85 | 1975.54 | 1975 | 7 | +| 330.01 | 1975.63 | 1975 | 8 | +| 328.51 | 1975.71 | 1975 | 9 | +| 328.41 | 1975.79 | 1975 | 10 | +| 329.25 | 1975.88 | 1975 | 11 | +| 330.97 | 1975.96 | 1975 | 12 | + +✅ Tambua kigezo kinachobadilika kwa muda katika seti hii ya data + +## Tabia za data ya mfululizo wa muda za kuzingatia + +Unapotazama data ya mfululizo wa muda, unaweza kugundua kuwa ina [tabia fulani](https://online.stat.psu.edu/stat510/lesson/1/1.1) ambazo unahitaji kuzingatia na kupunguza ili kuelewa mifumo yake vizuri. Ukizingatia data ya mfululizo wa muda kama inayoweza kutoa 'ishara' unayotaka kuchambua, tabia hizi zinaweza kufikiriwa kama 'kelele'. Mara nyingi utahitaji kupunguza 'kelele' hii kwa kupunguza baadhi ya tabia hizi kwa kutumia mbinu za takwimu. + +Hapa kuna dhana unazopaswa kujua ili kuweza kufanya kazi na mfululizo wa muda: + +🎓 **Mwenendo** + +Mwenendo unafafanuliwa kama ongezeko na upunguzaji unaoweza kupimika kwa muda. [Soma zaidi](https://machinelearningmastery.com/time-series-trends-in-python). Katika muktadha wa mfululizo wa muda, ni kuhusu jinsi ya kutumia na, ikiwa ni lazima, kuondoa mwenendo kutoka kwa mfululizo wako wa muda. + +🎓 **[Msimu](https://machinelearningmastery.com/time-series-seasonality-with-python/)** + +Msimu unafafanuliwa kama mabadiliko ya mara kwa mara, kama vile msimu wa sikukuu ambao unaweza kuathiri mauzo, kwa mfano. [Angalia](https://itl.nist.gov/div898/handbook/pmc/section4/pmc443.htm) jinsi aina tofauti za michoro zinavyoonyesha msimu katika data. + +🎓 **Data zilizotengwa** + +Data zilizotengwa ni zile ambazo ziko mbali sana na tofauti ya kawaida ya data. + +🎓 **Mzunguko wa muda mrefu** + +Huru na msimu, data inaweza kuonyesha mzunguko wa muda mrefu kama vile kushuka kwa uchumi kunakodumu zaidi ya mwaka mmoja. + +🎓 **Tofauti ya mara kwa mara** + +Kwa muda, baadhi ya data huonyesha mabadiliko ya mara kwa mara, kama vile matumizi ya nishati kwa mchana na usiku. + +🎓 **Mabadiliko ya ghafla** + +Data inaweza kuonyesha mabadiliko ya ghafla ambayo yanaweza kuhitaji uchambuzi zaidi. Kufungwa kwa biashara ghafla kutokana na COVID, kwa mfano, kulisababisha mabadiliko katika data. + +✅ Hapa kuna [mfano wa mchoro wa mfululizo wa muda](https://www.kaggle.com/kashnitsky/topic-9-part-1-time-series-analysis-in-python) unaoonyesha matumizi ya sarafu ya ndani ya mchezo kwa siku kadhaa. Je, unaweza kutambua yoyote ya tabia zilizoorodheshwa hapo juu katika data hii? + + + +## Zoezi - kuanza na data ya matumizi ya nguvu + +Wacha tuanze kuunda modeli ya mfululizo wa muda ili kutabiri matumizi ya nguvu ya baadaye kwa kuzingatia matumizi ya zamani. + +> Data katika mfano huu imetolewa kutoka kwa mashindano ya utabiri ya GEFCom2014. Inajumuisha miaka 3 ya mzigo wa umeme wa kila saa na thamani za joto kati ya 2012 na 2014. +> +> Tao Hong, Pierre Pinson, Shu Fan, Hamidreza Zareipour, Alberto Troccoli na Rob J. Hyndman, "Utabiri wa nishati ya uwezekano: Mashindano ya Utabiri wa Nishati ya Kimataifa 2014 na zaidi", Jarida la Kimataifa la Utabiri, vol.32, no.3, pp 896-913, Julai-Septemba, 2016. + +1. Katika folda ya `working` ya somo hili, fungua faili ya _notebook.ipynb_. Anza kwa kuongeza maktaba zitakazokusaidia kupakia na kuona data + + ```python + import os + import matplotlib.pyplot as plt + from common.utils import load_data + %matplotlib inline + ``` + + Kumbuka, unatumia faili kutoka `common` folder which set up your environment and handle downloading the data. + +2. Next, examine the data as a dataframe calling `load_data()` and `head()`: + + ```python + data_dir = './data' + energy = load_data(data_dir)[['load']] + energy.head() + ``` + + Unaweza kuona kwamba kuna safu mbili zinazoonyesha tarehe na mzigo: + + | | load | + | :-----------------: | :----: | + | 2012-01-01 00:00:00 | 2698.0 | + | 2012-01-01 01:00:00 | 2558.0 | + | 2012-01-01 02:00:00 | 2444.0 | + | 2012-01-01 03:00:00 | 2402.0 | + | 2012-01-01 04:00:00 | 2403.0 | + +3. Sasa, chora data kwa kuita `plot()`: + + ```python + energy.plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + +4. Sasa, chora wiki ya kwanza ya Julai 2014, kwa kutoa kama ingizo kwa `energy` in `[from date]: [to date]`: + + ```python + energy['2014-07-01':'2014-07-07'].plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + + Mchoro mzuri! Tazama michoro hii na uone kama unaweza kubaini yoyote ya tabia zilizoorodheshwa hapo juu. Tunaweza kusema nini kwa kuona data? + +Katika somo lijalo, utaunda modeli ya ARIMA ili kuunda baadhi ya utabiri. + +--- + +## 🚀Changamoto + +Fanya orodha ya viwanda na maeneo ya uchunguzi unayoweza kufikiria ambayo yangefaidika na utabiri wa mfululizo wa muda. Je, unaweza kufikiria matumizi ya mbinu hizi katika sanaa? Katika Uchumi? Ekolojia? Rejareja? Viwanda? Fedha? Wapi pengine? + +## [Maswali ya baada ya somo](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/42/) + +## Mapitio & Kujisomea + +Ingawa hatutayafunika hapa, mitandao ya neva wakati mwingine hutumika kuimarisha mbinu za kimsingi za utabiri wa mfululizo wa muda. Soma zaidi kuhusu hilo [katika makala hii](https://medium.com/microsoftazure/neural-networks-for-forecasting-financial-and-economic-time-series-6aca370ff412) + +## Kazi + +[Onyesha zaidi mfululizo wa muda](assignment.md) + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI zinazotumia mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwa sahihi. Hati asilia katika lugha yake ya awali inapaswa kuzingatiwa kama chanzo kikuu. Kwa taarifa muhimu, tafsiri ya kitaalamu ya kibinadamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/7-TimeSeries/1-Introduction/assignment.md b/translations/sw/7-TimeSeries/1-Introduction/assignment.md new file mode 100644 index 000000000..a98695e8b --- /dev/null +++ b/translations/sw/7-TimeSeries/1-Introduction/assignment.md @@ -0,0 +1,14 @@ +# Onyesha Mfululizo wa Muda Zaidi + +## Maelekezo + +Umeanza kujifunza kuhusu Utabiri wa Mfululizo wa Muda kwa kuangalia aina ya data inayohitaji uundaji maalum. Umeonyesha baadhi ya data kuhusu nishati. Sasa, angalia data nyingine ambayo ingefaidika na Utabiri wa Mfululizo wa Muda. Tafuta mifano mitatu (jaribu [Kaggle](https://kaggle.com) na [Azure Open Datasets](https://azure.microsoft.com/en-us/services/open-datasets/catalog/?WT.mc_id=academic-77952-leestott)) na tengeneza daftari ili kuionyesha. Eleza sifa zozote maalum walizo nazo (msimu, mabadiliko ya ghafla, au mwelekeo mwingine) katika daftari. + +## Rubric + +| Vigezo | Bora | Inayotosheleza | Inayohitaji Kuboresha | +| -------- | ------------------------------------------------------ | -------------------------------------------------- | --------------------------------------------------------------------------------------- | +| | Seti tatu za data zimeonyeshwa na kuelezewa kwenye daftari | Seti mbili za data zimeonyeshwa na kuelezewa kwenye daftari | Seti chache za data zimeonyeshwa au kuelezewa kwenye daftari au data iliyowasilishwa haitoshi | + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au upotovu. Hati asili katika lugha yake ya asili inapaswa kuchukuliwa kama chanzo cha mamlaka. Kwa taarifa muhimu, tafsiri ya kibinadamu ya kitaalamu inapendekezwa. Hatutawajibika kwa kutoelewana au upotovu wowote unaotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/7-TimeSeries/1-Introduction/solution/Julia/README.md b/translations/sw/7-TimeSeries/1-Introduction/solution/Julia/README.md new file mode 100644 index 000000000..81e218f42 --- /dev/null +++ b/translations/sw/7-TimeSeries/1-Introduction/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI zinazotumia mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwa sahihi. Hati ya asili katika lugha yake ya asili inapaswa kuzingatiwa kama chanzo cha mamlaka. Kwa habari muhimu, inashauriwa kutumia tafsiri ya kitaalamu ya kibinadamu. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/7-TimeSeries/1-Introduction/solution/R/README.md b/translations/sw/7-TimeSeries/1-Introduction/solution/R/README.md new file mode 100644 index 000000000..fee183455 --- /dev/null +++ b/translations/sw/7-TimeSeries/1-Introduction/solution/R/README.md @@ -0,0 +1,4 @@ + + +**Onyo**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au upungufu. Hati asili katika lugha yake ya asili inapaswa kuzingatiwa kama chanzo cha mamlaka. Kwa taarifa muhimu, tafsiri ya kitaalamu ya kibinadamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/7-TimeSeries/2-ARIMA/README.md b/translations/sw/7-TimeSeries/2-ARIMA/README.md new file mode 100644 index 000000000..40f1c579d --- /dev/null +++ b/translations/sw/7-TimeSeries/2-ARIMA/README.md @@ -0,0 +1,397 @@ +# Utabiri wa mfululizo wa muda na ARIMA + +Katika somo lililopita, ulijifunza kidogo kuhusu utabiri wa mfululizo wa muda na kupakia seti ya data inayoonyesha mabadiliko ya mzigo wa umeme kwa kipindi cha muda. + +[](https://youtu.be/IUSk-YDau10 "Utangulizi wa ARIMA") + +> 🎥 Bofya picha hapo juu kwa video: Utangulizi mfupi wa mifano ya ARIMA. Mfano umefanywa kwa R, lakini dhana ni za ulimwengu wote. + +## [Jaribio la kabla ya somo](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/43/) + +## Utangulizi + +Katika somo hili, utagundua njia maalum ya kujenga mifano na [ARIMA: *A*uto*R*egressive *I*ntegrated *M*oving *A*verage](https://wikipedia.org/wiki/Autoregressive_integrated_moving_average). Mifano ya ARIMA inafaa hasa kwa data inayoonyesha [kutokuwa na msimamo](https://wikipedia.org/wiki/Stationary_process). + +## Dhana za jumla + +Ili kuweza kufanya kazi na ARIMA, kuna dhana kadhaa unazohitaji kujua: + +- 🎓 **Ukimya**. Kutoka muktadha wa takwimu, ukimya unahusu data ambayo usambazaji wake haukabadilika inapohamishwa kwa muda. Data isiyo na ukimya, basi, inaonyesha mabadiliko kutokana na mwenendo ambao lazima ubadilishwe ili kuchambuliwa. Msimu, kwa mfano, unaweza kuanzisha mabadiliko katika data na inaweza kuondolewa kwa mchakato wa 'seasonal-differencing'. + +- 🎓 **[Kutoa tofauti](https://wikipedia.org/wiki/Autoregressive_integrated_moving_average#Differencing)**. Kutoa tofauti data, tena kutoka muktadha wa takwimu, inahusu mchakato wa kubadilisha data isiyo na ukimya ili kuifanya kuwa na ukimya kwa kuondoa mwenendo wake usiokuwa na msimamo. "Kutoa tofauti kunatoa mabadiliko katika kiwango cha mfululizo wa muda, kuondoa mwenendo na msimu na hivyo kuleta usawa wa wastani wa mfululizo wa muda." [Karatasi ya Shixiong et al](https://arxiv.org/abs/1904.07632) + +## ARIMA katika muktadha wa mfululizo wa muda + +Hebu tuvunje sehemu za ARIMA ili kuelewa vyema jinsi inavyotusaidia kuunda mifano ya mfululizo wa muda na kutusaidia kufanya utabiri dhidi yake. + +- **AR - kwa AutoRegressive**. Mifano ya autoregressive, kama jina linavyopendekeza, huangalia 'nyuma' kwa wakati kuchambua thamani za awali katika data yako na kufanya mawazo juu yao. Thamani hizi za awali huitwa 'lags'. Mfano ungekuwa data inayoonyesha mauzo ya kila mwezi ya penseli. Kila jumla ya mauzo ya mwezi ingechukuliwa kama 'kigezo kinachoendelea' katika seti ya data. Mfano huu umejengwa kama "kigezo kinachoendelea cha maslahi kinatabiriwa kwa thamani zake za nyuma (yaani, za awali)." [wikipedia](https://wikipedia.org/wiki/Autoregressive_integrated_moving_average) + +- **I - kwa Integrated**. Tofauti na mifano ya 'ARMA', 'I' katika ARIMA inahusu kipengele chake cha *[integrated](https://wikipedia.org/wiki/Order_of_integration)*. Data inakuwa 'integrated' wakati hatua za kutoa tofauti zinapotumika ili kuondoa kutokuwa na ukimya. + +- **MA - kwa Moving Average**. Kipengele cha [moving-average](https://wikipedia.org/wiki/Moving-average_model) cha mfano huu kinahusu kigezo cha pato kinachobainishwa kwa kuchunguza thamani za sasa na za awali za lags. + +Bottom line: ARIMA inatumika kufanya mfano uendane na aina maalum ya data ya mfululizo wa muda kwa karibu iwezekanavyo. + +## Zoezi - kujenga mfano wa ARIMA + +Fungua folda ya [_/working_](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA/working) katika somo hili na upate faili ya [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/7-TimeSeries/2-ARIMA/working/notebook.ipynb). + +1. Endesha notebook kupakia maktaba ya `statsmodels` ya Python; utahitaji hii kwa mifano ya ARIMA. + +1. Pakia maktaba muhimu + +1. Sasa, pakia maktaba zaidi zinazofaa kwa kuchora data: + + ```python + import os + import warnings + import matplotlib.pyplot as plt + import numpy as np + import pandas as pd + import datetime as dt + import math + + from pandas.plotting import autocorrelation_plot + from statsmodels.tsa.statespace.sarimax import SARIMAX + from sklearn.preprocessing import MinMaxScaler + from common.utils import load_data, mape + from IPython.display import Image + + %matplotlib inline + pd.options.display.float_format = '{:,.2f}'.format + np.set_printoptions(precision=2) + warnings.filterwarnings("ignore") # specify to ignore warning messages + ``` + +1. Pakia data kutoka faili la `/data/energy.csv` ndani ya dataframe ya Pandas na uangalie: + + ```python + energy = load_data('./data')[['load']] + energy.head(10) + ``` + +1. Chora data yote ya nishati inayopatikana kutoka Januari 2012 hadi Desemba 2014. Hakutakuwa na mshangao kwani tuliiona data hii katika somo lililopita: + + ```python + energy.plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + + Sasa, hebu tujenge mfano! + +### Unda seti za mafunzo na majaribio + +Sasa data yako imepakiwa, unaweza kuigawa katika seti za mafunzo na majaribio. Utafundisha mfano wako kwenye seti ya mafunzo. Kama kawaida, baada ya mfano kumaliza mafunzo, utapima usahihi wake kwa kutumia seti ya majaribio. Unahitaji kuhakikisha kuwa seti ya majaribio inashughulikia kipindi cha baadaye kutoka seti ya mafunzo ili kuhakikisha kuwa mfano haupati taarifa kutoka vipindi vya baadaye. + +1. Gawa kipindi cha miezi miwili kutoka Septemba 1 hadi Oktoba 31, 2014 kwa seti ya mafunzo. Seti ya majaribio itajumuisha kipindi cha miezi miwili cha Novemba 1 hadi Desemba 31, 2014: + + ```python + train_start_dt = '2014-11-01 00:00:00' + test_start_dt = '2014-12-30 00:00:00' + ``` + + Kwa kuwa data hii inaonyesha matumizi ya nishati ya kila siku, kuna muundo wenye nguvu wa msimu, lakini matumizi ni sawa zaidi na matumizi ya siku za hivi karibuni. + +1. Onyesha tofauti: + + ```python + energy[(energy.index < test_start_dt) & (energy.index >= train_start_dt)][['load']].rename(columns={'load':'train'}) \ + .join(energy[test_start_dt:][['load']].rename(columns={'load':'test'}), how='outer') \ + .plot(y=['train', 'test'], figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + + Kwa hiyo, kutumia dirisha ndogo ya muda kwa mafunzo ya data inapaswa kutosha. + + > Note: Kwa kuwa kazi tunayoyotumia kufaa mfano wa ARIMA hutumia uthibitishaji wa ndani-sampuli wakati wa kufaa, tutaacha data ya uthibitishaji. + +### Andaa data kwa mafunzo + +Sasa, unahitaji kuandaa data kwa mafunzo kwa kufanya uchujaji na kupima data yako. Chuja seti yako ya data ili kujumuisha tu vipindi vya muda vilivyotajwa na safu ambazo unahitaji, na kupima ili kuhakikisha data inatolewa katika kipimo cha 0,1. + +1. Chuja seti asili ya data kujumuisha tu vipindi vya muda vilivyotajwa kwa kila seti na kujumuisha tu safu inayohitajika 'mzigo' pamoja na tarehe: + + ```python + train = energy.copy()[(energy.index >= train_start_dt) & (energy.index < test_start_dt)][['load']] + test = energy.copy()[energy.index >= test_start_dt][['load']] + + print('Training data shape: ', train.shape) + print('Test data shape: ', test.shape) + ``` + + Unaweza kuona umbo la data: + + ```output + Training data shape: (1416, 1) + Test data shape: (48, 1) + ``` + +1. Pima data kuwa katika kipimo (0, 1). + + ```python + scaler = MinMaxScaler() + train['load'] = scaler.fit_transform(train) + train.head(10) + ``` + +1. Onyesha data asili dhidi ya data iliyopimwa: + + ```python + energy[(energy.index >= train_start_dt) & (energy.index < test_start_dt)][['load']].rename(columns={'load':'original load'}).plot.hist(bins=100, fontsize=12) + train.rename(columns={'load':'scaled load'}).plot.hist(bins=100, fontsize=12) + plt.show() + ``` + +  + + > Data asili + +  + + > Data iliyopimwa + +1. Sasa kwa kuwa umekalibu data iliyopimwa, unaweza kupima data ya majaribio: + + ```python + test['load'] = scaler.transform(test) + test.head() + ``` + +### Tekeleza ARIMA + +Ni wakati wa kutekeleza ARIMA! Sasa utatumia maktaba ya `statsmodels` uliyoisakinisha awali. + +Sasa unahitaji kufuata hatua kadhaa + + 1. Fafanua mfano kwa kupiga `SARIMAX()` and passing in the model parameters: p, d, and q parameters, and P, D, and Q parameters. + 2. Prepare the model for the training data by calling the fit() function. + 3. Make predictions calling the `forecast()` function and specifying the number of steps (the `horizon`) to forecast. + +> 🎓 What are all these parameters for? In an ARIMA model there are 3 parameters that are used to help model the major aspects of a time series: seasonality, trend, and noise. These parameters are: + +`p`: the parameter associated with the auto-regressive aspect of the model, which incorporates *past* values. +`d`: the parameter associated with the integrated part of the model, which affects the amount of *differencing* (🎓 remember differencing 👆?) to apply to a time series. +`q`: the parameter associated with the moving-average part of the model. + +> Note: If your data has a seasonal aspect - which this one does - , we use a seasonal ARIMA model (SARIMA). In that case you need to use another set of parameters: `P`, `D`, and `Q` which describe the same associations as `p`, `d`, and `q`, lakini zinaendana na vipengele vya msimu wa mfano. + +1. Anza kwa kuweka thamani yako ya upeo wa muda. Hebu jaribu masaa 3: + + ```python + # Specify the number of steps to forecast ahead + HORIZON = 3 + print('Forecasting horizon:', HORIZON, 'hours') + ``` + + Kuchagua thamani bora kwa vigezo vya mfano wa ARIMA kunaweza kuwa changamoto kwani ni jambo la kibinafsi na linachukua muda. Unaweza kufikiria kutumia maktaba ya `auto_arima()` function from the [`pyramid` library](https://alkaline-ml.com/pmdarima/0.9.0/modules/generated/pyramid.arima.auto_arima.html), + +1. Kwa sasa jaribu uteuzi wa mwongozo ili kupata mfano mzuri. + + ```python + order = (4, 1, 0) + seasonal_order = (1, 1, 0, 24) + + model = SARIMAX(endog=train, order=order, seasonal_order=seasonal_order) + results = model.fit() + + print(results.summary()) + ``` + + Jedwali la matokeo linachapishwa. + +Umejenga mfano wako wa kwanza! Sasa tunahitaji kupata njia ya kuipima. + +### Pima mfano wako + +Ili kupima mfano wako, unaweza kufanya uthibitishaji wa `walk forward`. Kwa vitendo, mifano ya mfululizo wa muda hufundishwa tena kila wakati data mpya inapopatikana. Hii inaruhusu mfano kufanya utabiri bora kwa kila hatua ya muda. + +Kuanzia mwanzo wa mfululizo wa muda kwa kutumia mbinu hii, fundisha mfano kwenye seti ya mafunzo. Kisha fanya utabiri kwenye hatua inayofuata ya muda. Utabiri unakaguliwa dhidi ya thamani inayojulikana. Seti ya mafunzo kisha inapanuliwa kujumuisha thamani inayojulikana na mchakato unarudiwa. + +> Note: Unapaswa kuweka dirisha la seti ya mafunzo imara kwa mafunzo bora zaidi ili kwamba kila wakati unapoongeza uchunguzi mpya kwenye seti ya mafunzo, unatoa uchunguzi kutoka mwanzo wa seti. + +Mchakato huu hutoa makadirio thabiti zaidi ya jinsi mfano utakavyofanya kazi kwa vitendo. Hata hivyo, inakuja na gharama ya kompyuta ya kuunda mifano mingi sana. Hii inakubalika ikiwa data ni ndogo au ikiwa mfano ni rahisi, lakini inaweza kuwa tatizo kwa kiwango kikubwa. + +Uthibitishaji wa walk-forward ni kiwango cha dhahabu cha tathmini ya mifano ya mfululizo wa muda na inapendekezwa kwa miradi yako mwenyewe. + +1. Kwanza, unda hatua ya data ya majaribio kwa kila hatua ya HORIZON. + + ```python + test_shifted = test.copy() + + for t in range(1, HORIZON+1): + test_shifted['load+'+str(t)] = test_shifted['load'].shift(-t, freq='H') + + test_shifted = test_shifted.dropna(how='any') + test_shifted.head(5) + ``` + + | | | mzigo | mzigo+1 | mzigo+2 | + | ---------- | -------- | ---- | ------ | ------ | + | 2014-12-30 | 00:00:00 | 0.33 | 0.29 | 0.27 | + | 2014-12-30 | 01:00:00 | 0.29 | 0.27 | 0.27 | + | 2014-12-30 | 02:00:00 | 0.27 | 0.27 | 0.30 | + | 2014-12-30 | 03:00:00 | 0.27 | 0.30 | 0.41 | + | 2014-12-30 | 04:00:00 | 0.30 | 0.41 | 0.57 | + + Data inahamishwa kwa usawa kulingana na hatua yake ya upeo wa muda. + +1. Fanya utabiri kwenye data yako ya majaribio kwa kutumia mbinu hii ya dirisha linalosonga katika kitanzi cha ukubwa wa urefu wa data ya majaribio: + + ```python + %%time + training_window = 720 # dedicate 30 days (720 hours) for training + + train_ts = train['load'] + test_ts = test_shifted + + history = [x for x in train_ts] + history = history[(-training_window):] + + predictions = list() + + order = (2, 1, 0) + seasonal_order = (1, 1, 0, 24) + + for t in range(test_ts.shape[0]): + model = SARIMAX(endog=history, order=order, seasonal_order=seasonal_order) + model_fit = model.fit() + yhat = model_fit.forecast(steps = HORIZON) + predictions.append(yhat) + obs = list(test_ts.iloc[t]) + # move the training window + history.append(obs[0]) + history.pop(0) + print(test_ts.index[t]) + print(t+1, ': predicted =', yhat, 'expected =', obs) + ``` + + Unaweza kuona mafunzo yakitokea: + + ```output + 2014-12-30 00:00:00 + 1 : predicted = [0.32 0.29 0.28] expected = [0.32945389435989236, 0.2900626678603402, 0.2739480752014323] + + 2014-12-30 01:00:00 + 2 : predicted = [0.3 0.29 0.3 ] expected = [0.2900626678603402, 0.2739480752014323, 0.26812891674127126] + + 2014-12-30 02:00:00 + 3 : predicted = [0.27 0.28 0.32] expected = [0.2739480752014323, 0.26812891674127126, 0.3025962399283795] + ``` + +1. Linganisha utabiri na mzigo halisi: + + ```python + eval_df = pd.DataFrame(predictions, columns=['t+'+str(t) for t in range(1, HORIZON+1)]) + eval_df['timestamp'] = test.index[0:len(test.index)-HORIZON+1] + eval_df = pd.melt(eval_df, id_vars='timestamp', value_name='prediction', var_name='h') + eval_df['actual'] = np.array(np.transpose(test_ts)).ravel() + eval_df[['prediction', 'actual']] = scaler.inverse_transform(eval_df[['prediction', 'actual']]) + eval_df.head() + ``` + + Matokeo + | | | timestamp | h | utabiri | halisi | + | --- | ---------- | --------- | --- | ---------- | -------- | + | 0 | 2014-12-30 | 00:00:00 | t+1 | 3,008.74 | 3,023.00 | + | 1 | 2014-12-30 | 01:00:00 | t+1 | 2,955.53 | 2,935.00 | + | 2 | 2014-12-30 | 02:00:00 | t+1 | 2,900.17 | 2,899.00 | + | 3 | 2014-12-30 | 03:00:00 | t+1 | 2,917.69 | 2,886.00 | + | 4 | 2014-12-30 | 04:00:00 | t+1 | 2,946.99 | 2,963.00 | + + + Angalia utabiri wa data ya kila saa, ikilinganishwa na mzigo halisi. Je, ni sahihi kiasi gani? + +### Angalia usahihi wa mfano + +Angalia usahihi wa mfano wako kwa kupima kosa la asilimia ya wastani wa upungufu (MAPE) juu ya utabiri wote. + +> **🧮 Nionyeshe hisabati** +> +>  +> +> [MAPE](https://www.linkedin.com/pulse/what-mape-mad-msd-time-series-allameh-statistics/) hutumika kuonyesha usahihi wa utabiri kama uwiano unaofafanuliwa na fomula hapo juu. Tofauti kati ya actualt na predictedt inagawanywa na actualt. "Thamani ya absolute katika hesabu hii inajumlishwa kwa kila hatua ya utabiri wa muda na kugawanywa na idadi ya pointi zilizofaa n." [wikipedia](https://wikipedia.org/wiki/Mean_absolute_percentage_error) + +1. Eleza equation katika code: + + ```python + if(HORIZON > 1): + eval_df['APE'] = (eval_df['prediction'] - eval_df['actual']).abs() / eval_df['actual'] + print(eval_df.groupby('h')['APE'].mean()) + ``` + +1. Hesabu MAPE ya hatua moja: + + ```python + print('One step forecast MAPE: ', (mape(eval_df[eval_df['h'] == 't+1']['prediction'], eval_df[eval_df['h'] == 't+1']['actual']))*100, '%') + ``` + + MAPE ya utabiri wa hatua moja: 0.5570581332313952 % + +1. Chapisha MAPE ya utabiri wa hatua nyingi: + + ```python + print('Multi-step forecast MAPE: ', mape(eval_df['prediction'], eval_df['actual'])*100, '%') + ``` + + ```output + Multi-step forecast MAPE: 1.1460048657704118 % + ``` + + Nambari ya chini ni bora: fikiria kwamba utabiri ambao una MAPE ya 10 ni mbali kwa 10%. + +1. Lakini kama kawaida, ni rahisi kuona aina hii ya kipimo cha usahihi kwa macho, kwa hivyo hebu tuichore: + + ```python + if(HORIZON == 1): + ## Plotting single step forecast + eval_df.plot(x='timestamp', y=['actual', 'prediction'], style=['r', 'b'], figsize=(15, 8)) + + else: + ## Plotting multi step forecast + plot_df = eval_df[(eval_df.h=='t+1')][['timestamp', 'actual']] + for t in range(1, HORIZON+1): + plot_df['t+'+str(t)] = eval_df[(eval_df.h=='t+'+str(t))]['prediction'].values + + fig = plt.figure(figsize=(15, 8)) + ax = plt.plot(plot_df['timestamp'], plot_df['actual'], color='red', linewidth=4.0) + ax = fig.add_subplot(111) + for t in range(1, HORIZON+1): + x = plot_df['timestamp'][(t-1):] + y = plot_df['t+'+str(t)][0:len(x)] + ax.plot(x, y, color='blue', linewidth=4*math.pow(.9,t), alpha=math.pow(0.8,t)) + + ax.legend(loc='best') + + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + +🏆 Mchoro mzuri sana, unaoonyesha mfano wenye usahihi mzuri. Hongera! + +--- + +## 🚀Changamoto + +Chunguza njia za kupima usahihi wa Mfano wa Mfululizo wa Muda. Tumegusia MAPE katika somo hili, lakini je, kuna njia nyingine unazoweza kutumia? Tafiti na uzichambue. Hati ya kusaidia inaweza kupatikana [hapa](https://otexts.com/fpp2/accuracy.html) + +## [Jaribio la baada ya somo](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/44/) + +## Mapitio & Kujisomea + +Somo hili linagusa tu misingi ya Utabiri wa Mfululizo wa Muda na ARIMA. Chukua muda wa kuongeza maarifa yako kwa kuchimba zaidi katika [repo hii](https://microsoft.github.io/forecasting/) na aina zake mbalimbali za mifano ili kujifunza njia nyingine za kujenga mifano ya Mfululizo wa Muda. + +## Kazi + +[Mfano mpya wa ARIMA](assignment.md) + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za kutafsiri za AI zinazotegemea mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwa sahihi. Hati asilia katika lugha yake ya asili inapaswa kuzingatiwa kama chanzo cha mamlaka. Kwa habari muhimu, tafsiri ya kitaalamu ya kibinadamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/7-TimeSeries/2-ARIMA/assignment.md b/translations/sw/7-TimeSeries/2-ARIMA/assignment.md new file mode 100644 index 000000000..e093ad062 --- /dev/null +++ b/translations/sw/7-TimeSeries/2-ARIMA/assignment.md @@ -0,0 +1,14 @@ +# Mfano Mpya wa ARIMA + +## Maagizo + +Sasa kwa kuwa umeunda mfano wa ARIMA, unda mwingine na data mpya (jaribu mojawapo ya [datasets hizi kutoka Duke](http://www2.stat.duke.edu/~mw/ts_data_sets.html)). Eleza kazi yako kwenye daftari, onyesha data na mfano wako, na ujaribu usahihi wake kwa kutumia MAPE. + +## Rubric + +| Kigezo | Kimekamilika | Kinatosheleza | Kinahitaji Kuboresha | +| -------- | ------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------- | ---------------------------------- | +| | Daftari limewasilishwa na mfano mpya wa ARIMA umeundwa, kujaribiwa na kuelezewa kwa picha na usahihi umeelezwa. | Daftari lililowasilishwa halijafafanuliwa au lina makosa | Daftari lisilokamilika limewasilishwa | + +**Onyo**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI zinazotegemea mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au upotofu. Hati ya asili katika lugha yake ya asili inapaswa kuzingatiwa kama chanzo cha mamlaka. Kwa taarifa muhimu, tafsiri ya kitaalamu ya binadamu inapendekezwa. Hatutawajibika kwa kutokuelewana au tafsiri potofu zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/7-TimeSeries/2-ARIMA/solution/Julia/README.md b/translations/sw/7-TimeSeries/2-ARIMA/solution/Julia/README.md new file mode 100644 index 000000000..3645a4c67 --- /dev/null +++ b/translations/sw/7-TimeSeries/2-ARIMA/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokubaliana. Hati ya asili katika lugha yake ya asili inapaswa kuzingatiwa kama chanzo cha mamlaka. Kwa habari muhimu, tafsiri ya kibinadamu ya kitaalamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/7-TimeSeries/2-ARIMA/solution/R/README.md b/translations/sw/7-TimeSeries/2-ARIMA/solution/R/README.md new file mode 100644 index 000000000..9514ffe4f --- /dev/null +++ b/translations/sw/7-TimeSeries/2-ARIMA/solution/R/README.md @@ -0,0 +1,4 @@ + + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI zinazotumia mashine. Ingawa tunajitahidi kupata usahihi, tafadhali fahamu kwamba tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwa sahihi. Hati ya asili katika lugha yake ya asili inapaswa kuzingatiwa kama chanzo rasmi. Kwa habari muhimu, inashauriwa kupata tafsiri ya kitaalamu ya kibinadamu. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/7-TimeSeries/3-SVR/README.md b/translations/sw/7-TimeSeries/3-SVR/README.md new file mode 100644 index 000000000..28eb44c2c --- /dev/null +++ b/translations/sw/7-TimeSeries/3-SVR/README.md @@ -0,0 +1,382 @@ +# Utabiri wa Mfululizo wa Wakati kwa Kutumia Support Vector Regressor + +Katika somo lililopita, ulijifunza jinsi ya kutumia mfano wa ARIMA kufanya utabiri wa mfululizo wa wakati. Sasa utakuwa unatazama mfano wa Support Vector Regressor ambao ni mfano wa kurudi nyuma unaotumika kutabiri data inayoendelea. + +## [Pre-lecture quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/51/) + +## Utangulizi + +Katika somo hili, utagundua njia maalum ya kujenga mifano kwa [**SVM**: **S**upport **V**ector **M**achine](https://en.wikipedia.org/wiki/Support-vector_machine) kwa kurudi nyuma, au **SVR: Support Vector Regressor**. + +### SVR katika muktadha wa mfululizo wa wakati [^1] + +Kabla ya kuelewa umuhimu wa SVR katika utabiri wa mfululizo wa wakati, hapa kuna baadhi ya dhana muhimu unazohitaji kujua: + +- **Regression:** Mbinu ya kujifunza yenye usimamizi ili kutabiri thamani zinazoendelea kutoka kwenye seti fulani ya pembejeo. Wazo ni kufaa mkurva (au mstari) katika nafasi ya vipengele ambayo ina idadi kubwa ya pointi za data. [Bonyeza hapa](https://en.wikipedia.org/wiki/Regression_analysis) kwa maelezo zaidi. +- **Support Vector Machine (SVM):** Aina ya mfano wa kujifunza kwa mashine yenye usimamizi unaotumika kwa uainishaji, kurudi nyuma na kugundua vitu vya kipekee. Mfano huo ni ndege ya juu katika nafasi ya vipengele, ambayo katika kesi ya uainishaji inafanya kazi kama mpaka, na katika kesi ya kurudi nyuma inafanya kazi kama mstari bora wa kufaa. Katika SVM, kazi ya Kernel hutumika kubadilisha seti ya data kuwa nafasi ya idadi kubwa ya vipimo, ili iweze kutenganishwa kwa urahisi. [Bonyeza hapa](https://en.wikipedia.org/wiki/Support-vector_machine) kwa maelezo zaidi kuhusu SVMs. +- **Support Vector Regressor (SVR):** Aina ya SVM, kupata mstari bora wa kufaa (ambao katika kesi ya SVM ni ndege ya juu) ambayo ina idadi kubwa ya pointi za data. + +### Kwa nini SVR? [^1] + +Katika somo la mwisho ulijifunza kuhusu ARIMA, ambayo ni njia ya takwimu ya mstari yenye mafanikio sana kutabiri data ya mfululizo wa wakati. Hata hivyo, katika kesi nyingi, data ya mfululizo wa wakati ina *kutokuwa na mstari*, ambayo haiwezi kuakisiwa na mifano ya mstari. Katika kesi hizo, uwezo wa SVM kuzingatia kutokuwa na mstari katika data kwa kazi za kurudi nyuma hufanya SVR kufanikiwa katika utabiri wa mfululizo wa wakati. + +## Zoezi - jenga mfano wa SVR + +Hatua za awali za maandalizi ya data ni sawa na zile za somo lililopita kuhusu [ARIMA](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA). + +Fungua folda ya [_/working_](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/3-SVR/working) katika somo hili na tafuta faili [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/7-TimeSeries/3-SVR/working/notebook.ipynb). [^2] + +1. Endesha daftari na ulete maktaba muhimu: [^2] + + ```python + import sys + sys.path.append('../../') + ``` + + ```python + import os + import warnings + import matplotlib.pyplot as plt + import numpy as np + import pandas as pd + import datetime as dt + import math + + from sklearn.svm import SVR + from sklearn.preprocessing import MinMaxScaler + from common.utils import load_data, mape + ``` + +2. Pakia data kutoka kwenye faili `/data/energy.csv` ndani ya dataframe ya Pandas na uangalie: [^2] + + ```python + energy = load_data('../../data')[['load']] + ``` + +3. Chora data zote za nishati zinazopatikana kutoka Januari 2012 hadi Desemba 2014: [^2] + + ```python + energy.plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + + Sasa, hebu tujenge mfano wetu wa SVR. + +### Tengeneza seti za mafunzo na majaribio + +Sasa data yako imepakuliwa, kwa hivyo unaweza kuitenganisha kuwa seti za mafunzo na majaribio. Kisha utarekebisha data ili kuunda seti ya data inayotegemea wakati ambayo itahitajika kwa SVR. Utaufundisha mfano wako kwenye seti ya mafunzo. Baada ya mfano kumaliza mafunzo, utapima usahihi wake kwenye seti ya mafunzo, seti ya majaribio na kisha seti kamili ya data ili kuona utendaji wa jumla. Unahitaji kuhakikisha kwamba seti ya majaribio inashughulikia kipindi cha baadaye kutoka kwenye seti ya mafunzo ili kuhakikisha kwamba mfano haupati habari kutoka kwenye vipindi vya wakati vijavyo [^2] (hali inayojulikana kama *Overfitting*). + +1. Tengeneza kipindi cha miezi miwili kutoka Septemba 1 hadi Oktoba 31, 2014 kwa seti ya mafunzo. Seti ya majaribio itajumuisha kipindi cha miezi miwili kutoka Novemba 1 hadi Desemba 31, 2014: [^2] + + ```python + train_start_dt = '2014-11-01 00:00:00' + test_start_dt = '2014-12-30 00:00:00' + ``` + +2. Angalia tofauti: [^2] + + ```python + energy[(energy.index < test_start_dt) & (energy.index >= train_start_dt)][['load']].rename(columns={'load':'train'}) \ + .join(energy[test_start_dt:][['load']].rename(columns={'load':'test'}), how='outer') \ + .plot(y=['train', 'test'], figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + +### Andaa data kwa mafunzo + +Sasa, unahitaji kuandaa data kwa mafunzo kwa kufanya uchujaji na kupima data yako. Chuja seti yako ya data ili kujumuisha vipindi vya wakati vilivyotajwa tu kwa kila seti na kujumuisha safu inayohitajika 'load' pamoja na tarehe: [^2] + +1. Chuja seti ya data asili ili kujumuisha vipindi vya wakati vilivyotajwa hapo juu tu kwa kila seti na kujumuisha safu inayohitajika 'load' pamoja na tarehe: [^2] + + ```python + train = energy.copy()[(energy.index >= train_start_dt) & (energy.index < test_start_dt)][['load']] + test = energy.copy()[energy.index >= test_start_dt][['load']] + + print('Training data shape: ', train.shape) + print('Test data shape: ', test.shape) + ``` + + ```output + Training data shape: (1416, 1) + Test data shape: (48, 1) + ``` + +2. Pima data ya mafunzo kuwa katika safu ya (0, 1): [^2] + + ```python + scaler = MinMaxScaler() + train['load'] = scaler.fit_transform(train) + ``` + +4. Sasa, pima data ya majaribio: [^2] + + ```python + test['load'] = scaler.transform(test) + ``` + +### Unda data kwa hatua za wakati [^1] + +Kwa SVR, unabadilisha data ya pembejeo kuwa ya fomu `[batch, timesteps]`. So, you reshape the existing `train_data` and `test_data` kwa njia ambayo kuna kipimo kipya kinachorejelea hatua za wakati. + +```python +# Converting to numpy arrays +train_data = train.values +test_data = test.values +``` + +Kwa mfano huu, tunachukua `timesteps = 5`. Kwa hivyo, pembejeo kwa mfano ni data ya hatua za wakati za kwanza 4, na pato litakuwa data ya hatua ya wakati ya 5. + +```python +timesteps=5 +``` + +Kubadilisha data ya mafunzo kuwa tensor ya 2D kwa kutumia orodha iliyo ndani ya orodha: + +```python +train_data_timesteps=np.array([[j for j in train_data[i:i+timesteps]] for i in range(0,len(train_data)-timesteps+1)])[:,:,0] +train_data_timesteps.shape +``` + +```output +(1412, 5) +``` + +Kubadilisha data ya majaribio kuwa tensor ya 2D: + +```python +test_data_timesteps=np.array([[j for j in test_data[i:i+timesteps]] for i in range(0,len(test_data)-timesteps+1)])[:,:,0] +test_data_timesteps.shape +``` + +```output +(44, 5) +``` + + Kuchagua pembejeo na matokeo kutoka kwa data ya mafunzo na majaribio: + +```python +x_train, y_train = train_data_timesteps[:,:timesteps-1],train_data_timesteps[:,[timesteps-1]] +x_test, y_test = test_data_timesteps[:,:timesteps-1],test_data_timesteps[:,[timesteps-1]] + +print(x_train.shape, y_train.shape) +print(x_test.shape, y_test.shape) +``` + +```output +(1412, 4) (1412, 1) +(44, 4) (44, 1) +``` + +### Tekeleza SVR [^1] + +Sasa, ni wakati wa kutekeleza SVR. Kusoma zaidi kuhusu utekelezaji huu, unaweza kurejelea [hati hii](https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVR.html). Kwa utekelezaji wetu, tunafuata hatua hizi: + + 1. Fafanua mfano kwa kuita `SVR()` and passing in the model hyperparameters: kernel, gamma, c and epsilon + 2. Prepare the model for the training data by calling the `fit()` function + 3. Make predictions calling the `predict()` function + +Sasa tunaunda mfano wa SVR. Hapa tunatumia [kernel ya RBF](https://scikit-learn.org/stable/modules/svm.html#parameters-of-the-rbf-kernel), na kuweka hyperparameters gamma, C na epsilon kama 0.5, 10 na 0.05 mtawaliwa. + +```python +model = SVR(kernel='rbf',gamma=0.5, C=10, epsilon = 0.05) +``` + +#### Fiti mfano kwenye data ya mafunzo [^1] + +```python +model.fit(x_train, y_train[:,0]) +``` + +```output +SVR(C=10, cache_size=200, coef0=0.0, degree=3, epsilon=0.05, gamma=0.5, + kernel='rbf', max_iter=-1, shrinking=True, tol=0.001, verbose=False) +``` + +#### Fanya utabiri wa mfano [^1] + +```python +y_train_pred = model.predict(x_train).reshape(-1,1) +y_test_pred = model.predict(x_test).reshape(-1,1) + +print(y_train_pred.shape, y_test_pred.shape) +``` + +```output +(1412, 1) (44, 1) +``` + +Umejenga SVR yako! Sasa tunahitaji kuipima. + +### Pima mfano wako [^1] + +Kwa tathmini, kwanza tutapima data tena kuwa kwenye kipimo chetu asili. Kisha, ili kuangalia utendaji, tutachora mfululizo wa wakati wa asili na utabiri, na pia kuchapisha matokeo ya MAPE. + +Pima tena data ya utabiri na pato la asili: + +```python +# Scaling the predictions +y_train_pred = scaler.inverse_transform(y_train_pred) +y_test_pred = scaler.inverse_transform(y_test_pred) + +print(len(y_train_pred), len(y_test_pred)) +``` + +```python +# Scaling the original values +y_train = scaler.inverse_transform(y_train) +y_test = scaler.inverse_transform(y_test) + +print(len(y_train), len(y_test)) +``` + +#### Angalia utendaji wa mfano kwenye data ya mafunzo na majaribio [^1] + +Tunatoa timestamps kutoka kwenye seti ya data kuonyesha kwenye mhimili wa x wa mchoro wetu. Kumbuka kuwa tunatumia ```timesteps-1``` thamani za kwanza kama pembejeo kwa pato la kwanza, kwa hivyo timestamps za pato zitaanza baada ya hapo. + +```python +train_timestamps = energy[(energy.index < test_start_dt) & (energy.index >= train_start_dt)].index[timesteps-1:] +test_timestamps = energy[test_start_dt:].index[timesteps-1:] + +print(len(train_timestamps), len(test_timestamps)) +``` + +```output +1412 44 +``` + +Chora utabiri kwa data ya mafunzo: + +```python +plt.figure(figsize=(25,6)) +plt.plot(train_timestamps, y_train, color = 'red', linewidth=2.0, alpha = 0.6) +plt.plot(train_timestamps, y_train_pred, color = 'blue', linewidth=0.8) +plt.legend(['Actual','Predicted']) +plt.xlabel('Timestamp') +plt.title("Training data prediction") +plt.show() +``` + + + +Chapisha MAPE kwa data ya mafunzo + +```python +print('MAPE for training data: ', mape(y_train_pred, y_train)*100, '%') +``` + +```output +MAPE for training data: 1.7195710200875551 % +``` + +Chora utabiri kwa data ya majaribio + +```python +plt.figure(figsize=(10,3)) +plt.plot(test_timestamps, y_test, color = 'red', linewidth=2.0, alpha = 0.6) +plt.plot(test_timestamps, y_test_pred, color = 'blue', linewidth=0.8) +plt.legend(['Actual','Predicted']) +plt.xlabel('Timestamp') +plt.show() +``` + + + +Chapisha MAPE kwa data ya majaribio + +```python +print('MAPE for testing data: ', mape(y_test_pred, y_test)*100, '%') +``` + +```output +MAPE for testing data: 1.2623790187854018 % +``` + +🏆 Una matokeo mazuri sana kwenye seti ya data ya majaribio! + +### Angalia utendaji wa mfano kwenye seti kamili ya data [^1] + +```python +# Extracting load values as numpy array +data = energy.copy().values + +# Scaling +data = scaler.transform(data) + +# Transforming to 2D tensor as per model input requirement +data_timesteps=np.array([[j for j in data[i:i+timesteps]] for i in range(0,len(data)-timesteps+1)])[:,:,0] +print("Tensor shape: ", data_timesteps.shape) + +# Selecting inputs and outputs from data +X, Y = data_timesteps[:,:timesteps-1],data_timesteps[:,[timesteps-1]] +print("X shape: ", X.shape,"\nY shape: ", Y.shape) +``` + +```output +Tensor shape: (26300, 5) +X shape: (26300, 4) +Y shape: (26300, 1) +``` + +```python +# Make model predictions +Y_pred = model.predict(X).reshape(-1,1) + +# Inverse scale and reshape +Y_pred = scaler.inverse_transform(Y_pred) +Y = scaler.inverse_transform(Y) +``` + +```python +plt.figure(figsize=(30,8)) +plt.plot(Y, color = 'red', linewidth=2.0, alpha = 0.6) +plt.plot(Y_pred, color = 'blue', linewidth=0.8) +plt.legend(['Actual','Predicted']) +plt.xlabel('Timestamp') +plt.show() +``` + + + +```python +print('MAPE: ', mape(Y_pred, Y)*100, '%') +``` + +```output +MAPE: 2.0572089029888656 % +``` + +🏆 Michoro nzuri sana, inaonyesha mfano wenye usahihi mzuri. Hongera! + +--- + +## 🚀Changamoto + +- Jaribu kubadilisha hyperparameters (gamma, C, epsilon) wakati wa kuunda mfano na tathmini kwenye data ili kuona seti gani ya hyperparameters inatoa matokeo bora kwenye data ya majaribio. Kujua zaidi kuhusu hyperparameters hizi, unaweza kurejelea hati [hapa](https://scikit-learn.org/stable/modules/svm.html#parameters-of-the-rbf-kernel). +- Jaribu kutumia kazi tofauti za kernel kwa mfano na uchanganue utendaji wao kwenye seti ya data. Hati inayosaidia inaweza kupatikana [hapa](https://scikit-learn.org/stable/modules/svm.html#kernel-functions). +- Jaribu kutumia thamani tofauti za `timesteps` kwa mfano ili kuangalia nyuma kufanya utabiri. + +## [Post-lecture quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/52/) + +## Mapitio na Kujisomea + +Somo hili lilikuwa la kuanzisha matumizi ya SVR kwa Utabiri wa Mfululizo wa Wakati. Kusoma zaidi kuhusu SVR, unaweza kurejelea [blogu hii](https://www.analyticsvidhya.com/blog/2020/03/support-vector-regression-tutorial-for-machine-learning/). Hii [hati ya scikit-learn](https://scikit-learn.org/stable/modules/svm.html) inatoa maelezo ya kina zaidi kuhusu SVMs kwa ujumla, [SVRs](https://scikit-learn.org/stable/modules/svm.html#regression) na pia maelezo mengine ya utekelezaji kama vile kazi tofauti za [kernel](https://scikit-learn.org/stable/modules/svm.html#kernel-functions) zinazoweza kutumika, na vigezo vyake. + +## Kazi + +[Modeli mpya ya SVR](assignment.md) + +## Credits + +[^1]: Maandishi, msimbo na matokeo katika sehemu hii yalichangiwa na [@AnirbanMukherjeeXD](https://github.com/AnirbanMukherjeeXD) +[^2]: Maandishi, msimbo na matokeo katika sehemu hii yalichukuliwa kutoka [ARIMA](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA) + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI zinazotumia mashine. Ingawa tunajitahidi kuwa sahihi, tafadhali fahamu kwamba tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwa sahihi. Hati ya asili katika lugha yake ya asili inapaswa kuzingatiwa kama chanzo chenye mamlaka. Kwa taarifa muhimu, tafsiri ya kitaalamu ya binadamu inapendekezwa. Hatutawajibika kwa kutokuelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/7-TimeSeries/3-SVR/assignment.md b/translations/sw/7-TimeSeries/3-SVR/assignment.md new file mode 100644 index 000000000..092c78904 --- /dev/null +++ b/translations/sw/7-TimeSeries/3-SVR/assignment.md @@ -0,0 +1,16 @@ +# Mfano mpya wa SVR + +## Maelekezo [^1] + +Sasa kwa kuwa umeshaunda mfano wa SVR, unda mwingine mpya kwa kutumia data mpya (jaribu moja ya [seti hizi za data kutoka Duke](http://www2.stat.duke.edu/~mw/ts_data_sets.html)). Elezea kazi yako katika daftari, ona data na mfano wako, na jaribu usahihi wake kwa kutumia michoro inayofaa na MAPE. Pia jaribu kurekebisha hyperparameters tofauti na kutumia thamani tofauti kwa timesteps. +## Rubric [^1] + +| Vigezo | Bora kabisa | Inatosha | Inahitaji Kuboresha | +| ------- | ----------------------------------------------------------- | ---------------------------------------------------------- | --------------------------------- | +| | Daftari linaonyeshwa na mfano wa SVR umejengwa, umejaribiwa na kuelezewa kwa michoro na usahihi kutajwa. | Daftari linalowasilishwa halijafafanuliwa au lina makosa. | Daftari lisilokamilika linaonyeshwa | + + +[^1]: Maandishi katika sehemu hii yamejikita kwenye [kazi kutoka ARIMA](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA/assignment.md) + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI zinazotumia mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kwamba tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwepo kwa usahihi. Hati ya asili katika lugha yake ya kiasili inapaswa kuzingatiwa kama chanzo cha mamlaka. Kwa taarifa muhimu, tafsiri ya kitaalamu ya binadamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/7-TimeSeries/README.md b/translations/sw/7-TimeSeries/README.md new file mode 100644 index 000000000..1b20598ca --- /dev/null +++ b/translations/sw/7-TimeSeries/README.md @@ -0,0 +1,26 @@ +# Utangulizi wa utabiri wa mfululizo wa muda + +Utabiri wa mfululizo wa muda ni nini? Ni kuhusu kutabiri matukio yajayo kwa kuchambua mwenendo wa zamani. + +## Mada ya Kikanda: Matumizi ya umeme duniani ✨ + +Katika masomo haya mawili, utatambulishwa kwa utabiri wa mfululizo wa muda, eneo ambalo halijulikani sana katika ujifunzaji wa mashine lakini lina thamani kubwa kwa matumizi ya viwanda na biashara, pamoja na nyanja nyingine. Ingawa mitandao ya neva inaweza kutumika kuboresha matumizi ya mifano hii, tutaisoma katika muktadha wa ujifunzaji wa mashine wa kiasili kwani mifano husaidia kutabiri utendaji wa baadaye kulingana na zamani. + +Mwelekeo wetu wa kikanda ni matumizi ya umeme duniani, seti ya data ya kuvutia kujifunza kuhusu utabiri wa matumizi ya nguvu za umeme za baadaye kulingana na mifumo ya mzigo wa zamani. Unaweza kuona jinsi aina hii ya utabiri inaweza kuwa ya msaada mkubwa katika mazingira ya biashara. + + + +Picha na [Peddi Sai hrithik](https://unsplash.com/@shutter_log?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText) ya minara ya umeme kwenye barabara huko Rajasthan kwenye [Unsplash](https://unsplash.com/s/photos/electric-india?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText) + +## Masomo + +1. [Utangulizi wa utabiri wa mfululizo wa muda](1-Introduction/README.md) +2. [Kujenga mifano ya ARIMA ya mfululizo wa muda](2-ARIMA/README.md) +3. [Kujenga Support Vector Regressor kwa utabiri wa mfululizo wa muda](3-SVR/README.md) + +## Shukrani + +"Utangulizi wa utabiri wa mfululizo wa muda" uliandikwa kwa ⚡️ na [Francesca Lazzeri](https://twitter.com/frlazzeri) na [Jen Looper](https://twitter.com/jenlooper). Vitabu vya mazoezi vilionekana kwanza mtandaoni kwenye [Azure "Deep Learning For Time Series" repo](https://github.com/Azure/DeepLearningForTimeSeriesForecasting) vilivyoandikwa awali na Francesca Lazzeri. Somo la SVR liliandikwa na [Anirban Mukherjee](https://github.com/AnirbanMukherjeeXD) + +**Onyo**: +Hati hii imetafsiriwa kwa kutumia huduma za kutafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwepo na usahihi. Hati ya asili katika lugha yake ya kiasili inapaswa kuzingatiwa kama chanzo cha mamlaka. Kwa taarifa muhimu, tafsiri ya kibinadamu ya kitaalamu inapendekezwa. Hatutawajibika kwa kutokuelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/8-Reinforcement/1-QLearning/README.md b/translations/sw/8-Reinforcement/1-QLearning/README.md new file mode 100644 index 000000000..a107767dd --- /dev/null +++ b/translations/sw/8-Reinforcement/1-QLearning/README.md @@ -0,0 +1,319 @@ +# Utangulizi wa Kujifunza kwa Kuimarisha na Q-Learning + + +> Sketchnote na [Tomomi Imura](https://www.twitter.com/girlie_mac) + +Kujifunza kwa kuimarisha kunahusisha dhana tatu muhimu: wakala, baadhi ya hali, na seti ya vitendo kwa kila hali. Kwa kutekeleza kitendo katika hali maalum, wakala hupewa tuzo. Fikiria tena mchezo wa kompyuta wa Super Mario. Wewe ni Mario, uko kwenye kiwango cha mchezo, umesimama karibu na ukingo wa mwamba. Juu yako kuna sarafu. Wewe ukiwa Mario, katika kiwango cha mchezo, katika nafasi maalum ... hiyo ndiyo hali yako. Kusonga hatua moja kulia (kitendo) kutakupeleka kwenye ukingo, na hiyo itakupa alama ndogo ya nambari. Hata hivyo, kubonyeza kitufe cha kuruka kutakupa alama na utabaki hai. Hiyo ni matokeo chanya na hiyo inapaswa kukupa alama chanya ya nambari. + +Kwa kutumia kujifunza kwa kuimarisha na simulator (mchezo), unaweza kujifunza jinsi ya kucheza mchezo ili kuongeza tuzo ambayo ni kubaki hai na kupata alama nyingi iwezekanavyo. + +[](https://www.youtube.com/watch?v=lDq_en8RNOo) + +> 🎥 Bofya picha hapo juu kumsikiliza Dmitry akijadili Kujifunza kwa Kuimarisha + +## [Jaribio la kabla ya somo](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/45/) + +## Mahitaji na Mipangilio + +Katika somo hili, tutakuwa tukijaribu na baadhi ya nambari katika Python. Unapaswa kuwa na uwezo wa kuendesha nambari ya Jupyter Notebook kutoka somo hili, ama kwenye kompyuta yako au mahali pengine kwenye wingu. + +Unaweza kufungua [notebook ya somo](https://github.com/microsoft/ML-For-Beginners/blob/main/8-Reinforcement/1-QLearning/notebook.ipynb) na kupitia somo hili kujenga. + +> **Kumbuka:** Ikiwa unafungua nambari hii kutoka kwenye wingu, pia unahitaji kupata faili la [`rlboard.py`](https://github.com/microsoft/ML-For-Beginners/blob/main/8-Reinforcement/1-QLearning/rlboard.py), ambalo linatumika katika nambari ya notebook. Ongeza kwenye saraka moja na notebook. + +## Utangulizi + +Katika somo hili, tutachunguza ulimwengu wa **[Peter na Mbwa Mwitu](https://en.wikipedia.org/wiki/Peter_and_the_Wolf)**, uliohamasishwa na hadithi ya muziki ya Kirusi, [Sergei Prokofiev](https://en.wikipedia.org/wiki/Sergei_Prokofiev). Tutatumia **Kujifunza kwa Kuimarisha** kumruhusu Peter kuchunguza mazingira yake, kukusanya matofaa matamu na kuepuka kukutana na mbwa mwitu. + +**Kujifunza kwa Kuimarisha** (RL) ni mbinu ya kujifunza inayoturuhusu kujifunza tabia bora ya **wakala** katika **mazingira** fulani kwa kuendesha majaribio mengi. Wakala katika mazingira haya anapaswa kuwa na **lengo**, lililofafanuliwa na **kazi ya tuzo**. + +## Mazingira + +Kwa urahisi, tuchukulie ulimwengu wa Peter kuwa ubao wa mraba wa ukubwa `width` x `height`, kama hivi: + + + +Kila seli katika ubao huu inaweza kuwa: + +* **ardhi**, ambayo Peter na viumbe wengine wanaweza kutembea. +* **maji**, ambayo huwezi kutembea. +* **mti** au **nyasi**, mahali ambapo unaweza kupumzika. +* **tofaa**, ambalo linawakilisha kitu ambacho Peter angefurahi kukipata ili kujilisha. +* **mbwa mwitu**, ambaye ni hatari na anapaswa kuepukwa. + +Kuna moduli ya Python tofauti, [`rlboard.py`](https://github.com/microsoft/ML-For-Beginners/blob/main/8-Reinforcement/1-QLearning/rlboard.py), ambayo ina nambari ya kufanya kazi na mazingira haya. Kwa sababu nambari hii si muhimu kwa kuelewa dhana zetu, tutaleta moduli na kuitumia kuunda ubao wa mfano (code block 1): + +```python +from rlboard import * + +width, height = 8,8 +m = Board(width,height) +m.randomize(seed=13) +m.plot() +``` + +Nambari hii inapaswa kuchapisha picha ya mazingira inayofanana na ile hapo juu. + +## Vitendo na sera + +Katika mfano wetu, lengo la Peter litakuwa kupata tofaa, huku akiepuka mbwa mwitu na vikwazo vingine. Ili kufanya hivyo, anaweza kutembea tu hadi apate tofaa. + +Kwa hivyo, katika nafasi yoyote, anaweza kuchagua kati ya moja ya vitendo vifuatavyo: juu, chini, kushoto na kulia. + +Tutafafanua vitendo hivyo kama kamusi, na kuziunganisha na jozi za mabadiliko ya kuratibu yanayolingana. Kwa mfano, kusonga kulia (`R`) would correspond to a pair `(1,0)`. (code block 2): + +```python +actions = { "U" : (0,-1), "D" : (0,1), "L" : (-1,0), "R" : (1,0) } +action_idx = { a : i for i,a in enumerate(actions.keys()) } +``` + +Kwa muhtasari, mkakati na lengo la hali hii ni kama ifuatavyo: + +- **Mkakati**, wa wakala wetu (Peter) unafafanuliwa na kinachoitwa **sera**. Sera ni kazi inayorejesha kitendo katika hali yoyote iliyotolewa. Katika kesi yetu, hali ya tatizo inawakilishwa na ubao, ikijumuisha nafasi ya sasa ya mchezaji. + +- **Lengo**, la kujifunza kwa kuimarisha ni hatimaye kujifunza sera nzuri ambayo itaturuhusu kutatua tatizo kwa ufanisi. Hata hivyo, kama msingi, tuchukulie sera rahisi zaidi inayoitwa **kutembea kwa nasibu**. + +## Kutembea kwa nasibu + +Kwanza, tutatue tatizo letu kwa kutekeleza mkakati wa kutembea kwa nasibu. Kwa kutembea kwa nasibu, tutachagua kwa nasibu kitendo kinachofuata kutoka kwa vitendo vilivyoruhusiwa, hadi tufikie tofaa (code block 3). + +1. Tekeleza kutembea kwa nasibu na nambari hapa chini: + + ```python + def random_policy(m): + return random.choice(list(actions)) + + def walk(m,policy,start_position=None): + n = 0 # number of steps + # set initial position + if start_position: + m.human = start_position + else: + m.random_start() + while True: + if m.at() == Board.Cell.apple: + return n # success! + if m.at() in [Board.Cell.wolf, Board.Cell.water]: + return -1 # eaten by wolf or drowned + while True: + a = actions[policy(m)] + new_pos = m.move_pos(m.human,a) + if m.is_valid(new_pos) and m.at(new_pos)!=Board.Cell.water: + m.move(a) # do the actual move + break + n+=1 + + walk(m,random_policy) + ``` + + Wito kwa `walk` unapaswa kurejesha urefu wa njia inayolingana, ambayo inaweza kutofautiana kutoka kwa kukimbia moja hadi nyingine. + +1. Endesha jaribio la kutembea mara kadhaa (sema, 100), na uchapishe takwimu zinazotokana (code block 4): + + ```python + def print_statistics(policy): + s,w,n = 0,0,0 + for _ in range(100): + z = walk(m,policy) + if z<0: + w+=1 + else: + s += z + n += 1 + print(f"Average path length = {s/n}, eaten by wolf: {w} times") + + print_statistics(random_policy) + ``` + + Kumbuka kuwa urefu wa wastani wa njia ni karibu hatua 30-40, ambayo ni nyingi, ikizingatiwa kuwa umbali wa wastani hadi tofaa lililo karibu ni karibu hatua 5-6. + + Unaweza pia kuona jinsi harakati za Peter zinavyoonekana wakati wa kutembea kwa nasibu: + +  + +## Kazi ya tuzo + +Ili kufanya sera yetu kuwa ya akili zaidi, tunahitaji kuelewa ni hatua gani ni "bora" kuliko nyingine. Ili kufanya hivyo, tunahitaji kufafanua lengo letu. + +Lengo linaweza kufafanuliwa kwa maneno ya **kazi ya tuzo**, ambayo itarejesha thamani fulani ya alama kwa kila hali. Nambari inavyokuwa juu, ndivyo kazi ya tuzo inavyokuwa bora. (code block 5) + +```python +move_reward = -0.1 +goal_reward = 10 +end_reward = -10 + +def reward(m,pos=None): + pos = pos or m.human + if not m.is_valid(pos): + return end_reward + x = m.at(pos) + if x==Board.Cell.water or x == Board.Cell.wolf: + return end_reward + if x==Board.Cell.apple: + return goal_reward + return move_reward +``` + +Jambo la kuvutia kuhusu kazi za tuzo ni kwamba katika hali nyingi, *tunapewa tuzo kubwa mwishoni mwa mchezo*. Hii inamaanisha kuwa algoriti yetu inapaswa kwa namna fulani kukumbuka hatua "nzuri" zinazoongoza kwenye tuzo chanya mwishoni, na kuongeza umuhimu wake. Vivyo hivyo, hatua zote zinazoongoza kwenye matokeo mabaya zinapaswa kukatishwa tamaa. + +## Q-Learning + +Algoriti ambayo tutajadili hapa inaitwa **Q-Learning**. Katika algoriti hii, sera inafafanuliwa na kazi (au muundo wa data) unaoitwa **Q-Table**. Inaandika "uzuri" wa kila kitendo katika hali iliyotolewa. + +Inaitwa Q-Table kwa sababu mara nyingi ni rahisi kuiwakilisha kama meza, au safu nyingi. Kwa kuwa ubao wetu una vipimo vya `width` x `height`, tunaweza kuwakilisha Q-Table kwa kutumia safu ya numpy yenye umbo `width` x `height` x `len(actions)`: (code block 6) + +```python +Q = np.ones((width,height,len(actions)),dtype=np.float)*1.0/len(actions) +``` + +Kumbuka kwamba tunaanzisha maadili yote ya Q-Table na thamani sawa, katika kesi yetu - 0.25. Hii inalingana na sera ya "kutembea kwa nasibu", kwa sababu hatua zote katika kila hali ni nzuri sawa. Tunaweza kupitisha Q-Table kwa `plot` function in order to visualize the table on the board: `m.plot(Q)`. + + + +In the center of each cell there is an "arrow" that indicates the preferred direction of movement. Since all directions are equal, a dot is displayed. + +Now we need to run the simulation, explore our environment, and learn a better distribution of Q-Table values, which will allow us to find the path to the apple much faster. + +## Essence of Q-Learning: Bellman Equation + +Once we start moving, each action will have a corresponding reward, i.e. we can theoretically select the next action based on the highest immediate reward. However, in most states, the move will not achieve our goal of reaching the apple, and thus we cannot immediately decide which direction is better. + +> Remember that it is not the immediate result that matters, but rather the final result, which we will obtain at the end of the simulation. + +In order to account for this delayed reward, we need to use the principles of **[dynamic programming](https://en.wikipedia.org/wiki/Dynamic_programming)**, which allow us to think about out problem recursively. + +Suppose we are now at the state *s*, and we want to move to the next state *s'*. By doing so, we will receive the immediate reward *r(s,a)*, defined by the reward function, plus some future reward. If we suppose that our Q-Table correctly reflects the "attractiveness" of each action, then at state *s'* we will chose an action *a* that corresponds to maximum value of *Q(s',a')*. Thus, the best possible future reward we could get at state *s* will be defined as `max`a'*Q(s',a')* (maximum here is computed over all possible actions *a'* at state *s'*). + +This gives the **Bellman formula** for calculating the value of the Q-Table at state *s*, given action *a*: + +
+
+Here γ is the so-called **discount factor** that determines to which extent you should prefer the current reward over the future reward and vice versa.
+
+## Learning Algorithm
+
+Given the equation above, we can now write pseudo-code for our learning algorithm:
+
+* Initialize Q-Table Q with equal numbers for all states and actions
+* Set learning rate α ← 1
+* Repeat simulation many times
+ 1. Start at random position
+ 1. Repeat
+ 1. Select an action *a* at state *s*
+ 2. Execute action by moving to a new state *s'*
+ 3. If we encounter end-of-game condition, or total reward is too small - exit simulation
+ 4. Compute reward *r* at the new state
+ 5. Update Q-Function according to Bellman equation: *Q(s,a)* ← *(1-α)Q(s,a)+α(r+γ maxa'Q(s',a'))*
+ 6. *s* ← *s'*
+ 7. Update the total reward and decrease α.
+
+## Exploit vs. explore
+
+In the algorithm above, we did not specify how exactly we should choose an action at step 2.1. If we are choosing the action randomly, we will randomly **explore** the environment, and we are quite likely to die often as well as explore areas where we would not normally go. An alternative approach would be to **exploit** the Q-Table values that we already know, and thus to choose the best action (with higher Q-Table value) at state *s*. This, however, will prevent us from exploring other states, and it's likely we might not find the optimal solution.
+
+Thus, the best approach is to strike a balance between exploration and exploitation. This can be done by choosing the action at state *s* with probabilities proportional to values in the Q-Table. In the beginning, when Q-Table values are all the same, it would correspond to a random selection, but as we learn more about our environment, we would be more likely to follow the optimal route while allowing the agent to choose the unexplored path once in a while.
+
+## Python implementation
+
+We are now ready to implement the learning algorithm. Before we do that, we also need some function that will convert arbitrary numbers in the Q-Table into a vector of probabilities for corresponding actions.
+
+1. Create a function `probs()`:
+
+ ```python
+ def probs(v,eps=1e-4):
+ v = v-v.min()+eps
+ v = v/v.sum()
+ return v
+ ```
+
+ Tunaongeza `eps` chache kwenye vector ya awali ili kuepuka mgawanyiko kwa 0 katika kesi ya awali, wakati vipengele vyote vya vector ni sawa.
+
+Endesha algoriti ya kujifunza kupitia majaribio 5000, pia huitwa **epochs**: (code block 8)
+```python
+ for epoch in range(5000):
+
+ # Pick initial point
+ m.random_start()
+
+ # Start travelling
+ n=0
+ cum_reward = 0
+ while True:
+ x,y = m.human
+ v = probs(Q[x,y])
+ a = random.choices(list(actions),weights=v)[0]
+ dpos = actions[a]
+ m.move(dpos,check_correctness=False) # we allow player to move outside the board, which terminates episode
+ r = reward(m)
+ cum_reward += r
+ if r==end_reward or cum_reward < -1000:
+ lpath.append(n)
+ break
+ alpha = np.exp(-n / 10e5)
+ gamma = 0.5
+ ai = action_idx[a]
+ Q[x,y,ai] = (1 - alpha) * Q[x,y,ai] + alpha * (r + gamma * Q[x+dpos[0], y+dpos[1]].max())
+ n+=1
+```
+
+Baada ya kutekeleza algoriti hii, Q-Table inapaswa kusasishwa na maadili ambayo yanafafanua mvuto wa hatua tofauti katika kila hatua. Tunaweza kujaribu kuonyesha Q-Table kwa kuchora vector kwenye kila seli ambayo itaelekeza kwenye mwelekeo unaotakiwa wa harakati. Kwa urahisi, tunachora duara ndogo badala ya kichwa cha mshale.
+
+## Kuangalia sera
+
+Kwa kuwa Q-Table inaorodhesha "mvuto" wa kila kitendo katika kila hali, ni rahisi kuitumia kufafanua urambazaji bora katika ulimwengu wetu. Katika kesi rahisi zaidi, tunaweza kuchagua kitendo kinacholingana na thamani ya juu zaidi ya Q-Table: (code block 9)
+
+```python
+def qpolicy_strict(m):
+ x,y = m.human
+ v = probs(Q[x,y])
+ a = list(actions)[np.argmax(v)]
+ return a
+
+walk(m,qpolicy_strict)
+```
+
+> Ukijaribu nambari hapo juu mara kadhaa, unaweza kugundua kuwa wakati mwingine inagoma, na unahitaji kubonyeza kitufe cha STOP kwenye notebook ili kuikomesha. Hii inatokea kwa sababu kunaweza kuwa na hali ambapo hali mbili "zinaelekeza" kwa kila mmoja kwa thamani bora ya Q, ambapo wakala huishia kusonga kati ya hali hizo bila kikomo.
+
+## 🚀Changamoto
+
+> **Kazi 1:** Badilisha `walk` function to limit the maximum length of path by a certain number of steps (say, 100), and watch the code above return this value from time to time.
+
+> **Task 2:** Modify the `walk` function so that it does not go back to the places where it has already been previously. This will prevent `walk` from looping, however, the agent can still end up being "trapped" in a location from which it is unable to escape.
+
+## Navigation
+
+A better navigation policy would be the one that we used during training, which combines exploitation and exploration. In this policy, we will select each action with a certain probability, proportional to the values in the Q-Table. This strategy may still result in the agent returning back to a position it has already explored, but, as you can see from the code below, it results in a very short average path to the desired location (remember that `print_statistics` inaendesha simulizi mara 100): (code block 10)
+
+```python
+def qpolicy(m):
+ x,y = m.human
+ v = probs(Q[x,y])
+ a = random.choices(list(actions),weights=v)[0]
+ return a
+
+print_statistics(qpolicy)
+```
+
+Baada ya kuendesha nambari hii, unapaswa kupata urefu wa wastani wa njia ndogo sana kuliko hapo awali, katika safu ya hatua 3-6.
+
+## Kuchunguza mchakato wa kujifunza
+
+Kama tulivyosema, mchakato wa kujifunza ni usawa kati ya uchunguzi na uchunguzi wa maarifa yaliyopatikana kuhusu muundo wa nafasi ya tatizo. Tumeona kwamba matokeo ya kujifunza (uwezo wa kusaidia wakala kupata njia fupi kwenda kwenye lengo) yameboreshwa, lakini pia ni ya kuvutia kuona jinsi urefu wa wastani wa njia unavyobadilika wakati wa mchakato wa kujifunza:
+
+## Muhtasari wa Kujifunza
+
+- **Urefu wa wastani wa njia unaongezeka**. Tunachokiona hapa ni kwamba mwanzoni, urefu wa wastani wa njia unaongezeka. Hii inaweza kuwa kutokana na ukweli kwamba tunapojua chochote kuhusu mazingira, tunatarajiwa kukwama katika hali mbaya, maji au mbwa mwitu. Tunapojifunza zaidi na kuanza kutumia maarifa haya, tunaweza kuchunguza mazingira kwa muda mrefu zaidi, lakini bado hatujui vizuri mahali tofaa yalipo.
+
+- **Urefu wa njia unapungua, tunapojifunza zaidi**. Mara tu tunapojifunza vya kutosha, inakuwa rahisi kwa wakala kufikia lengo, na urefu wa njia unaanza kupungua. Hata hivyo, bado tuko wazi kwa uchunguzi, kwa hivyo mara nyingi tunatoka kwenye njia bora, na kuchunguza chaguzi mpya, na kufanya njia kuwa ndefu kuliko ilivyo bora.
+
+- **Urefu unaongezeka ghafla**. Tunachokiona pia kwenye grafu hii ni kwamba wakati fulani, urefu uliongezeka ghafla. Hii inaonyesha asili ya mchakato wa stochastic, na kwamba tunaweza wakati fulani "kuharibu" coefficients za Q-Table kwa kuandika tena na maadili mapya. Hii inapaswa kupunguzwa kwa kupunguza kiwango cha kujifunza (kwa mfano, kuelekea mwisho wa mafunzo, tunarekebisha maadili ya Q-Table kwa thamani ndogo).
+
+Kwa ujumla, ni muhimu kukumbuka kwamba mafanikio na ubora wa mchakato wa kujifunza hutegemea sana vigezo, kama vile kiwango cha kujifunza, kupungua kwa kiwango cha kujifunza, na sababu ya punguzo. Hizi mara nyingi huitwa **vigezo vya hyper**, ili kuwatofautisha na **vigezo**, ambavyo tunaboresha wakati wa mafunzo (kwa mfano, coefficients za Q-Table). Mchakato wa kupata maadili bora ya vigezo vya hyper unaitwa **uboresha wa vigezo vya hyper**, na unastahili mada tofauti.
+
+## [Jaribio la baada ya somo](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/46/)
+
+## Kazi
+[Dunia Halisi Zaidi](assignment.md)
+
+**Kanusho**:
+Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI zinazotegemea mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwepo kwa usahihi. Hati asilia katika lugha yake ya awali inapaswa kuchukuliwa kama chanzo chenye mamlaka. Kwa habari muhimu, tafsiri ya kitaalamu ya binadamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii.
\ No newline at end of file
diff --git a/translations/sw/8-Reinforcement/1-QLearning/assignment.md b/translations/sw/8-Reinforcement/1-QLearning/assignment.md
new file mode 100644
index 000000000..5aabd9de6
--- /dev/null
+++ b/translations/sw/8-Reinforcement/1-QLearning/assignment.md
@@ -0,0 +1,28 @@
+# Ulimwengu Halisi Zaidi
+
+Katika hali yetu, Peter aliweza kusafiri karibu bila kuchoka au kuwa na njaa. Katika ulimwengu halisi zaidi, tunahitaji kukaa chini na kupumzika mara kwa mara, na pia kujilisha. Hebu tufanye ulimwengu wetu uwe halisi zaidi, kwa kutekeleza sheria zifuatazo:
+
+1. Kwa kusafiri kutoka sehemu moja hadi nyingine, Peter hupoteza **nguvu** na kupata **uchovu**.
+2. Peter anaweza kupata nguvu zaidi kwa kula maapulo.
+3. Peter anaweza kuondoa uchovu kwa kupumzika chini ya mti au kwenye nyasi (yaani kutembea kwenye eneo la ubao lenye mti au nyasi - uwanja wa kijani)
+4. Peter anahitaji kupata na kumuua mbwa mwitu
+5. Ili kumuua mbwa mwitu, Peter anahitaji kuwa na viwango fulani vya nguvu na uchovu, vinginevyo atapoteza vita.
+## Maelekezo
+
+Tumia [notebook.ipynb](../../../../8-Reinforcement/1-QLearning/notebook.ipynb) ya awali kama sehemu ya kuanzia kwa suluhisho lako.
+
+Badilisha kazi ya zawadi hapo juu kulingana na sheria za mchezo, endesha algorithimu ya kujifunza kwa kuimarisha ili kujifunza mkakati bora wa kushinda mchezo, na linganisha matokeo ya matembezi ya nasibu na algorithimu yako kwa suala la idadi ya michezo iliyoshinda na kupoteza.
+
+> **Note**: Katika ulimwengu wako mpya, hali ni ngumu zaidi, na kando na nafasi ya binadamu pia inajumuisha viwango vya uchovu na nguvu. Unaweza kuchagua kuwakilisha hali kama tuple (Board, energy, fatigue), au kufafanua darasa kwa hali (unaweza pia kutaka kulitoa kutoka `Board`), au hata kurekebisha darasa la awali la `Board` ndani ya [rlboard.py](../../../../8-Reinforcement/1-QLearning/rlboard.py).
+
+Katika suluhisho lako, tafadhali weka msimbo unaohusika na mkakati wa matembezi ya nasibu, na linganisha matokeo ya algorithimu yako na matembezi ya nasibu mwishoni.
+
+> **Note**: Unaweza kuhitaji kurekebisha hyperparameters ili ifanye kazi, hasa idadi ya epochs. Kwa sababu mafanikio ya mchezo (kupigana na mbwa mwitu) ni tukio nadra, unaweza kutarajia muda mrefu zaidi wa mafunzo.
+## Rubric
+
+| Kigezo | Bora Zaidi | Inayokubalika | Inahitaji Kuboresha |
+| -------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------ |
+| | Daftari linawasilishwa na ufafanuzi wa sheria mpya za ulimwengu, algorithimu ya Q-Learning na maelezo fulani ya maandishi. Q-Learning ina uwezo wa kuboresha matokeo kwa kiasi kikubwa ikilinganishwa na matembezi ya nasibu. | Daftari linawasilishwa, Q-Learning inatekelezwa na inaboresha matokeo ikilinganishwa na matembezi ya nasibu, lakini sio kwa kiasi kikubwa; au daftari limeandikwa vibaya na msimbo haujapangwa vizuri | Jaribio fulani la kufafanua upya sheria za ulimwengu limefanywa, lakini algorithimu ya Q-Learning haifanyi kazi, au kazi ya zawadi haijafafanuliwa kikamilifu |
+
+**Kanusho**:
+Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwepo kwa usahihi. Hati ya asili katika lugha yake ya asili inapaswa kuzingatiwa kama chanzo cha mamlaka. Kwa taarifa muhimu, tafsiri ya kitaalamu ya binadamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri potofu zinazotokana na matumizi ya tafsiri hii.
\ No newline at end of file
diff --git a/translations/sw/8-Reinforcement/1-QLearning/solution/Julia/README.md b/translations/sw/8-Reinforcement/1-QLearning/solution/Julia/README.md
new file mode 100644
index 000000000..6eff6923f
--- /dev/null
+++ b/translations/sw/8-Reinforcement/1-QLearning/solution/Julia/README.md
@@ -0,0 +1,4 @@
+
+
+**Kanusho**:
+Hati hii imetafsiriwa kwa kutumia huduma za kutafsiri za AI zinazotegemea mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwa sahihi. Hati ya asili katika lugha yake ya kiasili inapaswa kuchukuliwa kuwa chanzo cha mamlaka. Kwa habari muhimu, tafsiri ya kitaalamu ya kibinadamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii.
\ No newline at end of file
diff --git a/translations/sw/8-Reinforcement/1-QLearning/solution/R/README.md b/translations/sw/8-Reinforcement/1-QLearning/solution/R/README.md
new file mode 100644
index 000000000..db7b3b9b4
--- /dev/null
+++ b/translations/sw/8-Reinforcement/1-QLearning/solution/R/README.md
@@ -0,0 +1,4 @@
+
+
+**Kanusho**:
+Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI zinazotumia mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwa sahihi. Hati ya asili katika lugha yake ya kiasili inapaswa kuzingatiwa kama chanzo rasmi. Kwa taarifa muhimu, tafsiri ya kitaalamu ya binadamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii.
\ No newline at end of file
diff --git a/translations/sw/8-Reinforcement/2-Gym/README.md b/translations/sw/8-Reinforcement/2-Gym/README.md
new file mode 100644
index 000000000..c5c9f4b33
--- /dev/null
+++ b/translations/sw/8-Reinforcement/2-Gym/README.md
@@ -0,0 +1,324 @@
+## Vigezo vya awali
+
+Katika somo hili, tutatumia maktaba inayoitwa **OpenAI Gym** kusimulia mazingira tofauti. Unaweza kuendesha msimbo wa somo hili kwenye kompyuta yako (mfano kutoka Visual Studio Code), ambapo simulizi itafunguka kwenye dirisha jipya. Unapoendesha msimbo mtandaoni, unaweza kuhitaji kufanya mabadiliko kadhaa kwenye msimbo, kama ilivyoelezwa [hapa](https://towardsdatascience.com/rendering-openai-gym-envs-on-binder-and-google-colab-536f99391cc7).
+
+## OpenAI Gym
+
+Katika somo lililopita, sheria za mchezo na hali zilitolewa na darasa la `Board` ambalo tulilifafanua wenyewe. Hapa tutatumia mazingira maalum ya **simulizi**, ambayo yatasimulia fizikia ya fimbo inayosawazisha. Mojawapo ya mazingira maarufu ya simulizi kwa mafunzo ya algorithimu za kujifunza kuimarisha inaitwa [Gym](https://gym.openai.com/), ambayo inadumishwa na [OpenAI](https://openai.com/). Kwa kutumia gym hii tunaweza kuunda mazingira tofauti kutoka simulizi ya cartpole hadi michezo ya Atari.
+
+> **Kumbuka**: Unaweza kuona mazingira mengine yanayopatikana kutoka OpenAI Gym [hapa](https://gym.openai.com/envs/#classic_control).
+
+Kwanza, wacha tufunge gym na tuagize maktaba zinazohitajika (msimbo wa block 1):
+
+```python
+import sys
+!{sys.executable} -m pip install gym
+
+import gym
+import matplotlib.pyplot as plt
+import numpy as np
+import random
+```
+
+## Zoezi - anzisha mazingira ya cartpole
+
+Ili kufanya kazi na tatizo la kusawazisha cartpole, tunahitaji kuanzisha mazingira yanayolingana. Kila mazingira yanaunganishwa na:
+
+- **Nafasi ya uchunguzi** inayofafanua muundo wa taarifa tunazopokea kutoka kwa mazingira. Kwa tatizo la cartpole, tunapokea nafasi ya fimbo, kasi na thamani nyinginezo.
+
+- **Nafasi ya hatua** inayofafanua hatua zinazowezekana. Katika kesi yetu nafasi ya hatua ni ya kidijitali, na inajumuisha hatua mbili - **kushoto** na **kulia**. (msimbo wa block 2)
+
+1. Ili kuanzisha, andika msimbo ufuatao:
+
+ ```python
+ env = gym.make("CartPole-v1")
+ print(env.action_space)
+ print(env.observation_space)
+ print(env.action_space.sample())
+ ```
+
+Ili kuona jinsi mazingira yanavyofanya kazi, wacha tuendeshe simulizi fupi kwa hatua 100. Katika kila hatua, tunatoa moja ya hatua zinazochukuliwa - katika simulizi hii tunachagua hatua kwa nasibu kutoka `action_space`.
+
+1. Endesha msimbo hapa chini na uone matokeo.
+
+ ✅ Kumbuka kuwa inapendekezwa kuendesha msimbo huu kwenye usakinishaji wa Python wa ndani! (msimbo wa block 3)
+
+ ```python
+ env.reset()
+
+ for i in range(100):
+ env.render()
+ env.step(env.action_space.sample())
+ env.close()
+ ```
+
+ Unapaswa kuona kitu kinachofanana na picha hii:
+
+ 
+
+1. Wakati wa simulizi, tunahitaji kupata uchunguzi ili kuamua jinsi ya kuchukua hatua. Kwa kweli, kazi ya hatua inarejesha uchunguzi wa sasa, kazi ya tuzo, na bendera ya kumaliza inayoweka wazi kama ina maana kuendelea na simulizi au la: (msimbo wa block 4)
+
+ ```python
+ env.reset()
+
+ done = False
+ while not done:
+ env.render()
+ obs, rew, done, info = env.step(env.action_space.sample())
+ print(f"{obs} -> {rew}")
+ env.close()
+ ```
+
+ Mwishowe utaona kitu kama hiki kwenye matokeo ya daftari:
+
+ ```text
+ [ 0.03403272 -0.24301182 0.02669811 0.2895829 ] -> 1.0
+ [ 0.02917248 -0.04828055 0.03248977 0.00543839] -> 1.0
+ [ 0.02820687 0.14636075 0.03259854 -0.27681916] -> 1.0
+ [ 0.03113408 0.34100283 0.02706215 -0.55904489] -> 1.0
+ [ 0.03795414 0.53573468 0.01588125 -0.84308041] -> 1.0
+ ...
+ [ 0.17299878 0.15868546 -0.20754175 -0.55975453] -> 1.0
+ [ 0.17617249 0.35602306 -0.21873684 -0.90998894] -> 1.0
+ ```
+
+ Vector ya uchunguzi inayorejeshwa katika kila hatua ya simulizi inajumuisha thamani zifuatazo:
+ - Nafasi ya gari
+ - Kasi ya gari
+ - Pembe ya fimbo
+ - Kiwango cha mzunguko wa fimbo
+
+1. Pata thamani ndogo na kubwa ya namba hizo: (msimbo wa block 5)
+
+ ```python
+ print(env.observation_space.low)
+ print(env.observation_space.high)
+ ```
+
+ Unaweza pia kugundua kuwa thamani ya tuzo katika kila hatua ya simulizi ni 1 kila wakati. Hii ni kwa sababu lengo letu ni kuishi kwa muda mrefu iwezekanavyo, yaani kuweka fimbo katika nafasi ya wima kwa muda mrefu zaidi.
+
+ ✅ Kwa kweli, simulizi ya CartPole inachukuliwa kuwa imetatuliwa ikiwa tutafanikiwa kupata wastani wa tuzo ya 195 katika majaribio 100 mfululizo.
+
+## Ugawanyaji wa hali
+
+Katika Q-Learning, tunahitaji kujenga Jedwali la Q linalofafanua nini cha kufanya katika kila hali. Ili kufanya hivyo, tunahitaji hali kuwa **ya kidijitali**, kwa usahihi zaidi, inapaswa kuwa na idadi ndogo ya thamani za kidijitali. Kwa hivyo, tunahitaji kwa namna fulani **kugawanya** uchunguzi wetu, kuziunganisha kwenye seti ndogo ya hali.
+
+Kuna njia kadhaa tunaweza kufanya hivi:
+
+- **Gawa katika sehemu**. Ikiwa tunajua kipindi cha thamani fulani, tunaweza kugawa kipindi hiki katika idadi ya **sehemu**, na kisha kubadilisha thamani kwa namba ya sehemu ambayo inahusiana nayo. Hii inaweza kufanywa kwa kutumia njia ya numpy [`digitize`](https://numpy.org/doc/stable/reference/generated/numpy.digitize.html). Katika kesi hii, tutajua kwa usahihi ukubwa wa hali, kwa sababu itategemea idadi ya sehemu tunazochagua kwa ajili ya digitalization.
+
+✅ Tunaweza kutumia usawazishaji wa mstari kuleta thamani kwa kipindi fulani (sema, kutoka -20 hadi 20), na kisha kubadilisha namba kuwa namba za tarakimu kwa kuzungusha. Hii inatupa udhibiti mdogo wa ukubwa wa hali, hasa ikiwa hatujui mipaka halisi ya thamani za ingizo. Kwa mfano, katika kesi yetu 2 kati ya 4 hazina mipaka ya juu/chini ya thamani zao, ambazo zinaweza kusababisha idadi isiyo na kikomo ya hali.
+
+Katika mfano wetu, tutatumia mbinu ya pili. Kama utakavyogundua baadaye, licha ya mipaka isiyoeleweka ya juu/chini, thamani hizo mara chache huchukua thamani nje ya vipindi fulani, hivyo hali hizo zenye thamani za juu zitakuwa nadra sana.
+
+1. Hapa kuna kazi itakayochukua uchunguzi kutoka kwa mfano wetu na kutoa jozi ya thamani za tarakimu 4: (msimbo wa block 6)
+
+ ```python
+ def discretize(x):
+ return tuple((x/np.array([0.25, 0.25, 0.01, 0.1])).astype(np.int))
+ ```
+
+1. Wacha pia tuchunguze njia nyingine ya ugawanyaji kwa kutumia sehemu: (msimbo wa block 7)
+
+ ```python
+ def create_bins(i,num):
+ return np.arange(num+1)*(i[1]-i[0])/num+i[0]
+
+ print("Sample bins for interval (-5,5) with 10 bins\n",create_bins((-5,5),10))
+
+ ints = [(-5,5),(-2,2),(-0.5,0.5),(-2,2)] # intervals of values for each parameter
+ nbins = [20,20,10,10] # number of bins for each parameter
+ bins = [create_bins(ints[i],nbins[i]) for i in range(4)]
+
+ def discretize_bins(x):
+ return tuple(np.digitize(x[i],bins[i]) for i in range(4))
+ ```
+
+1. Wacha sasa tuendeshe simulizi fupi na kuchunguza thamani hizo za mazingira ya kidijitali. Jisikie huru kujaribu zote `discretize` and `discretize_bins` na kuona kama kuna tofauti.
+
+ ✅ discretize_bins inarejesha namba ya sehemu, ambayo ni ya msingi 0. Kwa hivyo kwa thamani za ingizo karibu na 0 inarejesha namba kutoka katikati ya kipindi (10). Katika discretize, hatukujali kuhusu wigo wa thamani za matokeo, tukiruhusu kuwa hasi, hivyo thamani za hali hazijahamishwa, na 0 inahusiana na 0. (msimbo wa block 8)
+
+ ```python
+ env.reset()
+
+ done = False
+ while not done:
+ #env.render()
+ obs, rew, done, info = env.step(env.action_space.sample())
+ #print(discretize_bins(obs))
+ print(discretize(obs))
+ env.close()
+ ```
+
+ ✅ Ondoa mstari unaoanza na env.render ikiwa unataka kuona jinsi mazingira yanavyotekelezwa. Vinginevyo unaweza kuutekeleza kwa siri, ambayo ni haraka zaidi. Tutatumia utekelezaji huu wa "kisiri" wakati wa mchakato wetu wa Q-Learning.
+
+## Muundo wa Jedwali la Q
+
+Katika somo letu lililopita, hali ilikuwa jozi rahisi ya namba kutoka 0 hadi 8, na hivyo ilikuwa rahisi kuwakilisha Jedwali la Q kwa tensor ya numpy yenye umbo la 8x8x2. Ikiwa tunatumia ugawanyaji wa sehemu, ukubwa wa vector yetu ya hali pia unajulikana, hivyo tunaweza kutumia mbinu hiyo hiyo na kuwakilisha hali kwa safu yenye umbo la 20x20x10x10x2 (hapa 2 ni kipimo cha nafasi ya hatua, na vipimo vya kwanza vinahusiana na idadi ya sehemu tulizochagua kutumia kwa kila moja ya vigezo katika nafasi ya uchunguzi).
+
+Hata hivyo, wakati mwingine vipimo halisi vya nafasi ya uchunguzi havijulikani. Katika kesi ya kazi ya `discretize`, hatuwezi kuwa na uhakika kwamba hali yetu inakaa ndani ya mipaka fulani, kwa sababu baadhi ya thamani za awali hazina mipaka. Kwa hivyo, tutatumia mbinu tofauti kidogo na kuwakilisha Jedwali la Q kwa kamusi.
+
+1. Tumia jozi *(state,action)* kama ufunguo wa kamusi, na thamani itahusiana na thamani ya ingizo la Jedwali la Q. (msimbo wa block 9)
+
+ ```python
+ Q = {}
+ actions = (0,1)
+
+ def qvalues(state):
+ return [Q.get((state,a),0) for a in actions]
+ ```
+
+ Hapa pia tunafafanua kazi `qvalues()`, inayorejesha orodha ya thamani za Jedwali la Q kwa hali fulani inayohusiana na hatua zote zinazowezekana. Ikiwa ingizo halipo kwenye Jedwali la Q, tutarejesha 0 kama chaguo-msingi.
+
+## Wacha tuanze Q-Learning
+
+Sasa tuko tayari kumfundisha Peter kusawazisha!
+
+1. Kwanza, wacha tuchague baadhi ya vigezo vya msingi: (msimbo wa block 10)
+
+ ```python
+ # hyperparameters
+ alpha = 0.3
+ gamma = 0.9
+ epsilon = 0.90
+ ```
+
+ Hapa, `alpha` is the **learning rate** that defines to which extent we should adjust the current values of Q-Table at each step. In the previous lesson we started with 1, and then decreased `alpha` to lower values during training. In this example we will keep it constant just for simplicity, and you can experiment with adjusting `alpha` values later.
+
+ `gamma` is the **discount factor** that shows to which extent we should prioritize future reward over current reward.
+
+ `epsilon` is the **exploration/exploitation factor** that determines whether we should prefer exploration to exploitation or vice versa. In our algorithm, we will in `epsilon` percent of the cases select the next action according to Q-Table values, and in the remaining number of cases we will execute a random action. This will allow us to explore areas of the search space that we have never seen before.
+
+ ✅ In terms of balancing - choosing random action (exploration) would act as a random punch in the wrong direction, and the pole would have to learn how to recover the balance from those "mistakes"
+
+### Improve the algorithm
+
+We can also make two improvements to our algorithm from the previous lesson:
+
+- **Calculate average cumulative reward**, over a number of simulations. We will print the progress each 5000 iterations, and we will average out our cumulative reward over that period of time. It means that if we get more than 195 point - we can consider the problem solved, with even higher quality than required.
+
+- **Calculate maximum average cumulative result**, `Qmax`, and we will store the Q-Table corresponding to that result. When you run the training you will notice that sometimes the average cumulative result starts to drop, and we want to keep the values of Q-Table that correspond to the best model observed during training.
+
+1. Collect all cumulative rewards at each simulation at `rewards` vector kwa ajili ya kuchora baadaye. (msimbo wa block 11)
+
+ ```python
+ def probs(v,eps=1e-4):
+ v = v-v.min()+eps
+ v = v/v.sum()
+ return v
+
+ Qmax = 0
+ cum_rewards = []
+ rewards = []
+ for epoch in range(100000):
+ obs = env.reset()
+ done = False
+ cum_reward=0
+ # == do the simulation ==
+ while not done:
+ s = discretize(obs)
+ if random.random()- [Python](2-Regression/1-Tools/README.md)
- [R](../../2-Regression/1-Tools/solution/R/lesson_1.html)
- Jen
- Eric Wanjau
- [Python](2-Regression/2-Data/README.md)
- [R](../../2-Regression/2-Data/solution/R/lesson_2.html)
- Jen
- Eric Wanjau
- [Python](2-Regression/3-Linear/README.md)
- [R](../../2-Regression/3-Linear/solution/R/lesson_3.html)
- Jen na Dmitry
- Eric Wanjau
- [Python](2-Regression/4-Logistic/README.md)
- [R](../../2-Regression/4-Logistic/solution/R/lesson_4.html)
- Jen
- Eric Wanjau
- [Python](4-Classification/1-Introduction/README.md)
- [R](../../4-Classification/1-Introduction/solution/R/lesson_10.html) |
- Jen na Cassie
- Eric Wanjau
- [Python](4-Classification/2-Classifiers-1/README.md)
- [R](../../4-Classification/2-Classifiers-1/solution/R/lesson_11.html) |
- Jen na Cassie
- Eric Wanjau
- [Python](4-Classification/3-Classifiers-2/README.md)
- [R](../../4-Classification/3-Classifiers-2/solution/R/lesson_12.html) |
- Jen na Cassie
- Eric Wanjau
- [Python](5-Clustering/1-Visualize/README.md)
- [R](../../5-Clustering/1-Visualize/solution/R/lesson_14.html) |
- Jen
- Eric Wanjau
- [Python](5-Clustering/2-K-Means/README.md)
- [R](../../5-Clustering/2-K-Means/solution/R/lesson_15.html) |
- Jen
- Eric Wanjau
.yml). Mtiririko huu utashughulikia mchakato wa ujenzi na uwekaji. + +6. Fuata Uwekaji +Nenda kwenye kichupo cha “Actions” kwenye repositori yako ya GitHub. +Unapaswa kuona mtiririko wa kazi unaoendesha. Mtiririko huu utajenga na kuweka programu yako ya wavuti ya static kwenye Azure. +Baada ya mtiririko wa kazi kukamilika, programu yako itakuwa hai kwenye URL iliyotolewa ya Azure. + +### Faili ya Mfano ya Mtiririko wa Kazi + +Hapa kuna mfano wa jinsi faili ya mtiririko wa kazi wa GitHub Actions inaweza kuonekana: +name: Azure Static Web Apps CI/CD +``` +on: + push: + branches: + - main + pull_request: + types: [opened, synchronize, reopened, closed] + branches: + - main + +jobs: + build_and_deploy_job: + runs-on: ubuntu-latest + name: Build and Deploy Job + steps: + - uses: actions/checkout@v2 + - name: Build And Deploy + id: builddeploy + uses: Azure/static-web-apps-deploy@v1 + with: + azure_static_web_apps_api_token: ${{ secrets.AZURE_STATIC_WEB_APPS_API_TOKEN }} + repo_token: ${{ secrets.GITHUB_TOKEN }} + action: "upload" + app_location: "/quiz-app" # App source code path + api_location: ""API source code path optional + output_location: "dist" #Built app content directory - optional +``` + +### Rasilimali za Ziada +- [Nyaraka za Azure Static Web Apps](https://learn.microsoft.com/azure/static-web-apps/getting-started) +- [Nyaraka za GitHub Actions](https://docs.github.com/actions/use-cases-and-examples/deploying/deploying-to-azure-static-web-app) + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za kutafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kwamba tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokubaliana. Hati ya asili katika lugha yake ya kiasili inapaswa kuzingatiwa kama chanzo sahihi. Kwa taarifa muhimu, tafsiri ya kibinadamu ya kitaalamu inapendekezwa. Hatutawajibika kwa kutoelewana au kutafsiri vibaya kunakotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/sketchnotes/LICENSE.md b/translations/sw/sketchnotes/LICENSE.md new file mode 100644 index 000000000..a2d50a62d --- /dev/null +++ b/translations/sw/sketchnotes/LICENSE.md @@ -0,0 +1,141 @@ +Attribution-ShareAlike 4.0 International + +======================================================================= + +Creative Commons Corporation ("Creative Commons") sio kampuni ya sheria na haitoi huduma za kisheria au ushauri wa kisheria. Ugawaji wa leseni za umma za Creative Commons hauundi uhusiano wa wakili-mteja au uhusiano mwingine wowote. Creative Commons inatoa leseni zake na taarifa zinazohusiana kwenye msingi wa "kama ilivyo". Creative Commons haitoi dhamana yoyote kuhusu leseni zake, nyenzo yoyote iliyotolewa chini ya masharti na masharti yake, au taarifa yoyote inayohusiana. Creative Commons inakanusha dhima yote kwa uharibifu unaotokana na matumizi yao kwa kadiri inayowezekana. + +Kutumia Leseni za Umma za Creative Commons + +Leseni za umma za Creative Commons hutoa seti ya kawaida ya masharti na masharti ambayo waundaji na wamiliki wengine wa haki wanaweza kutumia kushiriki kazi za asili za uandishi na nyenzo nyingine zinazolindwa na hakimiliki na haki zingine maalum zilizoainishwa katika leseni ya umma hapa chini. Yafuatayo ni kwa madhumuni ya taarifa tu, si kamili, na si sehemu ya leseni zetu. + + Maoni kwa watoaji leseni: Leseni zetu za umma zinakusudiwa kutumiwa na wale walioidhinishwa kutoa ruhusa kwa umma kutumia nyenzo kwa njia ambazo vinginevyo zinazuiliwa na hakimiliki na haki zingine maalum. Leseni zetu haziwezi kubatilishwa. Watoaji leseni wanapaswa kusoma na kuelewa masharti na masharti ya leseni wanayochagua kabla ya kuitumia. Watoaji leseni wanapaswa pia kupata haki zote muhimu kabla ya kutumia leseni zetu ili umma uweze kutumia nyenzo kama inavyotarajiwa. Watoaji leseni wanapaswa kuweka wazi nyenzo zozote ambazo haziko chini ya leseni. Hii inajumuisha nyenzo nyingine zilizopewa leseni ya CC, au nyenzo zinazotumiwa chini ya ubaguzi au upungufu wa hakimiliki. Maoni zaidi kwa watoaji leseni: + wiki.creativecommons.org/Considerations_for_licensors + + Maoni kwa umma: Kwa kutumia moja ya leseni zetu za umma, mtoaji leseni anatoa ruhusa kwa umma kutumia nyenzo zilizopewa leseni chini ya masharti na masharti maalum. Ikiwa ruhusa ya mtoaji leseni si muhimu kwa sababu yoyote - kwa mfano, kwa sababu ya ubaguzi au upungufu wowote unaotumika wa hakimiliki - basi matumizi hayo hayadhibitiwi na leseni. Leseni zetu zinatoa ruhusa tu chini ya hakimiliki na haki zingine maalum ambazo mtoaji leseni ana mamlaka ya kutoa. Matumizi ya nyenzo zilizopewa leseni yanaweza bado kuzuiliwa kwa sababu zingine, pamoja na kwa sababu wengine wana hakimiliki au haki zingine katika nyenzo. Mtoaji leseni anaweza kufanya maombi maalum, kama vile kuomba mabadiliko yote yamewekwa alama au kuelezewa. Ingawa si lazima kwa leseni zetu, unahimizwa kuheshimu maombi hayo pale inapofaa. Maoni zaidi kwa umma: + wiki.creativecommons.org/Considerations_for_licensees + +======================================================================= + +Leseni ya Umma ya Creative Commons Attribution-ShareAlike 4.0 International + +Kwa kutumia Haki Zilizotolewa (zilizoelezwa hapa chini), Unakubali na unakubaliana kufungwa na masharti na masharti ya Leseni hii ya Umma ya Creative Commons Attribution-ShareAlike 4.0 International ("Leseni ya Umma"). Kwa kadiri Leseni hii ya Umma inaweza kutafsiriwa kama mkataba, Unapewa Haki Zilizotolewa kwa kuzingatia kukubalika kwako kwa masharti na masharti haya, na Mtoaji leseni anakupa haki hizo kwa kuzingatia manufaa ambayo Mtoaji leseni anapata kutokana na kuweka Nyenzo Zilizotolewa chini ya masharti haya. + +Sehemu ya 1 -- Ufafanuzi. + + a. Nyenzo Zilizobadilishwa inamaanisha nyenzo zinazolindwa na Hakimiliki na Haki Sawa ambazo zimetokana na au zinatokana na Nyenzo Zilizotolewa na ambapo Nyenzo Zilizotolewa zimemfasiriwa, kubadilishwa, kupangwa, kubadilishwa, au kurekebishwa kwa njia inayohitaji ruhusa chini ya Hakimiliki na Haki Sawa zinazoshikiliwa na Mtoaji leseni. Kwa madhumuni ya Leseni hii ya Umma, ambapo Nyenzo Zilizotolewa ni kazi ya muziki, utendaji, au rekodi ya sauti, Nyenzo Zilizobadilishwa huzalishwa kila wakati ambapo Nyenzo Zilizotolewa zimeunganishwa kwa uhusiano wa wakati na picha inayosonga. + + b. Leseni ya Adapter inamaanisha leseni Unayotumia kwa Hakimiliki yako na Haki Sawa katika michango yako kwa Nyenzo Zilizobadilishwa kwa mujibu wa masharti na masharti ya Leseni hii ya Umma. + + c. Leseni Inayolingana ya BY-SA inamaanisha leseni iliyoorodheshwa kwenye creativecommons.org/compatiblelicenses, iliyoidhinishwa na Creative Commons kama inayolingana kimsingi na Leseni hii ya Umma. + + d. Hakimiliki na Haki Sawa inamaanisha hakimiliki na/au haki sawa zinazohusiana sana na hakimiliki ikiwa ni pamoja na, bila kikomo, utendaji, utangazaji, rekodi ya sauti, na Haki za Hifadhidata za Sui Generis, bila kujali jinsi haki hizo zinavyoitwa au kuainishwa. Kwa madhumuni ya Leseni hii ya Umma, haki zilizobainishwa katika Sehemu ya 2(b)(1)-(2) si Hakimiliki na Haki Sawa. + + e. Hatua za Kiteknolojia Zinazofaa inamaanisha hatua ambazo, bila mamlaka sahihi, haziwezi kupitishwa chini ya sheria zinazotimiza majukumu chini ya Kifungu cha 11 cha Mkataba wa Hakimiliki wa WIPO uliopitishwa Desemba 20, 1996, na/au mikataba mingine ya kimataifa inayofanana. + + f. Ubaguzi na Upungufu inamaanisha matumizi ya haki, biashara ya haki, na/au ubaguzi mwingine wowote au upungufu wa Hakimiliki na Haki Sawa zinazotumika kwa matumizi yako ya Nyenzo Zilizotolewa. + + g. Vipengele vya Leseni inamaanisha sifa za leseni zilizoorodheshwa katika jina la Leseni ya Umma ya Creative Commons. Vipengele vya Leseni ya Umma hii ni Attribution na ShareAlike. + + h. Nyenzo Zilizotolewa inamaanisha kazi ya sanaa au fasihi, hifadhidata, au nyenzo nyingine ambayo Mtoaji leseni alitumia Leseni hii ya Umma. + + i. Haki Zilizotolewa inamaanisha haki zilizokubaliwa kwako chini ya masharti na masharti ya Leseni hii ya Umma, ambazo zimepunguzwa kwa Hakimiliki na Haki Sawa zinazotumika kwa matumizi yako ya Nyenzo Zilizotolewa na ambazo Mtoaji leseni ana mamlaka ya kutoa leseni. + + j. Mtoaji leseni inamaanisha mtu binafsi au chombo kinachotoa haki chini ya Leseni hii ya Umma. + + k. Kushiriki inamaanisha kutoa nyenzo kwa umma kwa njia yoyote au mchakato unaohitaji ruhusa chini ya Haki Zilizotolewa, kama vile uzazi, onyesho la umma, utendaji wa umma, usambazaji, uenezaji, mawasiliano, au uagizaji, na kufanya nyenzo zipatikane kwa umma ikiwa ni pamoja na kwa njia ambazo wanachama wa umma wanaweza kufikia nyenzo kutoka mahali na wakati waliochagua kibinafsi. + + l. Haki za Hifadhidata za Sui Generis inamaanisha haki nyingine isipokuwa hakimiliki zinazotokana na Direktiva 96/9/EC ya Bunge la Ulaya na ya Baraza la Machi 11, 1996 juu ya ulinzi wa kisheria wa hifadhidata, kama ilivyorekebishwa na/au kufanikiwa, pamoja na haki nyingine zinazolingana kimsingi popote duniani. + + m. Wewe inamaanisha mtu binafsi au chombo kinachotumia Haki Zilizotolewa chini ya Leseni hii ya Umma. Yako ina maana inayolingana. + +Sehemu ya 2 -- Wigo. + + a. Utoaji wa leseni. + + 1. Kwa mujibu wa masharti na masharti ya Leseni hii ya Umma, Mtoaji leseni anakupa leseni isiyoweza kubatilishwa, isiyo ya kipekee, isiyo na malipo ya kifalme, isiyo na leseni ndogo ya kutumia Haki Zilizotolewa katika Nyenzo Zilizotolewa ili: + + a. kuzalisha na Kushiriki Nyenzo Zilizotolewa, kwa sehemu au kwa ujumla; na + + b. kuzalisha, kuzalisha tena, na Kushiriki Nyenzo Zilizobadilishwa. + + 2. Ubaguzi na Upungufu. Kwa kuepuka shaka, ambapo Ubaguzi na Upungufu unatumika kwa matumizi yako, Leseni hii ya Umma haifanyi kazi, na Huna haja ya kufuata masharti na masharti yake. + + 3. Muda. Muda wa Leseni hii ya Umma umeainishwa katika Sehemu ya 6(a). + + 4. Vyombo vya habari na miundo; marekebisho ya kiufundi yanayoruhusiwa. Mtoaji leseni anakuruhusu kutumia Haki Zilizotolewa katika vyombo vya habari na miundo yote ikiwa inajulikana sasa au itakayoundwa baadaye, na kufanya marekebisho ya kiufundi muhimu kufanya hivyo. Mtoaji leseni anakataa na/au anakubaliana kutothibitisha haki yoyote au mamlaka ya kukuzuia kufanya marekebisho ya kiufundi muhimu kutumia Haki Zilizotolewa, ikiwa ni pamoja na marekebisho ya kiufundi muhimu kupitisha Hatua za Kiteknolojia Zinazofaa. Kwa madhumuni ya Leseni hii ya Umma, kufanya marekebisho yaliyoidhinishwa na Sehemu hii 2(a)(4) hakuzalishi Nyenzo Zilizobadilishwa. + + 5. Wapokeaji wa chini. + + a. Ofa kutoka kwa Mtoaji leseni -- Nyenzo Zilizotolewa. Kila mpokeaji wa Nyenzo Zilizotolewa hupokea moja kwa moja ofa kutoka kwa Mtoaji leseni ya kutumia Haki Zilizotolewa chini ya masharti na masharti ya Leseni hii ya Umma. + + b. Ofa ya ziada kutoka kwa Mtoaji leseni -- Nyenzo Zilizobadilishwa. Kila mpokeaji wa Nyenzo Zilizobadilishwa kutoka kwako hupokea moja kwa moja ofa kutoka kwa Mtoaji leseni ya kutumia Haki Zilizotolewa katika Nyenzo Zilizobadilishwa chini ya masharti ya Leseni ya Adapter unayotumia. + + c. Hakuna vikwazo vya chini. Huwezi kutoa au kuweka masharti au masharti yoyote ya ziada au tofauti, au kutumia Hatua za Kiteknolojia Zinazofaa, kwa Nyenzo Zilizotolewa ikiwa kufanya hivyo kunazuia matumizi ya Haki Zilizotolewa na mpokeaji yeyote wa Nyenzo Zilizotolewa. + + 6. Hakuna idhini. Hakuna kitu katika Leseni hii ya Umma kinachounda au kinaweza kufasiriwa kama ruhusa ya kuthibitisha au kuashiria kwamba Wewe ni, au kwamba matumizi yako ya Nyenzo Zilizotolewa yanahusiana na, au yamefadhiliwa, kuidhinishwa, au kupewa hadhi rasmi na, Mtoaji leseni au wengine walioteuliwa kupokea sifa kama ilivyoainishwa katika Sehemu ya 3(a)(1)(A)(i). + + b. Haki nyingine. + + 1. Haki za kimaadili, kama vile haki ya uadilifu, hazijatolewa leseni chini ya Leseni hii ya Umma, wala haki za umaarufu, faragha, na/au haki zingine sawa za utu; hata hivyo, kwa kadiri inavyowezekana, Mtoaji leseni anakataa na/au anakubaliana kutothibitisha haki zozote kama hizo zinazoshikiliwa na Mtoaji leseni kwa kadiri ndogo inavyohitajika ili kukuruhusu kutumia Haki Zilizotolewa, lakini si vinginevyo. + + 2. Haki za patent na alama za biashara hazijatolewa leseni chini ya Leseni hii ya Umma. + + 3. Kwa kadiri inavyowezekana, Mtoaji leseni anakataa haki yoyote ya kukusanya malipo kutoka kwako kwa matumizi ya Haki Zilizotolewa, iwe moja kwa moja au kupitia jamii ya ukusanyaji chini ya mpango wowote wa hiari au wa kisheria wa lazima. Katika kesi zote nyingine Mtoaji leseni anahifadhi wazi haki yoyote ya kukusanya malipo hayo. + +Sehemu ya 3 -- Masharti ya Leseni. + +Matumizi yako ya Haki Zilizotolewa yamewekwa wazi kuwa chini ya masharti yafuatayo. + + a. Attribution. + + 1. Ikiwa Unashiriki Nyenzo Zilizotolewa (ikiwa ni pamoja na kwa njia iliyobadilishwa), Lazima: + + a. kuhifadhi yafuatayo ikiwa inatolewa na Mtoaji leseni na Nyenzo Zilizotolewa: + + i. kitambulisho cha muundaji wa Nyenzo Zilizotolewa na wengine wowote walioteuliwa kupokea sifa, kwa njia yoyote inayofaa iliyoombwa na Mtoaji leseni (ikiwa ni pamoja na kwa jina bandia ikiwa limewekwa); + + ii. taarifa ya hakimiliki; + + iii. taarifa inayorejelea Leseni hii ya Umma; + + iv. taarifa inayorejelea kanusho la dhamana; + + v. URI au kiungo cha Nyenzo Zilizotolewa kwa kadiri inavyowezekana; + + b. kuonyesha ikiwa Ulibadilisha Nyenzo Zilizotolewa na kuhifadhi dalili ya mabadiliko yoyote ya awali; na + + c. kuonyesha kuwa Nyenzo Zilizotolewa zimetolewa leseni chini ya Leseni hii ya Umma, na kujumuisha maandishi ya, au URI au kiungo cha, Leseni hii ya Umma. + + 2. Unaweza kutimiza masharti katika Sehemu ya 3(a)(1) kwa njia yoyote inayofaa kulingana na chombo, njia, na muktadha ambao Unashiriki Nyenzo Zilizotolewa. Kwa mfano, inaweza kuwa busara kutimiza masharti kwa kutoa URI au kiungo kwa rasilimali inayojumuisha taarifa inayohitajika. + + 3. Ikiwa imeombwa na Mtoaji leseni, Lazima uondoe taarifa yoyote inayohitajika na Sehemu ya 3(a)(1)(A) kwa kadiri inavyowezekana. + + b. ShareAlike. + + Mbali na masharti katika Sehemu ya 3(a), ikiwa Unashiriki Nyenzo Zilizobadilishwa Unazozalisha, masharti yafuatayo pia yanatumika. + + 1. Leseni ya Adapter Unayotumia lazima iwe leseni ya Creative Commons yenye Vipengele vya Leseni sawa, toleo hili au baadaye, au Leseni Inayolingana ya BY-SA. + + 2. Lazima ujumuisha maandishi ya, au URI au kiungo cha, Leseni ya Adapter Unayotumia. Unaweza kutimiza sharti hili kwa njia yoyote inayofaa kulingana na chombo, njia, na muktadha ambao Unashiriki Nyenzo Zilizobadilishwa. + + 3. Huwezi kutoa au kuweka masharti au masharti yoyote ya ziada au tofauti, au kutumia Hatua za Kiteknolojia Zinazofaa, kwa Nyenzo Zilizobadilishwa zinazozuia matumizi ya haki zilizotolewa chini ya Leseni ya Adapter Unayotumia. + +Sehemu ya 4 -- Haki za Hifadhidata za Sui Generis. + +Ambapo Haki Zilizotolewa zinajumuisha Haki za Hifadhidata za Sui Generis zinazotumika kwa matumizi yako ya Nyenzo Zilizotolewa: + + a. kwa kuepuka shaka, Sehemu ya 2(a)(1) inakupa haki ya kutoa, kutumia tena, kuzalisha tena, na Kushiriki sehemu zote au sehemu kubwa ya yaliyomo kwenye hifadhidata; + + b. ikiwa Unajumuisha sehemu zote au sehemu kubwa ya yaliyomo kwenye hifadhidata katika hifadhidata ambayo Una Haki za Hifadhidata za Sui Generis, basi hifadhidata ambayo Una Haki za Hifadhidata za Sui Generis (lakini si yaliyomo binafsi) ni Nyenzo Zilizobadilishwa, + + ikiwa ni pamoja na kwa madhumuni ya Sehemu ya 3(b); na + c. Lazima ufuate masharti katika Sehemu ya 3(a) ikiwa Unashiriki sehemu zote au sehemu kubwa ya yaliyomo kwenye hifadhidata. + +Kwa kuepuka shaka, Sehemu hii ya 4 inaongeza na haibadilishi wajibu wako chini ya Leseni hii ya Umma ambapo Haki Zilizotolewa zinajumuisha Hakimiliki na Haki Sawa. + +Sehemu ya 5 -- Kanusho la Dhamana na Kizuizi cha Dhima. + + a. ISIPOKUWA KAMA INAVYOFANYWA TOFAUTI NA MTOAJI LESENI, KWA KADIRI INAVYOWEZEKANA, MTOAJI LESENI ANATOA NYENZO ZILIZOTOLEWA KAMA ILIVYO NA KAMA INAVYOPATIKANA, NA HAFANYI MAELEZO AU DHAMANA YOYOTE YA AINA YOYOTE KUHUSU NYENZO ZILIZOTOLEWA, IKIWA NI MAELEZO, YANAYOPEWA, KISHERIA, AU NYINGINE. HII INAJUMUISHA, BILA KIKOMO, DHAMANA ZA UMILIKI, UWEZO WA KUUZA, KUFANIK + +**Kanusho**: +Hati hii imetafsiriwa kwa kutumia huduma za kutafsiri za AI. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokamilika. Hati ya asili katika lugha yake ya kiasili inapaswa kuzingatiwa kama chanzo cha mamlaka. Kwa taarifa muhimu, tafsiri ya kitaalamu ya kibinadamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/sw/sketchnotes/README.md b/translations/sw/sketchnotes/README.md new file mode 100644 index 000000000..297219da6 --- /dev/null +++ b/translations/sw/sketchnotes/README.md @@ -0,0 +1,10 @@ +Sketchnotes zote za mtaala zinaweza kupakuliwa hapa. + +🖨 Kwa uchapishaji katika azimio la juu, matoleo ya TIFF yanapatikana kwenye [repo hii](https://github.com/girliemac/a-picture-is-worth-a-1000-words/tree/main/ml/tiff). + +🎨 Imeundwa na: [Tomomi Imura](https://github.com/girliemac) (Twitter: [@girlie_mac](https://twitter.com/girlie_mac)) + +[](https://creativecommons.org/licenses/by-sa/4.0/) + +**Onyo**: +Hati hii imetafsiriwa kwa kutumia huduma za tafsiri za AI za mashine. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kwamba tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwa sahihi. Hati ya asili katika lugha yake ya kiasili inapaswa kuzingatiwa kama chanzo cha mamlaka. Kwa habari muhimu, tafsiri ya kibinadamu ya kitaalam inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii. \ No newline at end of file diff --git a/translations/tr/1-Introduction/1-intro-to-ML/README.md b/translations/tr/1-Introduction/1-intro-to-ML/README.md new file mode 100644 index 000000000..a240ed1e2 --- /dev/null +++ b/translations/tr/1-Introduction/1-intro-to-ML/README.md @@ -0,0 +1,148 @@ +# Makine Öğrenimine Giriş + +## [Ders Öncesi Test](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/1/) + +--- + +[](https://youtu.be/6mSx_KJxcHI "Yeni Başlayanlar İçin Makine Öğrenimi - Yeni Başlayanlar İçin Makine Öğrenimine Giriş") + +> 🎥 Bu dersi işleyen kısa bir video için yukarıdaki resme tıklayın. + +Yeni başlayanlar için klasik makine öğrenimi konusundaki bu kursa hoş geldiniz! Bu konuya tamamen yeni olsanız da, deneyimli bir ML uygulayıcısı olarak belirli bir alanı tazelemek isteseniz de, bize katıldığınız için mutluyuz! ML çalışmanıza dostça bir başlangıç noktası oluşturmak istiyoruz ve [geri bildiriminizi](https://github.com/microsoft/ML-For-Beginners/discussions) değerlendirmek, yanıtlamak ve dahil etmekten memnuniyet duyarız. + +[](https://youtu.be/h0e2HAPTGF4 "ML'ye Giriş") + +> 🎥 MIT'den John Guttag'ın makine öğrenimini tanıttığı video için yukarıdaki resme tıklayın + +--- +## Makine Öğrenimi ile Başlamak + +Bu müfredata başlamadan önce, bilgisayarınızı yerel olarak notebook'ları çalıştırmaya hazır hale getirmeniz gerekiyor. + +- **Bilgisayarınızı bu videolarla yapılandırın**. Sisteminizde [Python nasıl kurulur](https://youtu.be/CXZYvNRIAKM) ve geliştirme için bir [metin editörü nasıl ayarlanır](https://youtu.be/EU8eayHWoZg) öğrenmek için aşağıdaki bağlantıları kullanın. +- **Python öğrenin**. Ayrıca bu kursta kullandığımız, veri bilimciler için faydalı bir programlama dili olan [Python](https://docs.microsoft.com/learn/paths/python-language/?WT.mc_id=academic-77952-leestott) hakkında temel bir anlayışa sahip olmanız önerilir. +- **Node.js ve JavaScript öğrenin**. Bu kursta web uygulamaları oluştururken birkaç kez JavaScript kullanacağız, bu nedenle [node](https://nodejs.org) ve [npm](https://www.npmjs.com/) kurulu olmalı ve hem Python hem de JavaScript geliştirme için [Visual Studio Code](https://code.visualstudio.com/) kullanılabilir olmalıdır. +- **GitHub hesabı oluşturun**. Bizi burada [GitHub](https://github.com) üzerinde bulduğunuza göre, muhtemelen bir hesabınız vardır, ancak yoksa bir hesap oluşturun ve bu müfredatı kendi kullanımınıza forklayın. (Bize bir yıldız vermekten çekinmeyin 😊) +- **Scikit-learn'i keşfedin**. Bu derslerde referans verdiğimiz bir dizi ML kütüphanesi olan [Scikit-learn](https://scikit-learn.org/stable/user_guide.html) ile tanışın. + +--- +## Makine Öğrenimi Nedir? + +'Makine öğrenimi' terimi, günümüzün en popüler ve sık kullanılan terimlerinden biridir. Teknolojiye aşina iseniz, hangi alanda çalışıyor olursanız olun, bu terimi en az bir kez duymuş olma ihtimaliniz oldukça yüksektir. Ancak, makine öğreniminin mekanikleri çoğu insan için bir gizemdir. Makine öğrenimine yeni başlayan biri için konu bazen bunaltıcı olabilir. Bu nedenle, makine öğreniminin ne olduğunu anlamak ve pratik örneklerle adım adım öğrenmek önemlidir. + +--- +## Hype Eğrisi + + + +> Google Trends, 'makine öğrenimi' teriminin son zamanlardaki 'hype eğrisini' gösteriyor + +--- +## Gizemli Bir Evren + +Büyüleyici gizemlerle dolu bir evrende yaşıyoruz. Stephen Hawking, Albert Einstein ve daha birçok büyük bilim insanı, etrafımızdaki dünyanın gizemlerini ortaya çıkaran anlamlı bilgileri aramak için hayatlarını adadılar. Bu, öğrenmenin insan halidir: Bir insan çocuğu yeni şeyler öğrenir ve büyüdükçe dünyasının yapısını yıl yıl keşfeder. + +--- +## Çocuğun Beyni + +Bir çocuğun beyni ve duyuları, çevresindeki gerçekleri algılar ve hayatın gizli kalıplarını yavaş yavaş öğrenir, bu da çocuğun öğrenilen kalıpları tanımlamak için mantıksal kurallar oluşturmasına yardımcı olur. İnsan beyninin öğrenme süreci, insanları bu dünyanın en sofistike canlısı yapar. Gizli kalıpları keşfederek sürekli öğrenmek ve ardından bu kalıplar üzerinde yenilik yapmak, yaşamımız boyunca kendimizi daha iyi hale getirmemizi sağlar. Bu öğrenme kapasitesi ve evrimleşme yeteneği, [beyin plastisitesi](https://www.simplypsychology.org/brain-plasticity.html) adlı bir kavramla ilgilidir. Yüzeysel olarak, insan beyninin öğrenme süreci ile makine öğrenimi kavramları arasında bazı motive edici benzerlikler çizebiliriz. + +--- +## İnsan Beyni + +[İnsan beyni](https://www.livescience.com/29365-human-brain.html), gerçek dünyadan şeyleri algılar, algılanan bilgileri işler, rasyonel kararlar alır ve duruma göre belirli eylemler gerçekleştirir. Buna zeki davranmak diyoruz. Zeki davranış sürecinin bir benzerini bir makineye programladığımızda, buna yapay zeka (AI) denir. + +--- +## Bazı Terminoloji + +Terimler karıştırılabilse de, makine öğrenimi (ML), yapay zekanın önemli bir alt kümesidir. **ML, rasyonel karar verme sürecini doğrulamak için algılanan verilerden anlamlı bilgiler ortaya çıkarmak ve gizli kalıpları bulmak için özel algoritmalar kullanmakla ilgilidir**. + +--- +## AI, ML, Derin Öğrenme + + + +> AI, ML, derin öğrenme ve veri bilimi arasındaki ilişkileri gösteren bir diyagram. [Jen Looper](https://twitter.com/jenlooper) tarafından [bu grafik](https://softwareengineering.stackexchange.com/questions/366996/distinction-between-ai-ml-neural-networks-deep-learning-and-data-mining) ilham alınarak hazırlanan infografik + +--- +## Kapsanacak Konular + +Bu müfredatta, bir başlangıcın bilmesi gereken makine öğreniminin temel kavramlarını ele alacağız. Öğrencilerin temel bilgileri öğrenmek için kullandığı mükemmel bir kütüphane olan Scikit-learn'i kullanarak 'klasik makine öğrenimi' dediğimiz şeyi kapsıyoruz. Yapay zeka veya derin öğrenmenin daha geniş kavramlarını anlamak için, makine öğreniminin güçlü bir temel bilgisine sahip olmak gereklidir ve bu bilgiyi burada sunmak istiyoruz. + +--- +## Bu Kursta Öğrenecekleriniz: + +- makine öğreniminin temel kavramları +- ML'nin tarihi +- ML ve adalet +- regresyon ML teknikleri +- sınıflandırma ML teknikleri +- kümeleme ML teknikleri +- doğal dil işleme ML teknikleri +- zaman serisi tahminleme ML teknikleri +- pekiştirmeli öğrenme +- ML'nin gerçek dünya uygulamaları + +--- +## Kapsamayacağımız Konular + +- derin öğrenme +- sinir ağları +- AI + +Daha iyi bir öğrenme deneyimi sağlamak için, sinir ağlarının karmaşıklıklarından, 'derin öğrenme' - sinir ağları kullanarak çok katmanlı model oluşturma - ve AI'dan kaçınacağız, bunları farklı bir müfredatta ele alacağız. Ayrıca, bu daha geniş alanın bir yönüne odaklanmak için gelecek veri bilimi müfredatını sunacağız. + +--- +## Neden Makine Öğrenimi Çalışmalıyız? + +Sistemler perspektifinden makine öğrenimi, verilerden gizli kalıpları öğrenerek akıllı kararlar almaya yardımcı olan otomatik sistemlerin oluşturulması olarak tanımlanır. + +Bu motivasyon, insan beyninin dış dünyadan algıladığı verilere dayanarak belirli şeyleri nasıl öğrendiğinden gevşek bir şekilde ilham almıştır. + +✅ Bir işin neden makine öğrenimi stratejilerini kullanmak isteyebileceğini düşünün, sabit kodlanmış kurallara dayalı bir motor oluşturmak yerine. + +--- +## Makine Öğrenimi Uygulamaları + +Makine öğrenimi uygulamaları artık hemen her yerde ve akıllı telefonlarımız, bağlı cihazlarımız ve diğer sistemler tarafından üretilen veriler kadar yaygın. En son teknoloji makine öğrenimi algoritmalarının muazzam potansiyelini göz önünde bulundurarak, araştırmacılar, çok boyutlu ve çok disiplinli gerçek yaşam problemlerini büyük olumlu sonuçlarla çözme yeteneklerini araştırıyorlar. + +--- +## Uygulamalı ML Örnekleri + +**Makine öğrenimini birçok şekilde kullanabilirsiniz**: + +- Bir hastanın tıbbi geçmişinden veya raporlarından hastalık olasılığını tahmin etmek için. +- Hava durumu verilerini kullanarak hava olaylarını tahmin etmek için. +- Bir metnin duyarlılığını anlamak için. +- Propagandanın yayılmasını durdurmak için sahte haberleri tespit etmek için. + +Finans, ekonomi, yer bilimi, uzay keşfi, biyomedikal mühendislik, bilişsel bilim ve hatta beşeri bilimler alanları, alanlarının zorlu, veri işleme ağırlıklı sorunlarını çözmek için makine öğrenimini benimsemiştir. + +--- +## Sonuç + +Makine öğrenimi, gerçek dünyadan veya üretilmiş verilerden anlamlı içgörüler bularak kalıp keşfetme sürecini otomatikleştirir. İş, sağlık ve finans uygulamaları da dahil olmak üzere birçok alanda son derece değerli olduğunu kanıtlamıştır. + +Yakın gelecekte, makine öğreniminin temellerini anlamak, yaygın olarak benimsenmesi nedeniyle herhangi bir alandaki insanlar için bir zorunluluk haline gelecektir. + +--- +# 🚀 Meydan Okuma + +Kağıt üzerinde veya [Excalidraw](https://excalidraw.com/) gibi bir çevrimiçi uygulama kullanarak, AI, ML, derin öğrenme ve veri bilimi arasındaki farkları anladığınızı çizin. Bu tekniklerin her birinin çözmede iyi olduğu problemler hakkında bazı fikirler ekleyin. + +# [Ders Sonrası Test](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/2/) + +--- +# İnceleme & Kendi Kendine Çalışma + +Bulutta ML algoritmalarıyla nasıl çalışabileceğiniz hakkında daha fazla bilgi edinmek için bu [Öğrenme Yolunu](https://docs.microsoft.com/learn/paths/create-no-code-predictive-models-azure-machine-learning/?WT.mc_id=academic-77952-leestott) takip edin. + +ML'nin temelleri hakkında bir [Öğrenme Yolu](https://docs.microsoft.com/learn/modules/introduction-to-machine-learning/?WT.mc_id=academic-77952-leestott) alın. + +--- +# Ödev + +[Başlamak için](assignment.md) + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belge, kendi dilinde yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından doğabilecek yanlış anlaşılmalar veya yanlış yorumlamalardan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/1-Introduction/1-intro-to-ML/assignment.md b/translations/tr/1-Introduction/1-intro-to-ML/assignment.md new file mode 100644 index 000000000..97ede70f3 --- /dev/null +++ b/translations/tr/1-Introduction/1-intro-to-ML/assignment.md @@ -0,0 +1,12 @@ +# Başlamaya Hazır Ol + +## Talimatlar + +Bu notlandırılmamış ödevde, Python bilginizi tazelemeniz ve çevrenizi çalışır hale getirmeniz, notebookları çalıştırabilmeniz gerekiyor. + +Bu [Python Öğrenme Yolunu](https://docs.microsoft.com/learn/paths/python-language/?WT.mc_id=academic-77952-leestott) takip edin ve ardından bu tanıtıcı videoları izleyerek sistemlerinizi kurun: + +https://www.youtube.com/playlist?list=PLlrxD0HtieHhS8VzuMCfQD4uJ9yne1mE6 + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluğu sağlamak için çaba sarf etsek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belgenin kendi dilindeki hali yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/1-Introduction/2-history-of-ML/README.md b/translations/tr/1-Introduction/2-history-of-ML/README.md new file mode 100644 index 000000000..3d2441ca3 --- /dev/null +++ b/translations/tr/1-Introduction/2-history-of-ML/README.md @@ -0,0 +1,152 @@ +# Makine Öğrenmesinin Tarihi + + +> Sketchnote: [Tomomi Imura](https://www.twitter.com/girlie_mac) + +## [Ders Öncesi Quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/3/) + +--- + +[](https://youtu.be/N6wxM4wZ7V0 "Başlangıç seviyesinde ML - Makine Öğrenmesinin Tarihi") + +> 🎥 Bu dersi içeren kısa bir video için yukarıdaki resme tıklayın. + +Bu derste, makine öğrenmesi ve yapay zekanın tarihindeki önemli dönüm noktalarını inceleyeceğiz. + +Yapay zekanın (AI) bir alan olarak tarihi, makine öğrenmesinin tarihi ile iç içedir, çünkü ML'yi destekleyen algoritmalar ve hesaplama ilerlemeleri AI'nın gelişimine katkıda bulunmuştur. Bu alanların ayrı araştırma alanları olarak 1950'lerde şekillenmeye başladığını hatırlamak faydalıdır, önemli [algoritmik, istatistiksel, matematiksel, hesaplama ve teknik keşifler](https://wikipedia.org/wiki/Timeline_of_machine_learning) bu dönemin öncesinde ve sonrasında gerçekleşmiştir. Aslında, insanlar bu sorular hakkında [yüzlerce yıldır](https://wikipedia.org/wiki/History_of_artificial_intelligence) düşünmektedir: bu makale, 'düşünen makine' fikrinin tarihsel entelektüel temellerini tartışmaktadır. + +--- +## Önemli Keşifler + +- 1763, 1812 [Bayes Teoremi](https://wikipedia.org/wiki/Bayes%27_theorem) ve öncülleri. Bu teorem ve uygulamaları, bir olayın gerçekleşme olasılığını önceki bilgiye dayanarak tanımlayan çıkarımın temelini oluşturur. +- 1805 [En Küçük Kareler Teorisi](https://wikipedia.org/wiki/Least_squares) Fransız matematikçi Adrien-Marie Legendre tarafından. Bu teori, veri uyumlamada yardımcı olur ve Regresyon birimimizde öğreneceksiniz. +- 1913 [Markov Zincirleri](https://wikipedia.org/wiki/Markov_chain), Rus matematikçi Andrey Markov'un adını taşır ve önceki bir duruma dayalı olarak olası olaylar dizisini tanımlar. +- 1957 [Perceptron](https://wikipedia.org/wiki/Perceptron) Amerikan psikolog Frank Rosenblatt tarafından icat edilen bir tür lineer sınıflandırıcıdır ve derin öğrenmede ilerlemelerin temelini oluşturur. + +--- + +- 1967 [En Yakın Komşu](https://wikipedia.org/wiki/Nearest_neighbor) başlangıçta rota haritalamak için tasarlanmış bir algoritmadır. ML bağlamında desenleri tespit etmek için kullanılır. +- 1970 [Geri Yayılım](https://wikipedia.org/wiki/Backpropagation) [ileri beslemeli sinir ağlarını](https://wikipedia.org/wiki/Feedforward_neural_network) eğitmek için kullanılır. +- 1982 [Yinelemeli Sinir Ağları](https://wikipedia.org/wiki/Recurrent_neural_network) ileri beslemeli sinir ağlarından türetilen ve zamansal grafikler oluşturan yapay sinir ağlarıdır. + +✅ Biraz araştırma yapın. ML ve AI tarihinde öne çıkan diğer tarihler nelerdir? + +--- +## 1950: Düşünen Makineler + +2019 yılında [kamuoyu tarafından](https://wikipedia.org/wiki/Icons:_The_Greatest_Person_of_the_20th_Century) 20. yüzyılın en büyük bilim insanı olarak seçilen gerçekten olağanüstü bir kişi olan Alan Turing, 'düşünebilen bir makine' kavramının temellerini atmaya yardımcı olduğu için takdir edilir. Bu kavramın ampirik kanıtlarına duyduğu ihtiyaç ve karşıt görüşlerle başa çıkmak için [Turing Testi](https://www.bbc.com/news/technology-18475646) oluşturdu; bu testi NLP derslerimizde keşfedeceksiniz. + +--- +## 1956: Dartmouth Yaz Araştırma Projesi + +"Yapay zeka alanı için dönüm noktası olan Dartmouth Yaz Araştırma Projesi," ve burada 'yapay zeka' terimi icat edilmiştir ([kaynak](https://250.dartmouth.edu/highlights/artificial-intelligence-ai-coined-dartmouth)). + +> Öğrenmenin veya zekanın herhangi bir özelliğinin o kadar kesin bir şekilde tanımlanabileceği ki bir makine bunu simüle edebilir. + +--- + +Baş araştırmacı, matematik profesörü John McCarthy, "Öğrenmenin veya zekanın herhangi bir özelliğinin o kadar kesin bir şekilde tanımlanabileceği ki bir makine bunu simüle edebilir" hipotezine dayalı olarak ilerlemeyi umuyordu. Katılımcılar arasında alanın diğer bir aydınlanmış ismi Marvin Minsky de vardı. + +Çalıştay, "sembolik yöntemlerin yükselişi, sınırlı alanlara odaklanan sistemler (erken uzman sistemler) ve çıkarımsal sistemler ile tümevarımsal sistemler arasındaki tartışmaların" başlatılması ve teşvik edilmesiyle tanınır ([kaynak](https://wikipedia.org/wiki/Dartmouth_workshop)). + +--- +## 1956 - 1974: "Altın Yıllar" + +1950'lerden 1970'lerin ortalarına kadar, AI'nın birçok sorunu çözebileceği umuduyla büyük bir iyimserlik hakimdi. 1967'de Marvin Minsky, "Bir nesil içinde ... 'yapay zeka' yaratma sorunu büyük ölçüde çözülecek" diye güvenle belirtti (Minsky, Marvin (1967), Computation: Finite and Infinite Machines, Englewood Cliffs, N.J.: Prentice-Hall). + +Doğal dil işleme araştırmaları gelişti, arama daha rafine ve güçlü hale geldi ve 'mikro-dünyalar' konsepti oluşturuldu, burada basit görevler düz dil talimatları kullanılarak tamamlandı. + +--- + +Araştırmalar devlet kurumları tarafından iyi finanse edildi, hesaplama ve algoritmalar konusunda ilerlemeler kaydedildi ve akıllı makinelerin prototipleri inşa edildi. Bu makinelerden bazıları şunlardır: + +* [Shakey the robot](https://wikipedia.org/wiki/Shakey_the_robot), görevleri 'akıllıca' nasıl gerçekleştireceğine karar verebilen ve manevra yapabilen bir robottu. + +  + > 1972'de Shakey + +--- + +* Eliza, erken bir 'chatterbot', insanlarla sohbet edebilen ve ilkel bir 'terapist' olarak hareket edebilen bir robottu. Eliza hakkında daha fazla bilgiyi NLP derslerimizde öğreneceksiniz. + +  + > Bir sohbet botu olan Eliza'nın bir versiyonu + +--- + +* "Blocks world" blokların istiflenip sıralanabileceği ve makinelerin karar vermeyi öğrenme deneylerinin test edilebileceği bir mikro-dünya örneğiydi. [SHRDLU](https://wikipedia.org/wiki/SHRDLU) gibi kütüphanelerle yapılan ilerlemeler dil işlemenin ilerlemesine yardımcı oldu. + + [](https://www.youtube.com/watch?v=QAJz4YKUwqw "SHRDLU ile blocks world") + + > 🎥 Yukarıdaki resme tıklayarak bir video izleyin: SHRDLU ile Blocks world + +--- +## 1974 - 1980: "AI Kışı" + +1970'lerin ortalarına gelindiğinde, 'akıllı makineler' yapmanın karmaşıklığının hafife alındığı ve mevcut hesaplama gücü göz önüne alındığında vaatlerinin abartıldığı ortaya çıktı. Fonlar kurudu ve alandaki güven yavaşladı. Güveni etkileyen bazı sorunlar şunlardı: +--- +- **Sınırlamalar**. Hesaplama gücü çok sınırlıydı. +- **Kombinatoryal patlama**. Bilgisayarlardan daha fazla şey istendikçe eğitilmesi gereken parametrelerin sayısı üstel olarak arttı, ancak hesaplama gücü ve yetenekleri paralel olarak evrimleşmedi. +- **Veri kıtlığı**. Algoritmaların test edilmesi, geliştirilmesi ve rafine edilmesi sürecini engelleyen veri kıtlığı vardı. +- **Doğru soruları mı soruyoruz?**. Sorulan soruların kendisi sorgulanmaya başlandı. Araştırmacılar yaklaşımları hakkında eleştiriler almaya başladı: + - Turing testleri, diğer fikirler arasında, 'Çin odası teorisi' aracılığıyla sorgulandı, bu teori "dijital bir bilgisayarı programlamanın dili anlamasını sağlayabileceğini ancak gerçek bir anlayış üretemeyeceğini" öne sürüyordu ([kaynak](https://plato.stanford.edu/entries/chinese-room/)). + - "Terapist" ELIZA gibi yapay zekaların topluma tanıtılmasının etiği tartışıldı. + +--- + +Aynı zamanda, çeşitli AI düşünce okulları oluşmaya başladı. ["Düzensiz" ve "düzenli AI"](https://wikipedia.org/wiki/Neats_and_scruffies) uygulamaları arasında bir ikilik oluştu. _Düzensiz_ laboratuvarlar, istedikleri sonuçları elde edene kadar programları saatlerce ayarladılar. _Düzenli_ laboratuvarlar "mantık ve resmi problem çözmeye" odaklandı. ELIZA ve SHRDLU, iyi bilinen _düzensiz_ sistemlerdi. 1980'lerde, ML sistemlerini tekrarlanabilir hale getirme talebi ortaya çıktıkça, _düzenli_ yaklaşım yavaş yavaş ön plana çıktı çünkü sonuçları daha açıklanabilir. + +--- +## 1980'ler Uzman Sistemler + +Alan büyüdükçe, iş dünyasına olan faydası daha net hale geldi ve 1980'lerde 'uzman sistemlerin' yaygınlaşması da öyle. "Uzman sistemler, ilk gerçekten başarılı yapay zeka (AI) yazılım biçimleri arasındaydı." ([kaynak](https://wikipedia.org/wiki/Expert_system)). + +Bu tür bir sistem aslında _hibrit_ bir yapıya sahiptir, kısmen iş gereksinimlerini tanımlayan bir kurallar motoru ve kurallar sisteminden yararlanarak yeni gerçekleri çıkaran bir çıkarım motorundan oluşur. + +Bu dönemde ayrıca sinir ağlarına artan bir ilgi gösterildi. + +--- +## 1987 - 1993: AI 'Soğuması' + +Uzman sistemlerin özelleşmiş donanımının yaygınlaşması, ne yazık ki, çok özelleşmiş hale gelmesine neden oldu. Kişisel bilgisayarların yükselişi de bu büyük, özelleşmiş, merkezi sistemlerle rekabet etti. Bilgi işlem demokratikleşmeye başlamıştı ve bu, sonunda büyük verinin modern patlamasına yol açtı. + +--- +## 1993 - 2011 + +Bu dönem, ML ve AI'nın daha önce veri ve hesaplama gücü eksikliği nedeniyle yaşanan bazı sorunları çözebilmesi için yeni bir dönem oldu. Veri miktarı hızla artmaya ve daha geniş çapta erişilebilir hale gelmeye başladı, özellikle 2007 civarında akıllı telefonların ortaya çıkmasıyla birlikte, hem iyi hem de kötü yönleriyle. Hesaplama gücü üstel olarak genişledi ve algoritmalar buna paralel olarak evrimleşti. Alan, geçmişin serbest günlerinin gerçek bir disipline dönüşmesiyle olgunlaşmaya başladı. + +--- +## Günümüz + +Bugün makine öğrenmesi ve yapay zeka hayatımızın hemen her alanına dokunuyor. Bu dönem, bu algoritmaların insan yaşamı üzerindeki riskleri ve potansiyel etkilerini dikkatli bir şekilde anlamayı gerektirir. Microsoft'tan Brad Smith'in belirttiği gibi, "Bilgi teknolojisi, gizlilik ve ifade özgürlüğü gibi temel insan hakları korumalarının kalbine giden sorunları gündeme getiriyor. Bu sorunlar, bu ürünleri yaratan teknoloji şirketleri için sorumluluğu artırıyor. Bizim görüşümüze göre, aynı zamanda dikkatli hükümet düzenlemeleri ve kabul edilebilir kullanımlar etrafında normların geliştirilmesini gerektiriyor" ([kaynak](https://www.technologyreview.com/2019/12/18/102365/the-future-of-ais-impact-on-society/)). + +--- + +Geleceğin ne getireceği henüz belli değil, ancak bu bilgisayar sistemlerini ve çalıştırdıkları yazılım ve algoritmaları anlamak önemlidir. Bu müfredatın, daha iyi bir anlayış kazanmanıza ve kendiniz karar vermenize yardımcı olacağını umuyoruz. + +[](https://www.youtube.com/watch?v=mTtDfKgLm54 "Derin öğrenmenin tarihi") +> 🎥 Yukarıdaki resme tıklayarak bir video izleyin: Yann LeCun bu derste derin öğrenmenin tarihini tartışıyor + +--- +## 🚀Meydan Okuma + +Bu tarihi anlardan birine derinlemesine dalın ve arkasındaki insanlar hakkında daha fazla bilgi edinin. İlginç karakterler var ve hiçbir bilimsel keşif kültürel bir boşlukta yaratılmamıştır. Ne keşfediyorsunuz? + +## [Ders Sonrası Quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/4/) + +--- +## İnceleme ve Kendi Kendine Çalışma + +İzlemeniz ve dinlemeniz için öğeler: + +[Amy Boyd'un AI'nın evrimini tartıştığı bu podcast](http://runasradio.com/Shows/Show/739) +[](https://www.youtube.com/watch?v=EJt3_bFYKss "Amy Boyd tarafından yapay zekanın tarihi") + +--- + +## Ödev + +[Bir zaman çizelgesi oluşturun](assignment.md) + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal dili, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilmektedir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/1-Introduction/2-history-of-ML/assignment.md b/translations/tr/1-Introduction/2-history-of-ML/assignment.md new file mode 100644 index 000000000..57d11c0a2 --- /dev/null +++ b/translations/tr/1-Introduction/2-history-of-ML/assignment.md @@ -0,0 +1,14 @@ +# Bir zaman çizelgesi oluşturun + +## Talimatlar + +[bu repo](https://github.com/Digital-Humanities-Toolkit/timeline-builder)'yu kullanarak algoritmaların, matematiğin, istatistiklerin, AI'nın veya ML'nin tarihinin bir yönüne veya bunların bir kombinasyonuna dair bir zaman çizelgesi oluşturun. Bir kişiye, bir fikre veya uzun bir düşünce sürecine odaklanabilirsiniz. Multimedya unsurlar eklemeyi unutmayın. + +## Değerlendirme Kriterleri + +| Kriterler | Örnek | Yeterli | Geliştirilmesi Gerekiyor | +| --------- | --------------------------------------------------- | --------------------------------------- | --------------------------------------------------------------- | +| | Yayınlanmış bir zaman çizelgesi GitHub sayfası olarak sunulmuş | Kod eksik ve yayınlanmamış | Zaman çizelgesi eksik, iyi araştırılmamış ve yayınlanmamış | + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba sarf etsek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal dili, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından doğabilecek herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/1-Introduction/3-fairness/README.md b/translations/tr/1-Introduction/3-fairness/README.md new file mode 100644 index 000000000..449b3db68 --- /dev/null +++ b/translations/tr/1-Introduction/3-fairness/README.md @@ -0,0 +1,140 @@ +# Sorumlu AI ile Makine Öğrenimi Çözümleri Oluşturma + + +> Sketchnote by [Tomomi Imura](https://www.twitter.com/girlie_mac) + +## [Ders Öncesi Quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/5/) + +## Giriş + +Bu müfredatta, makine öğreniminin günlük hayatımızı nasıl etkileyebileceğini ve etkilediğini keşfetmeye başlayacaksınız. Şu anda bile, sağlık teşhisleri, kredi onayları veya dolandırıcılığı tespit etme gibi günlük karar verme görevlerinde sistemler ve modeller yer alıyor. Bu nedenle, bu modellerin güvenilir sonuçlar sağlamak için iyi çalışması önemlidir. Herhangi bir yazılım uygulaması gibi, AI sistemleri de beklentileri karşılamayacak veya istenmeyen sonuçlar doğuracaktır. Bu yüzden bir AI modelinin davranışını anlamak ve açıklayabilmek çok önemlidir. + +Bu modelleri oluşturmak için kullandığınız veriler belirli demografik gruplardan yoksunsa, örneğin ırk, cinsiyet, siyasi görüş, din veya bu demografik grupları orantısız bir şekilde temsil ediyorsa ne olabilir? Modelin çıktısı bazı demografik grupları kayıracak şekilde yorumlandığında ne olur? Uygulama için sonuçları nedir? Ayrıca, modelin olumsuz bir sonucu olduğunda ve insanlara zarar verdiğinde ne olur? AI sistemlerinin davranışından kim sorumludur? Bu müfredatta bu soruları keşfedeceğiz. + +Bu derste: + +- Makine öğreniminde adaletin önemi ve adaletle ilgili zararlar konusunda farkındalık kazanacaksınız. +- Güvenilirlik ve güvenliği sağlamak için aykırı durumları ve olağandışı senaryoları keşfetme pratiğine aşina olacaksınız. +- Herkesi güçlendirmek için kapsayıcı sistemler tasarlama ihtiyacını anlayacaksınız. +- Verilerin ve insanların gizliliğini ve güvenliğini korumanın ne kadar önemli olduğunu keşfedeceksiniz. +- AI modellerinin davranışını açıklamak için şeffaf bir yaklaşımın önemini göreceksiniz. +- AI sistemlerine güven inşa etmek için hesap verebilirliğin ne kadar önemli olduğunun farkında olacaksınız. + +## Önkoşul + +Önkoşul olarak, "Sorumlu AI İlkeleri" öğrenme yolunu tamamlayın ve aşağıdaki videoyu izleyin: + +Sorumlu AI hakkında daha fazla bilgi edinmek için bu [Öğrenme Yolu](https://docs.microsoft.com/learn/modules/responsible-ai-principles/?WT.mc_id=academic-77952-leestott) bağlantısını takip edin. + +[](https://youtu.be/dnC8-uUZXSc "Microsoft'un Sorumlu AI Yaklaşımı") + +> 🎥 Yukarıdaki resme tıklayarak video izleyin: Microsoft'un Sorumlu AI Yaklaşımı + +## Adalet + +AI sistemleri herkese adil davranmalı ve benzer gruplardaki insanları farklı şekillerde etkilemekten kaçınmalıdır. Örneğin, AI sistemleri tıbbi tedavi, kredi başvuruları veya işe alım konusunda rehberlik sağladığında, benzer semptomlara, mali durumlara veya mesleki niteliklere sahip herkese aynı önerileri yapmalıdır. Hepimiz insan olarak, kararlarımızı ve eylemlerimizi etkileyen miras alınmış önyargılar taşırız. Bu önyargılar, AI sistemlerini eğitmek için kullandığımız verilerde de ortaya çıkabilir. Bu tür manipülasyonlar bazen istemeden olabilir. Verilerde önyargı yaratırken bunu bilinçli olarak fark etmek genellikle zordur. + +**“Adaletsizlik”**, ırk, cinsiyet, yaş veya engellilik durumu gibi bir grup insan için olumsuz etkileri veya “zararları” kapsar. Başlıca adaletle ilgili zararlar şu şekilde sınıflandırılabilir: + +- **Tahsis**, örneğin bir cinsiyet veya etnisitenin diğerine göre kayırılması. +- **Hizmet kalitesi**. Verileri belirli bir senaryo için eğitmek, ancak gerçekte çok daha karmaşık olması, kötü performans gösteren bir hizmete yol açar. Örneğin, koyu tenli insanları algılayamayan bir el sabunu dağıtıcısı. [Referans](https://gizmodo.com/why-cant-this-soap-dispenser-identify-dark-skin-1797931773) +- **Küçük düşürme**. Bir şeyi veya birini haksız yere eleştirme ve etiketleme. Örneğin, bir görüntü etiketleme teknolojisi, koyu tenli insanların görüntülerini goril olarak yanlış etiketlemiştir. +- **Aşırı veya yetersiz temsil**. Belirli bir grubun belirli bir meslekte görülmediği ve bu durumu teşvik eden herhangi bir hizmet veya işlevin zarara katkıda bulunduğu fikri. +- **Stereotipleştirme**. Belirli bir grubu önceden belirlenmiş özelliklerle ilişkilendirme. Örneğin, İngilizce ve Türkçe arasında çeviri yapan bir dil çeviri sistemi, cinsiyetle ilişkilendirilen kelimeler nedeniyle hatalar yapabilir. + + +> Türkçeye çeviri + + +> İngilizceye geri çeviri + +AI sistemleri tasarlarken ve test ederken, AI'nın adil olduğundan ve önyargılı veya ayrımcı kararlar vermeye programlanmadığından emin olmalıyız, ki bu kararları insanlar da vermemelidir. AI ve makine öğreniminde adaleti sağlamak karmaşık bir sosyoteknik zorluktur. + +### Güvenilirlik ve güvenlik + +Güven inşa etmek için, AI sistemlerinin güvenilir, güvenli ve normal ve beklenmedik koşullar altında tutarlı olması gerekir. AI sistemlerinin çeşitli durumlarda nasıl davranacağını bilmek önemlidir, özellikle de aykırı durumlarda. AI çözümleri oluştururken, AI çözümlerinin karşılaşacağı geniş bir yelpazedeki durumları nasıl ele alacağına odaklanmak gerekir. Örneğin, kendi kendine giden bir araba, insanların güvenliğini en üst düzeyde tutmalıdır. Sonuç olarak, arabayı yönlendiren AI, gece, fırtınalar veya kar fırtınaları, sokakta koşan çocuklar, evcil hayvanlar, yol çalışmaları gibi arabanın karşılaşabileceği tüm olası senaryoları dikkate almalıdır. Bir AI sisteminin çeşitli koşulları güvenilir ve güvenli bir şekilde nasıl ele alabileceği, veri bilimci veya AI geliştiricisinin sistemin tasarımı veya test edilmesi sırasında ne kadar öngörülü olduğunu yansıtır. + +> [🎥 Video için buraya tıklayın: ](https://www.microsoft.com/videoplayer/embed/RE4vvIl) + +### Kapsayıcılık + +AI sistemleri herkesin katılımını sağlamalı ve güçlendirmelidir. AI sistemlerini tasarlarken ve uygularken veri bilimciler ve AI geliştiriciler, sistemi istemeden dışlayabilecek potansiyel engelleri belirler ve ele alır. Örneğin, dünya genelinde 1 milyar engelli insan var. AI'nın ilerlemesiyle, günlük yaşamlarında geniş bir bilgi ve fırsat yelpazesine daha kolay erişebilirler. Engelleri ele alarak, herkesin yararına daha iyi deneyimler sunan AI ürünlerini yenilik yapmak ve geliştirmek için fırsatlar yaratır. + +> [🎥 Video için buraya tıklayın: AI'da kapsayıcılık](https://www.microsoft.com/videoplayer/embed/RE4vl9v) + +### Güvenlik ve gizlilik + +AI sistemleri güvenli olmalı ve insanların gizliliğine saygı göstermelidir. Gizliliklerini, bilgilerini veya hayatlarını riske atan sistemlere insanlar daha az güvenir. Makine öğrenimi modellerini eğitirken, en iyi sonuçları elde etmek için verilere güveniriz. Bunu yaparken, verilerin kaynağı ve bütünlüğü dikkate alınmalıdır. Örneğin, veriler kullanıcı tarafından mı gönderildi yoksa kamuya açık mıydı? Sonrasında, verilerle çalışırken, gizli bilgileri koruyabilen ve saldırılara karşı dirençli AI sistemleri geliştirmek önemlidir. AI daha yaygın hale geldikçe, gizliliği korumak ve önemli kişisel ve ticari bilgileri güvence altına almak daha kritik ve karmaşık hale geliyor. AI için gizlilik ve veri güvenliği sorunları, veriye erişimin AI sistemlerinin insanlar hakkında doğru ve bilgilendirilmiş tahminler ve kararlar vermesi için gerekli olması nedeniyle özellikle dikkat gerektirir. + +> [🎥 Video için buraya tıklayın: AI'da güvenlik](https://www.microsoft.com/videoplayer/embed/RE4voJF) + +- Endüstri olarak, GDPR (Genel Veri Koruma Yönetmeliği) gibi düzenlemelerle büyük ölçüde ilerlemeler kaydettik. +- Ancak AI sistemleriyle, sistemleri daha kişisel ve etkili hale getirmek için daha fazla kişisel verilere ihtiyaç duyma ile gizlilik arasındaki gerilimi kabul etmeliyiz. +- İnternetle bağlantılı bilgisayarların doğuşunda olduğu gibi, AI ile ilgili güvenlik sorunlarının sayısında büyük bir artış görüyoruz. +- Aynı zamanda, AI'nın güvenliği artırmak için kullanıldığını gördük. Örneğin, çoğu modern antivirüs tarayıcıları bugün AI heuristikleri tarafından yönlendirilmektedir. +- Veri Bilimi süreçlerimizin en son gizlilik ve güvenlik uygulamalarıyla uyumlu olmasını sağlamalıyız. + +### Şeffaflık +AI sistemleri anlaşılabilir olmalıdır. Şeffaflığın önemli bir parçası, AI sistemlerinin ve bileşenlerinin davranışını açıklamaktır. AI sistemlerinin anlaşılmasını iyileştirmek, paydaşların nasıl ve neden çalıştığını anlamalarını gerektirir, böylece potansiyel performans sorunlarını, güvenlik ve gizlilik endişelerini, önyargıları, dışlayıcı uygulamaları veya istenmeyen sonuçları belirleyebilirler. AI sistemlerini kullananların, ne zaman, neden ve nasıl kullandıklarını ve sistemlerinin sınırlamalarını açıkça belirtmeleri gerektiğine inanıyoruz. Örneğin, bir banka tüketici kredi kararlarını desteklemek için bir AI sistemi kullanıyorsa, sonuçları incelemek ve sistemin önerilerini hangi verilerin etkilediğini anlamak önemlidir. Hükümetler, AI'yı endüstriler arasında düzenlemeye başlıyor, bu nedenle veri bilimciler ve kuruluşlar, AI sisteminin düzenleyici gereksinimleri karşılayıp karşılamadığını, özellikle istenmeyen bir sonuç olduğunda açıklamalıdır. + +> [🎥 Video için buraya tıklayın: AI'da şeffaflık](https://www.microsoft.com/videoplayer/embed/RE4voJF) + +- AI sistemleri çok karmaşık olduğu için nasıl çalıştıklarını ve sonuçları nasıl yorumladıklarını anlamak zordur. +- Bu anlayış eksikliği, bu sistemlerin nasıl yönetildiğini, işletildiğini ve belgelenmesini etkiler. +- Daha da önemlisi, bu anlayış eksikliği, bu sistemlerin ürettiği sonuçları kullanarak yapılan kararları etkiler. + +### Hesap Verebilirlik + +AI sistemlerini tasarlayan ve uygulayan kişiler, sistemlerinin nasıl çalıştığından sorumlu olmalıdır. Hesap verebilirlik ihtiyacı, özellikle yüz tanıma gibi hassas kullanım teknolojileri için çok önemlidir. Son zamanlarda, yüz tanıma teknolojisine olan talep artıyor, özellikle kayıp çocukları bulmak gibi kullanımlarda teknolojinin potansiyelini gören kolluk kuvvetleri tarafından. Ancak, bu teknolojiler, örneğin belirli bireylerin sürekli izlenmesini sağlayarak vatandaşların temel özgürlüklerini riske atmak için bir hükümet tarafından kullanılabilir. Bu nedenle, veri bilimciler ve kuruluşlar, AI sistemlerinin bireyleri veya toplumu nasıl etkilediğinden sorumlu olmalıdır. + +[](https://www.youtube.com/watch?v=Wldt8P5V6D0 "Microsoft'un Sorumlu AI Yaklaşımı") + +> 🎥 Yukarıdaki resme tıklayarak video izleyin: Yüz Tanıma Yoluyla Kitle Gözetimi Uyarıları + +Sonuçta, toplumda AI'yı tanıtan ilk nesil olarak, bilgisayarların insanlara hesap verebilir kalmasını nasıl sağlayacağımız ve bilgisayarları tasarlayan insanların diğer herkese hesap verebilir kalmasını nasıl sağlayacağımız, neslimizin en büyük sorularından biridir. + +## Etki Değerlendirmesi + +Bir makine öğrenimi modelini eğitmeden önce, AI sisteminin amacını, beklenen kullanımını, nerede konuşlandırılacağını ve sistemle kimlerin etkileşime gireceğini anlamak için bir etki değerlendirmesi yapmak önemlidir. Bu, sistemi değerlendiren gözden geçirenler veya test ediciler için potansiyel riskleri ve beklenen sonuçları belirlerken dikkate alınması gereken faktörleri bilmeleri açısından yararlıdır. + +Etki değerlendirmesi yaparken odaklanılması gereken alanlar şunlardır: + +* **Bireyler üzerinde olumsuz etki**. Sistem performansını engelleyen herhangi bir kısıtlama veya gereksinim, desteklenmeyen kullanım veya bilinen sınırlamaların farkında olmak, sistemin bireylere zarar verebilecek şekilde kullanılmamasını sağlamak için hayati öneme sahiptir. +* **Veri gereksinimleri**. Sistemin verileri nasıl ve nerede kullanacağını anlamak, gözden geçirenlerin dikkate alması gereken veri gereksinimlerini (örneğin, GDPR veya HIPPA veri düzenlemeleri) araştırmalarını sağlar. Ayrıca, verinin kaynağı veya miktarının eğitime yeterli olup olmadığını inceleyin. +* **Etki özeti**. Sistemin kullanımından kaynaklanabilecek potansiyel zararların bir listesini toplayın. ML yaşam döngüsü boyunca, belirlenen sorunların hafifletilip hafifletilmediğini veya ele alınıp alınmadığını gözden geçirin. +* Altı temel ilkenin her biri için **uygulanabilir hedefler**. Her ilkenin hedeflerinin karşılanıp karşılanmadığını ve herhangi bir boşluk olup olmadığını değerlendirin. + +## Sorumlu AI ile Hata Ayıklama + +Bir yazılım uygulamasında hata ayıklama gibi, bir AI sisteminde hata ayıklamak da sistemdeki sorunları belirleme ve çözme sürecidir. Bir modelin beklenildiği gibi veya sorumlu bir şekilde performans göstermemesine etki eden birçok faktör vardır. Çoğu geleneksel model performans metriği, bir modelin performansının nicel toplamlarıdır ve sorumlu AI ilkelerini nasıl ihlal ettiğini analiz etmek için yeterli değildir. Ayrıca, bir makine öğrenimi modeli, sonuçlarını neyin yönlendirdiğini anlamayı veya hata yaptığında açıklama yapmayı zorlaştıran bir kara kutudur. Bu kursun ilerleyen bölümlerinde, AI sistemlerinde hata ayıklamaya yardımcı olmak için Sorumlu AI panosunu nasıl kullanacağımızı öğreneceğiz. Pano, veri bilimciler ve AI geliştiricilerinin şu işlemleri yapmaları için kapsamlı bir araç sağlar: + +* **Hata analizi**. Sistemin adaletini veya güvenilirliğini etkileyebilecek modelin hata dağılımını belirlemek. +* **Model genel görünümü**. Modelin performansında veri grupları arasında farklılıklar olup olmadığını keşfetmek. +* **Veri analizi**. Veri dağılımını anlamak ve adalet, kapsayıcılık ve güvenilirlik sorunlarına yol açabilecek potansiyel önyargıları belirlemek. +* **Model yorumlanabilirliği**. Modelin tahminlerini neyin etkilediğini veya yönlendirdiğini anlamak. Bu, modelin davranışını açıklamak için önemlidir ve şeffaflık ve hesap verebilirlik için kritiktir. + +## 🚀 Meydan Okuma + +Zararların baştan itibaren ortaya çıkmasını önlemek için şunları yapmalıyız: + +- Sistemler üzerinde çalışan insanların farklı geçmişlere ve perspektiflere sahip olmasını sağlamak +- Toplumumuzun çeşitliliğini yansıtan veri setlerine yatırım yapmak +- Makine öğrenimi yaşam döngüsü boyunca sorumlu AI'yı tespit etmek ve düzeltmek için daha iyi yöntemler geliştirmek + +Model oluşturma ve kullanımında bir modelin güvenilmezliğinin belirgin olduğu gerçek hayat senaryolarını düşünün. Başka neleri göz önünde bulundurmalıyız? + +## [Ders Sonrası Quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/6/) +## İnceleme ve Kendi Kendine Çalışma + +Bu derste, makine öğreniminde adalet ve adaletsizlik kavramlarının bazı temel bilgilerini öğrendiniz. + +Konulara daha derinlemesine dalmak için bu atölyeyi izleyin: + +- Sorumlu AI Peşinde: Besmira Nushi, Mehrnoosh Sameki ve Amit Sharma tarafından ilkeleri pratiğe dökmek + +[](https://www.youtube.com/watch?v=tGgJCrA-MZU "Sorumlu AI Araç Kutusu: Sorumlu AI oluşturmak için açık kaynaklı bir çerçeve") + +> 🎥 Yukarıdaki resme tıklayarak video izleyin: Sorumlu AI Araç Kutusu: Sorumlu + +**Feragatname**: +Bu belge, makine tabanlı AI çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belgenin kendi dilindeki hali yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi tavsiye edilir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/1-Introduction/3-fairness/assignment.md b/translations/tr/1-Introduction/3-fairness/assignment.md new file mode 100644 index 000000000..9ca682b4f --- /dev/null +++ b/translations/tr/1-Introduction/3-fairness/assignment.md @@ -0,0 +1,14 @@ +# Sorumlu AI Araç Kutusunu Keşfet + +## Talimatlar + +Bu derste, veri bilimcilerin AI sistemlerini analiz etmelerine ve iyileştirmelerine yardımcı olmak için "açık kaynaklı, topluluk odaklı bir proje" olan Sorumlu AI Araç Kutusu hakkında bilgi edindiniz. Bu ödev için, RAI Toolbox'un [notebook'larından](https://github.com/microsoft/responsible-ai-toolbox/blob/main/notebooks/responsibleaidashboard/getting-started.ipynb) birini keşfedin ve bulgularınızı bir makale veya sunum olarak raporlayın. + +## Değerlendirme Kriterleri + +| Kriterler | Mükemmel | Yeterli | Geliştirme Gerekli | +| --------- | -------- | ------- | ------------------ | +| | Fairlearn sistemlerini, çalıştırılan notebook'u ve çalıştırmanın sonuçlarını tartışan bir makale veya powerpoint sunumu sunulur | Sonuç içermeyen bir makale sunulur | Hiçbir makale sunulmaz | + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba sarf etsek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belge, kendi dilinde yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/1-Introduction/4-techniques-of-ML/README.md b/translations/tr/1-Introduction/4-techniques-of-ML/README.md new file mode 100644 index 000000000..26ca83980 --- /dev/null +++ b/translations/tr/1-Introduction/4-techniques-of-ML/README.md @@ -0,0 +1,121 @@ +# Makine Öğrenimi Teknikleri + +Makine öğrenimi modellerini oluşturma, kullanma ve sürdürme süreci ve kullandıkları veriler, birçok diğer geliştirme iş akışından çok farklı bir süreçtir. Bu derste, bu süreci açıklığa kavuşturacak ve bilmeniz gereken ana teknikleri özetleyeceğiz. Şunları yapacaksınız: + +- Makine öğrenimini yüksek seviyede destekleyen süreçleri anlayın. +- 'Modeller', 'tahminler' ve 'eğitim verileri' gibi temel kavramları keşfedin. + +## [Ders öncesi sınav](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/7/) + +[](https://youtu.be/4NGM0U2ZSHU "Başlangıç seviyesi için ML - Makine Öğrenimi Teknikleri") + +> 🎥 Bu derste ilerlemek için yukarıdaki görüntüye tıklayarak kısa bir video izleyin. + +## Giriş + +Yüksek seviyede, makine öğrenimi (ML) süreçlerini oluşturma sanatı birkaç adımdan oluşur: + +1. **Soruyu belirleyin**. Çoğu ML süreci, basit bir koşullu program veya kurallara dayalı bir motorla cevaplanamayan bir soru sormakla başlar. Bu sorular genellikle bir veri koleksiyonuna dayalı tahminler etrafında döner. +2. **Veri toplayın ve hazırlayın**. Sorunuzu cevaplayabilmek için veriye ihtiyacınız var. Verinizin kalitesi ve bazen de miktarı, başlangıç sorunuza ne kadar iyi cevap verebileceğinizi belirleyecektir. Veriyi görselleştirmek bu aşamanın önemli bir parçasıdır. Bu aşama ayrıca veriyi bir model oluşturmak için eğitim ve test gruplarına ayırmayı da içerir. +3. **Eğitim yöntemini seçin**. Sorunuza ve verinizin doğasına bağlı olarak, verinizi en iyi yansıtacak ve doğru tahminler yapacak bir model eğitme yöntemini seçmeniz gerekecektir. Bu, ML sürecinizin belirli uzmanlık gerektiren ve genellikle önemli miktarda deneme gerektiren kısmıdır. +4. **Modeli eğitin**. Eğitim verilerinizi kullanarak, çeşitli algoritmalar kullanarak bir model eğitirsiniz ve verideki desenleri tanımayı öğrenirsiniz. Model, verinin bazı bölümlerini diğerlerine göre önceliklendirmek için ayarlanabilen içsel ağırlıkları kullanabilir ve böylece daha iyi bir model oluşturabilir. +5. **Modeli değerlendirin**. Topladığınız veri setinden daha önce hiç görülmemiş verileri (test verilerinizi) kullanarak modelin nasıl performans gösterdiğini görürsünüz. +6. **Parametre ayarı**. Modelinizin performansına bağlı olarak, modeli eğitmek için kullanılan algoritmaların davranışını kontrol eden farklı parametreler veya değişkenler kullanarak süreci yeniden yapabilirsiniz. +7. **Tahmin yapın**. Modelinizin doğruluğunu test etmek için yeni girdiler kullanın. + +## Hangi soruyu sormalı + +Bilgisayarlar, verilerde gizli kalmış desenleri keşfetmede özellikle yeteneklidir. Bu yetenek, belirli bir alanda kurallara dayalı bir motor oluşturarak kolayca cevaplanamayan soruları olan araştırmacılar için çok faydalıdır. Örneğin, bir aktüeryal görev verildiğinde, bir veri bilimcisi sigara içenler ile içmeyenler arasındaki ölüm oranları etrafında el yapımı kurallar oluşturabilir. + +Ancak, birçok diğer değişken denklem içine girdiğinde, geçmiş sağlık geçmişine dayalı olarak gelecekteki ölüm oranlarını tahmin etmek için bir ML modeli daha verimli olabilir. Daha neşeli bir örnek, bir yerin Nisan ayındaki hava durumunu enlem, boylam, iklim değişikliği, okyanusa yakınlık, jet akımının desenleri ve daha fazlasını içeren verilere dayanarak tahmin etmektir. + +✅ Bu [slayt sunumu](https://www2.cisl.ucar.edu/sites/default/files/2021-10/0900%20June%2024%20Haupt_0.pdf) hava durumu modelleri üzerinde ML kullanımı için tarihsel bir perspektif sunar. + +## Model oluşturma öncesi görevler + +Modelinizi oluşturmaya başlamadan önce tamamlamanız gereken birkaç görev vardır. Sorunuzu test etmek ve bir modelin tahminlerine dayalı bir hipotez oluşturmak için birkaç öğeyi tanımlamanız ve yapılandırmanız gerekir. + +### Veri + +Sorunuzu herhangi bir kesinlikle cevaplayabilmek için doğru türde yeterli miktarda veriye ihtiyacınız var. Bu noktada yapmanız gereken iki şey vardır: + +- **Veri toplayın**. Veri analizi dersindeki adaleti göz önünde bulundurarak verilerinizi dikkatle toplayın. Bu verilerin kaynaklarının farkında olun, sahip olabileceği herhangi bir önyargıyı bilin ve kökenini belgeleyin. +- **Veriyi hazırlayın**. Veri hazırlama sürecinde birkaç adım vardır. Veriler farklı kaynaklardan geliyorsa, verileri bir araya getirip normalleştirmeniz gerekebilir. Verinin kalitesini ve miktarını çeşitli yöntemlerle artırabilirsiniz, örneğin dizeleri sayılara dönüştürmek ( [Kümeleme](../../5-Clustering/1-Visualize/README.md) dersinde yaptığımız gibi). Ayrıca, orijinal veriye dayanarak yeni veriler oluşturabilirsiniz ( [Sınıflandırma](../../4-Classification/1-Introduction/README.md) dersinde yaptığımız gibi). Veriyi temizleyip düzenleyebilirsiniz ( [Web Uygulaması](../../3-Web-App/README.md) dersinden önce yapacağımız gibi). Son olarak, eğitim tekniklerinize bağlı olarak veriyi rastgeleleştirip karıştırmanız gerekebilir. + +✅ Verilerinizi topladıktan ve işledikten sonra, verinin şeklinin amacınıza uygun olup olmadığını görmek için bir an durun. Verilerin, belirli bir görevinizde iyi performans göstermeyebileceği ortaya çıkabilir, [Kümeleme](../../5-Clustering/1-Visualize/README.md) derslerimizde keşfettiğimiz gibi! + +### Özellikler ve Hedef + +Bir [özellik](https://www.datasciencecentral.com/profiles/blogs/an-introduction-to-variable-and-feature-selection), verinizin ölçülebilir bir özelliğidir. Birçok veri setinde 'tarih', 'boyut' veya 'renk' gibi sütun başlıkları olarak ifade edilir. Özellik değişkeniniz, genellikle `X` olarak temsil edilir ve modeli eğitmek için kullanılacak giriş değişkenidir. + +Bir hedef, tahmin etmeye çalıştığınız şeydir. Hedef genellikle `y` olarak temsil edilir ve verinizden sormaya çalıştığınız sorunun cevabını temsil eder: Aralık ayında hangi **renk** kabaklar en ucuz olacak? San Francisco'da hangi mahallelerde en iyi gayrimenkul **fiyatı** olacak? Bazen hedef, etiket özniteliği olarak da adlandırılır. + +### Özellik değişkeninizi seçme + +🎓 **Özellik Seçimi ve Özellik Çıkarımı** Model oluştururken hangi değişkeni seçeceğinizi nasıl bileceksiniz? Muhtemelen en performanslı model için doğru değişkenleri seçmek için bir özellik seçimi veya özellik çıkarımı sürecinden geçeceksiniz. Ancak bunlar aynı şey değildir: "Özellik çıkarımı, orijinal özelliklerin fonksiyonlarından yeni özellikler oluştururken, özellik seçimi özelliklerin bir alt kümesini döndürür." ([kaynak](https://wikipedia.org/wiki/Feature_selection)) + +### Verinizi görselleştirin + +Veri bilimcisinin araç setinin önemli bir yönü, Seaborn veya MatPlotLib gibi çeşitli mükemmel kütüphaneleri kullanarak veriyi görselleştirme gücüdür. Verinizi görsel olarak temsil etmek, yararlanabileceğiniz gizli korelasyonları ortaya çıkarmanıza olanak tanıyabilir. Görselleştirmeleriniz ayrıca önyargı veya dengesiz veri keşfetmenize yardımcı olabilir ([Sınıflandırma](../../4-Classification/2-Classifiers-1/README.md) dersinde keşfettiğimiz gibi). + +### Veri setinizi bölün + +Eğitimden önce, veri setinizi eşit olmayan boyutlarda iki veya daha fazla parçaya bölmeniz gerekir. + +- **Eğitim**. Veri setinin bu kısmı modeli eğitmek için kullanılır. Bu set, orijinal veri setinin çoğunluğunu oluşturur. +- **Test**. Bir test veri seti, genellikle orijinal verilerden toplanan bağımsız bir veri grubudur ve oluşturulan modelin performansını doğrulamak için kullanılır. +- **Doğrulama**. Bir doğrulama seti, modelin hiperparametrelerini veya mimarisini ayarlamak için kullanılan daha küçük bağımsız bir örnek grubudur. Verinizin boyutuna ve sorduğunuz soruya bağlı olarak, bu üçüncü seti oluşturmanız gerekmeyebilir ([Zaman Serisi Tahmini](../../7-TimeSeries/1-Introduction/README.md) dersinde belirttiğimiz gibi). + +## Model oluşturma + +Eğitim verilerinizi kullanarak, çeşitli algoritmalar kullanarak verinizin istatistiksel bir temsilini oluşturarak bir model oluşturmayı hedeflersiniz. Bir modeli eğitmek, onu veriye maruz bırakır ve keşfettiği, doğruladığı ve kabul ettiği veya reddettiği desenler hakkında varsayımlar yapmasına olanak tanır. + +### Eğitim yöntemini seçin + +Sorunuza ve verinizin doğasına bağlı olarak, onu eğitmek için bir yöntem seçeceksiniz. [Scikit-learn'ün belgelerini](https://scikit-learn.org/stable/user_guide.html) inceleyerek - bu derste kullandığımız - bir modeli eğitmenin birçok yolunu keşfedebilirsiniz. Deneyiminize bağlı olarak, en iyi modeli oluşturmak için birkaç farklı yöntemi denemeniz gerekebilir. Veri bilimcilerinin, modele görülmemiş veriler vererek performansını değerlendirdiği, doğruluk, önyargı ve diğer kaliteyi düşüren sorunları kontrol ettiği ve eldeki görev için en uygun eğitim yöntemini seçtiği bir süreçten geçmeniz muhtemeldir. + +### Bir modeli eğitin + +Eğitim verilerinizle donanmış olarak, onu bir model oluşturmak için 'fit' etmeye hazırsınız. Birçok ML kütüphanesinde 'model.fit' kodunu bulacağınızı fark edeceksiniz - bu sırada özellik değişkeninizi bir değerler dizisi (genellikle 'X') ve bir hedef değişkeni (genellikle 'y') olarak gönderirsiniz. + +### Modeli değerlendirin + +Eğitim süreci tamamlandığında (büyük bir modeli eğitmek için birçok yineleme veya 'epoch' gerekebilir), test verilerini kullanarak modelin kalitesini değerlendirebileceksiniz. Bu veri, modelin daha önce analiz etmediği orijinal verilerin bir alt kümesidir. Modelinizin kalitesi hakkında bir metrik tablosu yazdırabilirsiniz. + +🎓 **Model uyumu** + +Makine öğrenimi bağlamında, model uyumu, modelin altta yatan fonksiyonunun, tanımadığı verileri analiz etme girişimindeki doğruluğunu ifade eder. + +🎓 **Aşırı uyum** ve **eksik uyum**, modelin kalitesini düşüren yaygın sorunlardır, çünkü model ya yeterince iyi uymaz ya da çok iyi uyum sağlar. Bu, modelin tahminlerini ya eğitim verilerine çok yakın ya da çok gevşek bir şekilde hizalamasına neden olur. Aşırı uyumlu bir model, verilerin ayrıntılarını ve gürültüsünü çok iyi öğrendiği için eğitim verilerini çok iyi tahmin eder. Eksik uyumlu bir model ise, ne eğitim verilerini ne de henüz 'görmediği' verileri doğru bir şekilde analiz edebilir. + + +> [Jen Looper](https://twitter.com/jenlooper) tarafından hazırlanan infografik + +## Parametre ayarı + +İlk eğitiminiz tamamlandığında, modelin kalitesini gözlemleyin ve 'hiperparametrelerini' ayarlayarak iyileştirmeyi düşünün. Süreç hakkında daha fazla bilgi için [belgelere](https://docs.microsoft.com/en-us/azure/machine-learning/how-to-tune-hyperparameters?WT.mc_id=academic-77952-leestott) göz atın. + +## Tahmin + +Bu, modelinizin doğruluğunu test etmek için tamamen yeni veriler kullanabileceğiniz andır. Bir üretim ortamında modeli kullanmak için web varlıkları oluşturduğunuz 'uygulamalı' bir ML ortamında, bu süreç, bir değişkeni ayarlamak ve değerlendirme veya çıkarım için modeli göndermek için kullanıcı girdisi (örneğin bir düğme basması) toplama işlemini içerebilir. + +Bu derslerde, bir veri bilimcisinin tüm hareketlerini ve daha fazlasını yaparak, 'tam yığın' bir ML mühendisi olma yolculuğunuzda ilerledikçe bu adımları nasıl hazırlayacağınızı, oluşturacağınızı, test edeceğinizi, değerlendireceğinizi ve tahmin edeceğinizi keşfedeceksiniz. + +--- + +## 🚀Meydan Okuma + +Bir ML uygulayıcısının adımlarını yansıtan bir akış şeması çizin. Şu anda sürecin neresinde olduğunuzu düşünüyorsunuz? Nerede zorluk çekeceğinizi tahmin ediyorsunuz? Size ne kolay görünüyor? + +## [Ders sonrası sınav](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/8/) + +## Gözden Geçirme ve Kendi Kendine Çalışma + +Günlük çalışmalarını tartışan veri bilimcilerle yapılan röportajları çevrimiçi arayın. İşte [bir tane](https://www.youtube.com/watch?v=Z3IjgbbCEfs). + +## Ödev + +[Bir veri bilimcisiyle röportaj yapın](assignment.md) + +**Feragatname**: +Bu belge, makine tabanlı AI çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba sarf etsek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belgenin kendi dilindeki hali, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/1-Introduction/4-techniques-of-ML/assignment.md b/translations/tr/1-Introduction/4-techniques-of-ML/assignment.md new file mode 100644 index 000000000..14c1a397d --- /dev/null +++ b/translations/tr/1-Introduction/4-techniques-of-ML/assignment.md @@ -0,0 +1,14 @@ +# Bir veri bilimciyle röportaj + +## Talimatlar + +Şirketinizde, bir kullanıcı grubunda veya arkadaşlarınız ya da sınıf arkadaşlarınız arasında, profesyonel olarak veri bilimci olarak çalışan biriyle konuşun. Günlük işlerini anlatan kısa bir makale (500 kelime) yazın. Uzmanlar mı yoksa 'full stack' mi çalışıyorlar? + +## Değerlendirme Ölçütü + +| Kriterler | Mükemmel | Yeterli | Geliştirmeye İhtiyacı Var | +| --------- | ----------------------------------------------------------------------------------- | ----------------------------------------------------------------- | ----------------------------- | +| | Doğru uzunlukta, kaynakları belirtilmiş bir makale .doc dosyası olarak sunulmuştur | Makale yetersiz kaynak belirtilmiş veya istenilen uzunluktan kısadır | Makale sunulmamıştır | + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba sarf etsek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal diliyle yazılmış hali yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/1-Introduction/README.md b/translations/tr/1-Introduction/README.md new file mode 100644 index 000000000..e0f64bd4f --- /dev/null +++ b/translations/tr/1-Introduction/README.md @@ -0,0 +1,25 @@ +# Makine Öğrenimine Giriş + +Bu müfredat bölümünde, makine öğrenimi alanının temel kavramlarına, ne olduğuna, tarihine ve araştırmacıların bu alanda çalışmak için kullandıkları tekniklere giriş yapacaksınız. Haydi, bu yeni ML dünyasını birlikte keşfedelim! + + +> Fotoğraf: Bill Oxford tarafından Unsplash üzerinde + +### Dersler + +1. [Makine öğrenimine giriş](1-intro-to-ML/README.md) +1. [Makine öğrenimi ve yapay zekanın tarihi](2-history-of-ML/README.md) +1. [Adalet ve makine öğrenimi](3-fairness/README.md) +1. [Makine öğrenimi teknikleri](4-techniques-of-ML/README.md) +### Katkıda Bulunanlar + +"Makine Öğrenimine Giriş", [Muhammad Sakib Khan Inan](https://twitter.com/Sakibinan), [Ornella Altunyan](https://twitter.com/ornelladotcom) ve [Jen Looper](https://twitter.com/jenlooper) dahil olmak üzere bir ekip tarafından ♥️ ile yazılmıştır. + +"Makine Öğreniminin Tarihi", [Jen Looper](https://twitter.com/jenlooper) ve [Amy Boyd](https://twitter.com/AmyKateNicho) tarafından ♥️ ile yazılmıştır. + +"Adalet ve Makine Öğrenimi", [Tomomi Imura](https://twitter.com/girliemac) tarafından ♥️ ile yazılmıştır. + +"Makine Öğrenimi Teknikleri", [Jen Looper](https://twitter.com/jenlooper) ve [Chris Noring](https://twitter.com/softchris) tarafından ♥️ ile yazılmıştır. + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluğu sağlamak için çaba sarf etsek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal dili, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi tavsiye edilir. Bu çevirinin kullanımından kaynaklanan yanlış anlamalar veya yanlış yorumlamalardan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/2-Regression/1-Tools/README.md b/translations/tr/2-Regression/1-Tools/README.md new file mode 100644 index 000000000..417096d56 --- /dev/null +++ b/translations/tr/2-Regression/1-Tools/README.md @@ -0,0 +1,228 @@ +# Python ve Scikit-learn ile Regresyon Modellerine Başlayın + + + +> Sketchnote [Tomomi Imura](https://www.twitter.com/girlie_mac) tarafından + +## [Ders Öncesi Quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/9/) + +> ### [Bu ders R dilinde de mevcut!](../../../../2-Regression/1-Tools/solution/R/lesson_1.html) + +## Giriş + +Bu dört derste, regresyon modellerinin nasıl oluşturulacağını keşfedeceksiniz. Bunların ne işe yaradığını kısa süre içinde tartışacağız. Ancak herhangi bir şey yapmadan önce, süreci başlatmak için doğru araçlara sahip olduğunuzdan emin olun! + +Bu derste şunları öğreneceksiniz: + +- Bilgisayarınızı yerel makine öğrenimi görevleri için yapılandırma. +- Jupyter defterleri ile çalışma. +- Scikit-learn kullanımı, kurulum dahil. +- Uygulamalı bir egzersiz ile doğrusal regresyonu keşfetme. + +## Kurulumlar ve yapılandırmalar + +[](https://youtu.be/-DfeD2k2Kj0 "Yeni başlayanlar için ML - Makine Öğrenimi modelleri oluşturmak için araçlarınızı ayarlayın") + +> 🎥 Bilgisayarınızı ML için yapılandırma konusunda kısa bir video için yukarıdaki resme tıklayın. + +1. **Python'u yükleyin**. Bilgisayarınızda [Python](https://www.python.org/downloads/) yüklü olduğundan emin olun. Python'u birçok veri bilimi ve makine öğrenimi görevi için kullanacaksınız. Çoğu bilgisayar sistemi zaten bir Python kurulumu içerir. Ayrıca bazı kullanıcılar için kurulumu kolaylaştırmak adına kullanışlı [Python Kod Paketleri](https://code.visualstudio.com/learn/educators/installers?WT.mc_id=academic-77952-leestott) de mevcuttur. + + Ancak, Python'un bazı kullanımları yazılımın bir sürümünü gerektirirken, diğerleri farklı bir sürüm gerektirir. Bu nedenle, bir [sanal ortam](https://docs.python.org/3/library/venv.html) içinde çalışmak faydalıdır. + +2. **Visual Studio Code'u yükleyin**. Bilgisayarınızda Visual Studio Code'un yüklü olduğundan emin olun. Temel kurulum için [Visual Studio Code'u yükleme](https://code.visualstudio.com/) talimatlarını izleyin. Bu kursta Python'u Visual Studio Code'da kullanacağınız için, Python geliştirme için [Visual Studio Code'u yapılandırma](https://docs.microsoft.com/learn/modules/python-install-vscode?WT.mc_id=academic-77952-leestott) konusunda bilgi edinmek isteyebilirsiniz. + + > Python ile rahat çalışmak için bu [Öğrenme modülleri](https://docs.microsoft.com/users/jenlooper-2911/collections/mp1pagggd5qrq7?WT.mc_id=academic-77952-leestott) koleksiyonunu inceleyin + > + > [](https://youtu.be/yyQM70vi7V8 "Visual Studio Code ile Python Kurulumu") + > + > 🎥 Yukarıdaki resme tıklayarak VS Code içinde Python kullanımı hakkında bir video izleyin. + +3. **Scikit-learn'ü yükleyin**, [bu talimatları](https://scikit-learn.org/stable/install.html) izleyerek. Python 3 kullanmanız gerektiğinden, bir sanal ortam kullanmanız önerilir. Not: Bu kütüphaneyi bir M1 Mac'e yüklüyorsanız, yukarıdaki sayfada özel talimatlar bulunmaktadır. + +4. **Jupyter Notebook'u yükleyin**. [Jupyter paketini yüklemeniz](https://pypi.org/project/jupyter/) gerekecek. + +## Makine Öğrenimi Yazma Ortamınız + +Python kodunuzu geliştirmek ve makine öğrenimi modelleri oluşturmak için **defterler** kullanacaksınız. Bu dosya türü veri bilimciler için yaygın bir araçtır ve uzantıları `.ipynb` ile tanımlanabilir. + +Defterler, geliştiricinin hem kod yazmasına hem de kodun etrafında notlar ve dokümantasyon yazmasına olanak tanıyan etkileşimli bir ortamdır, bu da deneysel veya araştırma odaklı projeler için oldukça faydalıdır. + +[](https://youtu.be/7E-jC8FLA2E "Yeni başlayanlar için ML - Regresyon modelleri oluşturmaya başlamak için Jupyter Defterlerini ayarlayın") + +> 🎥 Bu egzersizi çalışırken kısa bir video için yukarıdaki resme tıklayın. + +### Egzersiz - bir defterle çalışma + +Bu klasörde, _notebook.ipynb_ dosyasını bulacaksınız. + +1. _notebook.ipynb_ dosyasını Visual Studio Code'da açın. + + Python 3+ ile bir Jupyter sunucusu başlatılacak. Defterin bazı alanlarında `run`, kod parçaları bulacaksınız. Bir kod bloğunu çalıştırmak için, oynat düğmesi gibi görünen simgeyi seçebilirsiniz. + +2. `md` simgesini seçin ve biraz markdown ve şu metni ekleyin **# Defterinize hoş geldiniz**. + + Sonra biraz Python kodu ekleyin. + +3. Kod bloğuna **print('hello notebook')** yazın. +4. Kodu çalıştırmak için oku seçin. + + Yazdırılan ifadeyi görmelisiniz: + + ```output + hello notebook + ``` + + + +Kodunuzu yorumlarla birlikte ekleyerek defteri kendiliğinden belgelendirebilirsiniz. + +✅ Bir web geliştiricisinin çalışma ortamının veri bilimcinin çalışma ortamından ne kadar farklı olduğunu bir düşünün. + +## Scikit-learn ile Başlamak + +Artık Python yerel ortamınızda ayarlandı ve Jupyter defterleriyle rahatça çalışıyorsunuz, hadi Scikit-learn ile de aynı rahatlığı sağlayalım (bunu `sci` as in `science` olarak telaffuz edin). Scikit-learn, ML görevlerini gerçekleştirmenize yardımcı olacak [geniş bir API](https://scikit-learn.org/stable/modules/classes.html#api-ref) sunar. + +Web sitelerine göre ([website](https://scikit-learn.org/stable/getting_started.html)), "Scikit-learn, denetimli ve denetimsiz öğrenmeyi destekleyen açık kaynaklı bir makine öğrenimi kütüphanesidir. Ayrıca model uyarlama, veri ön işleme, model seçimi ve değerlendirme ve birçok diğer yardımcı araçlar sağlar." + +Bu derste, Scikit-learn ve diğer araçları kullanarak 'geleneksel makine öğrenimi' görevlerini gerçekleştirmek için makine öğrenimi modelleri oluşturacaksınız. Sinir ağları ve derin öğrenmeden özellikle kaçındık, çünkü bunlar yakında çıkacak olan 'Yeni Başlayanlar için AI' müfredatımızda daha iyi ele alınmaktadır. + +Scikit-learn, modelleri oluşturmayı ve kullanmak üzere değerlendirmeyi kolaylaştırır. Öncelikle sayısal verilerle çalışmaya odaklanır ve öğrenme araçları olarak kullanılabilecek birkaç hazır veri seti içerir. Ayrıca öğrencilerin denemesi için önceden oluşturulmuş modeller de içerir. Hazır paketlenmiş verileri yükleme sürecini ve bazı temel verilerle ilk ML modelimizi Scikit-learn ile kullanma sürecini keşfedelim. + +## Egzersiz - ilk Scikit-learn defteriniz + +> Bu eğitim, Scikit-learn'ün web sitesindeki [doğrusal regresyon örneğinden](https://scikit-learn.org/stable/auto_examples/linear_model/plot_ols.html#sphx-glr-auto-examples-linear-model-plot-ols-py) esinlenmiştir. + +[](https://youtu.be/2xkXL5EUpS0 "Yeni başlayanlar için ML - Python'da İlk Doğrusal Regresyon Projeniz") + +> 🎥 Bu egzersizi çalışırken kısa bir video için yukarıdaki resme tıklayın. + +Bu derse bağlı _notebook.ipynb_ dosyasında, tüm hücreleri 'çöp kutusu' simgesine basarak temizleyin. + +Bu bölümde, öğrenme amacıyla Scikit-learn'e dahil edilen diyabet hakkında küçük bir veri seti ile çalışacaksınız. Diyabet hastaları için bir tedaviyi test etmek istediğinizi hayal edin. Makine Öğrenimi modelleri, değişkenlerin kombinasyonlarına dayalı olarak hangi hastaların tedaviye daha iyi yanıt vereceğini belirlemenize yardımcı olabilir. Çok basit bir regresyon modeli bile, görselleştirildiğinde, teorik klinik denemelerinizi düzenlemenize yardımcı olacak değişkenler hakkında bilgi gösterebilir. + +✅ Birçok türde regresyon yöntemi vardır ve hangisini seçeceğiniz, aradığınız cevaba bağlıdır. Belirli bir yaşta bir kişinin muhtemel boyunu tahmin etmek istiyorsanız, doğrusal regresyon kullanırsınız, çünkü **sayısal bir değer** arıyorsunuzdur. Bir tür mutfağın vegan olup olmadığını keşfetmekle ilgileniyorsanız, **kategori ataması** arıyorsunuzdur, bu yüzden lojistik regresyon kullanırsınız. Lojistik regresyon hakkında daha fazla bilgi edineceksiniz. Verilere sorabileceğiniz bazı soruları ve bu yöntemlerden hangisinin daha uygun olacağını düşünün. + +Hadi bu göreve başlayalım. + +### Kütüphaneleri İçe Aktarma + +Bu görev için bazı kütüphaneleri içe aktaracağız: + +- **matplotlib**. [grafik aracı](https://matplotlib.org/) ve bir çizgi grafiği oluşturmak için kullanacağız. +- **numpy**. [numpy](https://numpy.org/doc/stable/user/whatisnumpy.html) Python'da sayısal verileri işlemek için kullanışlı bir kütüphanedir. +- **sklearn**. Bu, [Scikit-learn](https://scikit-learn.org/stable/user_guide.html) kütüphanesidir. + +Görevlerinizde yardımcı olması için bazı kütüphaneleri içe aktarın. + +1. Aşağıdaki kodu yazarak içe aktarmaları ekleyin: + + ```python + import matplotlib.pyplot as plt + import numpy as np + from sklearn import datasets, linear_model, model_selection + ``` + + Yukarıda `matplotlib`, `numpy` and you are importing `datasets`, `linear_model` and `model_selection` from `sklearn`. `model_selection` is used for splitting data into training and test sets. + +### The diabetes dataset + +The built-in [diabetes dataset](https://scikit-learn.org/stable/datasets/toy_dataset.html#diabetes-dataset) includes 442 samples of data around diabetes, with 10 feature variables, some of which include: + +- age: age in years +- bmi: body mass index +- bp: average blood pressure +- s1 tc: T-Cells (a type of white blood cells) + +✅ This dataset includes the concept of 'sex' as a feature variable important to research around diabetes. Many medical datasets include this type of binary classification. Think a bit about how categorizations such as this might exclude certain parts of a population from treatments. + +Now, load up the X and y data. + +> 🎓 Remember, this is supervised learning, and we need a named 'y' target. + +In a new code cell, load the diabetes dataset by calling `load_diabetes()`. The input `return_X_y=True` signals that `X` will be a data matrix, and `y` olacak şekilde içe aktarıyorsunuz. + +1. Veri matrisinin şeklini ve ilk öğesini göstermek için bazı yazdırma komutları ekleyin: + + ```python + X, y = datasets.load_diabetes(return_X_y=True) + print(X.shape) + print(X[0]) + ``` + + Geri aldığınız yanıt bir demettir. Demetin ilk iki değerini `X` and `y` olarak atıyorsunuz. Daha fazla bilgi için [demetler](https://wikipedia.org/wiki/Tuple) hakkında bilgi edinin. + + Bu verinin 10 elemanlı diziler halinde şekillendirilmiş 442 öğeye sahip olduğunu görebilirsiniz: + + ```text + (442, 10) + [ 0.03807591 0.05068012 0.06169621 0.02187235 -0.0442235 -0.03482076 + -0.04340085 -0.00259226 0.01990842 -0.01764613] + ``` + + ✅ Veri ve regresyon hedefi arasındaki ilişkiyi biraz düşünün. Doğrusal regresyon, X özelliği ile y hedef değişkeni arasındaki ilişkileri tahmin eder. Diyabet veri seti için [hedefi](https://scikit-learn.org/stable/datasets/toy_dataset.html#diabetes-dataset) dokümantasyonda bulabilir misiniz? Bu veri seti, hedefi göz önünde bulundurarak neyi gösteriyor? + +2. Sonraki adım olarak, veri setinin 3. sütununu seçerek bir bölümünü çizmek için seçin. Bunu `:` operator to select all rows, and then selecting the 3rd column using the index (2). You can also reshape the data to be a 2D array - as required for plotting - by using `reshape(n_rows, n_columns)` kullanarak yapabilirsiniz. Parametrelerden biri -1 ise, ilgili boyut otomatik olarak hesaplanır. + + ```python + X = X[:, 2] + X = X.reshape((-1,1)) + ``` + + ✅ Her zaman, verilerin şeklini kontrol etmek için yazdırabilirsiniz. + +3. Artık çizilmeye hazır verileriniz olduğuna göre, bir makinenin bu veri setindeki sayılar arasında mantıklı bir ayrım yapıp yapamayacağını görebilirsiniz. Bunu yapmak için, hem verileri (X) hem de hedefi (y) test ve eğitim setlerine ayırmanız gerekir. Scikit-learn bunu yapmanın basit bir yolunu sunar; test verilerinizi belirli bir noktada bölebilirsiniz. + + ```python + X_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=0.33) + ``` + +4. Artık modelinizi eğitmeye hazırsınız! Doğrusal regresyon modelini yükleyin ve `model.fit()` kullanarak X ve y eğitim setlerinizle eğitin: + + ```python + model = linear_model.LinearRegression() + model.fit(X_train, y_train) + ``` + + ✅ `model.fit()` is a function you'll see in many ML libraries such as TensorFlow + +5. Then, create a prediction using test data, using the function `predict()`. Bu, veri grupları arasındaki çizgiyi çizmek için kullanılacaktır + + ```python + y_pred = model.predict(X_test) + ``` + +6. Şimdi verileri bir grafikte göstermenin zamanı geldi. Matplotlib bu görev için çok kullanışlı bir araçtır. Tüm X ve y test verilerinin bir dağılım grafiğini oluşturun ve tahmini kullanarak modelin veri grupları arasındaki en uygun yere bir çizgi çizin. + + ```python + plt.scatter(X_test, y_test, color='black') + plt.plot(X_test, y_pred, color='blue', linewidth=3) + plt.xlabel('Scaled BMIs') + plt.ylabel('Disease Progression') + plt.title('A Graph Plot Showing Diabetes Progression Against BMI') + plt.show() + ``` + +  + + ✅ Burada ne olduğunu biraz düşünün. Bir düz çizgi, birçok küçük veri noktası arasında geçiyor, ancak tam olarak ne yapıyor? Bu çizgiyi kullanarak yeni, görülmemiş bir veri noktasının grafiğin y ekseni ile ilişkili olarak nereye oturması gerektiğini tahmin edebilmeniz gerektiğini görebiliyor musunuz? Bu modelin pratik kullanımını kelimelerle ifade etmeye çalışın. + +Tebrikler, ilk doğrusal regresyon modelinizi oluşturdunuz, onunla bir tahmin yaptınız ve bunu bir grafikte gösterdiniz! + +--- +## 🚀Meydan Okuma + +Bu veri setinden farklı bir değişkeni çizin. İpucu: bu satırı düzenleyin: `X = X[:,2]`. Bu veri setinin hedefi göz önüne alındığında, diyabetin bir hastalık olarak ilerlemesi hakkında ne keşfedebiliyorsunuz? +## [Ders Sonrası Quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/10/) + +## Gözden Geçirme ve Kendi Kendine Çalışma + +Bu derste, basit doğrusal regresyon ile çalıştınız, tek değişkenli veya çok değişkenli regresyon yerine. Bu yöntemler arasındaki farklar hakkında biraz okuyun veya [bu videoyu](https://www.coursera.org/lecture/quantifying-relationships-regression-models/linear-vs-nonlinear-categorical-variables-ai2Ef) izleyin. + +Regresyon kavramı hakkında daha fazla bilgi edinin ve bu teknikle hangi tür soruların yanıtlanabileceğini düşünün. Bu [eğitimi](https://docs.microsoft.com/learn/modules/train-evaluate-regression-models?WT.mc_id=academic-77952-leestott) alarak bilginizi derinleştirin. + +## Ödev + +[Farklı bir veri seti](assignment.md) + +**Feragatname**: +Bu belge, makine tabanlı AI çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluğu sağlamak için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belgenin kendi dilindeki hali yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/2-Regression/1-Tools/assignment.md b/translations/tr/2-Regression/1-Tools/assignment.md new file mode 100644 index 000000000..93d1a5619 --- /dev/null +++ b/translations/tr/2-Regression/1-Tools/assignment.md @@ -0,0 +1,16 @@ +# Scikit-learn ile Regresyon + +## Talimatlar + +Scikit-learn'deki [Linnerud veri setine](https://scikit-learn.org/stable/modules/generated/sklearn.datasets.load_linnerud.html#sklearn.datasets.load_linnerud) bir göz atın. Bu veri setinde birden fazla [hedef](https://scikit-learn.org/stable/datasets/toy_dataset.html#linnerrud-dataset) bulunmaktadır: 'Bir fitness kulübünde yirmi orta yaşlı erkekten toplanan üç egzersiz (veri) ve üç fizyolojik (hedef) değişkenden oluşur'. + +Kendi cümlelerinizle, bel ölçüsü ile kaç tane mekik çekildiği arasındaki ilişkiyi gösterecek bir Regresyon modelinin nasıl oluşturulacağını açıklayın. Bu veri setindeki diğer veri noktaları için de aynısını yapın. + +## Değerlendirme Kriterleri + +| Kriter | Örnek Teşkil Eden | Yeterli | Geliştirme Gerekiyor | +| ------------------------------ | ----------------------------------- | ----------------------------- | -------------------------- | +| Açıklayıcı bir paragraf gönderin | İyi yazılmış bir paragraf gönderildi | Birkaç cümle gönderildi | Hiçbir açıklama sağlanmadı | + +**Feragatname**: +Bu belge, makine tabanlı AI çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belgenin kendi dilindeki hali, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi tavsiye edilir. Bu çevirinin kullanımından doğabilecek herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/2-Regression/1-Tools/solution/Julia/README.md b/translations/tr/2-Regression/1-Tools/solution/Julia/README.md new file mode 100644 index 000000000..ae6b0deba --- /dev/null +++ b/translations/tr/2-Regression/1-Tools/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba sarf etsek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal diliyle yazılmış hali, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından doğabilecek yanlış anlama veya yanlış yorumlamalardan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/2-Regression/2-Data/README.md b/translations/tr/2-Regression/2-Data/README.md new file mode 100644 index 000000000..793b4c443 --- /dev/null +++ b/translations/tr/2-Regression/2-Data/README.md @@ -0,0 +1,215 @@ +# Scikit-learn kullanarak bir regresyon modeli oluşturun: verileri hazırlayın ve görselleştirin + + + +İnfografik: [Dasani Madipalli](https://twitter.com/dasani_decoded) + +## [Ders öncesi sınavı](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/11/) + +> ### [Bu ders R dilinde de mevcut!](../../../../2-Regression/2-Data/solution/R/lesson_2.html) + +## Giriş + +Scikit-learn ile makine öğrenimi modeli oluşturma araçlarını kurduğunuza göre, verileriniz hakkında sorular sormaya başlayabilirsiniz. Veri ile çalışırken ve ML çözümleri uygularken, verisetinizin potansiyelini doğru bir şekilde açığa çıkarmak için doğru soruyu sormayı anlamak çok önemlidir. + +Bu derste öğrenecekleriniz: + +- Verilerinizi model oluşturma için nasıl hazırlayacağınız. +- Veri görselleştirme için Matplotlib'i nasıl kullanacağınız. + +## Verilerinize doğru soruyu sormak + +Yanıtlanması gereken soru, hangi tür ML algoritmalarını kullanacağınızı belirleyecektir. Ve alacağınız yanıtın kalitesi, verinizin doğasına büyük ölçüde bağlı olacaktır. + +Bu ders için sağlanan [verilere](https://github.com/microsoft/ML-For-Beginners/blob/main/2-Regression/data/US-pumpkins.csv) bir göz atın. Bu .csv dosyasını VS Code'da açabilirsiniz. Hızlı bir göz gezdirdiğinizde hemen boşluklar ve karışık string ve sayısal veriler olduğunu görürsünüz. Ayrıca 'Package' adlı tuhaf bir sütun var, burada veriler 'sacks', 'bins' ve diğer değerler arasında karışmış durumda. Aslında veriler biraz dağınık. + +[](https://youtu.be/5qGjczWTrDQ "Yeni başlayanlar için ML - Bir Veri Setini Nasıl Analiz Edip Temizlersiniz") + +> 🎥 Yukarıdaki resme tıklayarak bu ders için verileri hazırlama sürecini gösteren kısa bir videoya ulaşabilirsiniz. + +Aslında, kutudan çıkar çıkmaz bir ML modeli oluşturmak için tamamen hazır bir veri setine sahip olmak çok yaygın değildir. Bu derste, standart Python kütüphanelerini kullanarak ham bir veri setini nasıl hazırlayacağınızı öğreneceksiniz. Ayrıca verileri görselleştirmek için çeşitli teknikleri öğreneceksiniz. + +## Vaka çalışması: 'balkabağı pazarı' + +Bu klasörde, kök `data` klasöründe [US-pumpkins.csv](https://github.com/microsoft/ML-For-Beginners/blob/main/2-Regression/data/US-pumpkins.csv) adlı bir .csv dosyası bulacaksınız. Bu dosya, şehir bazında gruplandırılmış, balkabağı pazarı hakkında 1757 satır veri içerir. Bu veriler, ABD Tarım Bakanlığı tarafından dağıtılan [Özel Ürünler Terminal Pazarları Standart Raporları](https://www.marketnews.usda.gov/mnp/fv-report-config-step1?type=termPrice) adresinden çıkarılmış ham verilerdir. + +### Verileri hazırlamak + +Bu veriler kamu malıdır. USDA web sitesinden şehir başına ayrı ayrı dosyalar olarak indirilebilir. Çok fazla ayrı dosya olmaması için, tüm şehir verilerini tek bir elektronik tabloya birleştirdik, böylece verileri biraz _hazırlamış_ olduk. Şimdi, verilere daha yakından bakalım. + +### Balkabağı verileri - ilk sonuçlar + +Bu veriler hakkında ne fark ediyorsunuz? Zaten stringler, sayılar, boşluklar ve anlamlandırmanız gereken tuhaf değerlerin karışımı olduğunu gördünüz. + +Bu verilerle bir Regresyon tekniği kullanarak hangi soruyu sorabilirsiniz? "Belirli bir ayda satılık bir balkabağının fiyatını tahmin et" ne dersiniz? Verilere tekrar baktığınızda, bu görev için gerekli veri yapısını oluşturmak için bazı değişiklikler yapmanız gerektiğini görüyorsunuz. + +## Alıştırma - balkabağı verilerini analiz et + +Bu balkabağı verilerini analiz etmek ve hazırlamak için verileri şekillendirmede çok yararlı bir araç olan [Pandas](https://pandas.pydata.org/) (adı `Python Data Analysis` anlamına gelir) kullanacağız. + +### İlk olarak, eksik tarihleri kontrol edin + +İlk olarak eksik tarihleri kontrol etmek için adımlar atmanız gerekecek: + +1. Tarihleri ay formatına dönüştürün (bunlar ABD tarihleri, bu yüzden format `MM/DD/YYYY`). +2. Ayı yeni bir sütuna çıkarın. + +_Notebook.ipynb_ dosyasını Visual Studio Code'da açın ve elektronik tabloyu yeni bir Pandas dataframe'ine aktarın. + +1. İlk beş satırı görüntülemek için `head()` işlevini kullanın. + + ```python + import pandas as pd + pumpkins = pd.read_csv('../data/US-pumpkins.csv') + pumpkins.head() + ``` + + ✅ Son beş satırı görüntülemek için hangi işlevi kullanırdınız? + +1. Mevcut dataframe'de eksik veri olup olmadığını kontrol edin: + + ```python + pumpkins.isnull().sum() + ``` + + Eksik veri var, ancak belki de bu görev için önemli olmayabilir. + +1. Dataframe'inizi daha kolay çalışılabilir hale getirmek için yalnızca ihtiyacınız olan sütunları seçin, `loc` function which extracts from the original dataframe a group of rows (passed as first parameter) and columns (passed as second parameter). The expression `:` aşağıdaki durumda "tüm satırlar" anlamına gelir. + + ```python + columns_to_select = ['Package', 'Low Price', 'High Price', 'Date'] + pumpkins = pumpkins.loc[:, columns_to_select] + ``` + +### İkinci olarak, balkabağının ortalama fiyatını belirleyin + +Belirli bir ayda bir balkabağının ortalama fiyatını belirlemeyi düşünün. Bu görev için hangi sütunları seçerdiniz? İpucu: 3 sütuna ihtiyacınız olacak. + +Çözüm: Yeni Fiyat sütununu doldurmak için `Low Price` and `High Price` sütunlarının ortalamasını alın ve Tarih sütununu yalnızca ayı gösterecek şekilde dönüştürün. Neyse ki, yukarıdaki kontrole göre tarihler veya fiyatlar için eksik veri yok. + +1. Ortalama hesaplamak için aşağıdaki kodu ekleyin: + + ```python + price = (pumpkins['Low Price'] + pumpkins['High Price']) / 2 + + month = pd.DatetimeIndex(pumpkins['Date']).month + + ``` + + ✅ `print(month)` kullanarak kontrol etmek istediğiniz herhangi bir veriyi yazdırabilirsiniz. + +2. Şimdi, dönüştürdüğünüz verileri yeni bir Pandas dataframe'ine kopyalayın: + + ```python + new_pumpkins = pd.DataFrame({'Month': month, 'Package': pumpkins['Package'], 'Low Price': pumpkins['Low Price'],'High Price': pumpkins['High Price'], 'Price': price}) + ``` + + Dataframe'inizi yazdırmak, yeni regresyon modelinizi oluşturabileceğiniz temiz, düzenli bir veri setini gösterecektir. + +### Ama bekleyin! Burada tuhaf bir şey var + +`Package` column, pumpkins are sold in many different configurations. Some are sold in '1 1/9 bushel' measures, and some in '1/2 bushel' measures, some per pumpkin, some per pound, and some in big boxes with varying widths. + +> Pumpkins seem very hard to weigh consistently + +Digging into the original data, it's interesting that anything with `Unit of Sale` equalling 'EACH' or 'PER BIN' also have the `Package` type per inch, per bin, or 'each'. Pumpkins seem to be very hard to weigh consistently, so let's filter them by selecting only pumpkins with the string 'bushel' in their `Package` sütununa bakın. + +1. Dosyanın en üstüne, ilk .csv importunun altına bir filtre ekleyin: + + ```python + pumpkins = pumpkins[pumpkins['Package'].str.contains('bushel', case=True, regex=True)] + ``` + + Şimdi veriyi yazdırırsanız, yalnızca bushel ile satılan balkabaklarını içeren yaklaşık 415 satır veri aldığınızı görebilirsiniz. + +### Ama bekleyin! Yapılacak bir şey daha var + +Bushel miktarının satır başına değiştiğini fark ettiniz mi? Fiyatlandırmayı normalize etmeniz ve bushel başına fiyatı göstermeniz gerekiyor, bu yüzden standartlaştırmak için biraz matematik yapın. + +1. Yeni_pumpkins dataframe'ini oluşturma bloğunun ardından bu satırları ekleyin: + + ```python + new_pumpkins.loc[new_pumpkins['Package'].str.contains('1 1/9'), 'Price'] = price/(1 + 1/9) + + new_pumpkins.loc[new_pumpkins['Package'].str.contains('1/2'), 'Price'] = price/(1/2) + ``` + +✅ [The Spruce Eats](https://www.thespruceeats.com/how-much-is-a-bushel-1389308) göre, bushel'in ağırlığı ürün türüne bağlı olarak değişir, çünkü bu bir hacim ölçümüdür. "Örneğin, bir bushel domatesin 56 pound ağırlığında olması gerekiyor... Yapraklar ve yeşillikler daha az ağırlıkla daha fazla yer kaplar, bu yüzden bir bushel ıspanak sadece 20 pound." Bu oldukça karmaşık! Bushel'den pound'a dönüşüm yapmak yerine bushel başına fiyatlandırma yapalım. Ancak, balkabağı bushels'ı üzerine yapılan bu çalışma, verinizin doğasını anlamanın ne kadar önemli olduğunu gösteriyor! + +Şimdi, bushel ölçümlerine dayalı olarak birim başına fiyatlandırmayı analiz edebilirsiniz. Veriyi bir kez daha yazdırırsanız, nasıl standartlaştırıldığını görebilirsiniz. + +✅ Yarım bushel ile satılan balkabaklarının çok pahalı olduğunu fark ettiniz mi? Nedenini bulabilir misiniz? İpucu: Küçük balkabakları büyük olanlardan çok daha pahalıdır, muhtemelen bushel başına çok daha fazla olmalarından dolayı, büyük boş bir turta balkabağı tarafından kullanılan boş alan nedeniyle. + +## Görselleştirme Stratejileri + +Veri bilimcilerinin rolü, çalıştıkları verilerin kalitesini ve doğasını göstermektir. Bunu yapmak için, genellikle verilerin farklı yönlerini gösteren ilginç görselleştirmeler, grafikler ve tablolar oluştururlar. Bu şekilde, görsel olarak ilişkileri ve keşfedilmesi zor boşlukları gösterebilirler. + +[](https://youtu.be/SbUkxH6IJo0 "Yeni başlayanlar için ML - Matplotlib ile Veriler Nasıl Görselleştirilir") + +> 🎥 Yukarıdaki resme tıklayarak bu ders için verileri görselleştirme sürecini gösteren kısa bir videoya ulaşabilirsiniz. + +Görselleştirmeler, veriler için en uygun makine öğrenimi tekniğini belirlemeye de yardımcı olabilir. Örneğin, bir çizgiye benzeyen bir scatterplot, verilerin doğrusal regresyon için iyi bir aday olduğunu gösterir. + +Jupyter defterlerinde iyi çalışan bir veri görselleştirme kütüphanesi [Matplotlib](https://matplotlib.org/) (önceki derste de gördünüz). + +> Veri görselleştirme ile daha fazla deneyim kazanmak için [bu eğitimlere](https://docs.microsoft.com/learn/modules/explore-analyze-data-with-python?WT.mc_id=academic-77952-leestott) göz atın. + +## Alıştırma - Matplotlib ile deney yapın + +Yeni oluşturduğunuz dataframe'i göstermek için bazı temel grafikler oluşturmaya çalışın. Temel bir çizgi grafiği ne gösterir? + +1. Dosyanın en üstüne, Pandas importunun altına Matplotlib'i ekleyin: + + ```python + import matplotlib.pyplot as plt + ``` + +1. Tüm defteri yeniden çalıştırarak yenileyin. +1. Defterin altına, veriyi kutu olarak çizmek için bir hücre ekleyin: + + ```python + price = new_pumpkins.Price + month = new_pumpkins.Month + plt.scatter(price, month) + plt.show() + ``` + +  + + Bu faydalı bir grafik mi? Sizi şaşırtan bir şey var mı? + + Bu çok faydalı değil çünkü verilerinizi belirli bir ayda yayılmış noktalar olarak gösterir. + +### Onu faydalı hale getirin + +Grafiklerin faydalı veriler göstermesi için genellikle verileri bir şekilde gruplamanız gerekir. Y ekseninde ayları gösteren ve verilerin dağılımını gösteren bir grafik oluşturmaya çalışalım. + +1. Gruplandırılmış bir çubuk grafik oluşturmak için bir hücre ekleyin: + + ```python + new_pumpkins.groupby(['Month'])['Price'].mean().plot(kind='bar') + plt.ylabel("Pumpkin Price") + ``` + +  + + Bu daha faydalı bir veri görselleştirme! Balkabağı fiyatlarının en yüksek olduğu dönemlerin Eylül ve Ekim olduğunu gösteriyor gibi görünüyor. Bu beklentinizi karşılıyor mu? Neden veya neden değil? + +--- + +## 🚀Meydan okuma + +Matplotlib'in sunduğu farklı görselleştirme türlerini keşfedin. Hangi türler regresyon problemleri için en uygundur? + +## [Ders sonrası sınavı](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/12/) + +## İnceleme ve Kendi Kendine Çalışma + +Verileri görselleştirmenin birçok yoluna bir göz atın. Mevcut çeşitli kütüphanelerin bir listesini yapın ve hangi tür görevler için en uygun olduklarını not edin, örneğin 2D görselleştirmeler vs. 3D görselleştirmeler. Ne keşfediyorsunuz? + +## Ödev + +[Görselleştirmeyi keşfetmek](assignment.md) + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba sarf etsek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belgenin kendi dilindeki hali yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi tavsiye edilir. Bu çevirinin kullanımından kaynaklanan yanlış anlamalar veya yanlış yorumlamalardan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/2-Regression/2-Data/assignment.md b/translations/tr/2-Regression/2-Data/assignment.md new file mode 100644 index 000000000..c31062ef7 --- /dev/null +++ b/translations/tr/2-Regression/2-Data/assignment.md @@ -0,0 +1,11 @@ +# Görselleştirmeleri Keşfetmek + +Veri görselleştirme için kullanılabilecek çeşitli kütüphaneler vardır. Bu dersteki Kabak verilerini kullanarak matplotlib ve seaborn ile örnek bir not defterinde bazı görselleştirmeler oluşturun. Hangi kütüphanelerle çalışmak daha kolay? +## Değerlendirme Kriterleri + +| Kriterler | Örnek | Yeterli | Geliştirilmeli | +| -------- | --------- | -------- | ----------------- | +| | İki keşif/görselleştirme içeren bir not defteri gönderildi | Bir keşif/görselleştirme içeren bir not defteri gönderildi | Not defteri gönderilmedi | + +**Feragatname**: +Bu belge, makine tabanlı AI çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal dilindeki hali yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilmektedir. Bu çevirinin kullanımından doğabilecek herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/2-Regression/2-Data/solution/Julia/README.md b/translations/tr/2-Regression/2-Data/solution/Julia/README.md new file mode 100644 index 000000000..3771b60f2 --- /dev/null +++ b/translations/tr/2-Regression/2-Data/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal dili, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilmektedir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/2-Regression/3-Linear/README.md b/translations/tr/2-Regression/3-Linear/README.md new file mode 100644 index 000000000..5e7203319 --- /dev/null +++ b/translations/tr/2-Regression/3-Linear/README.md @@ -0,0 +1,370 @@ +# Scikit-learn kullanarak bir regresyon modeli oluşturun: dört farklı regresyon yöntemi + + +> İnfografik [Dasani Madipalli](https://twitter.com/dasani_decoded) tarafından +## [Ders öncesi sınav](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/13/) + +> ### [Bu ders R dilinde de mevcut!](../../../../2-Regression/3-Linear/solution/R/lesson_3.html) +### Giriş + +Şu ana kadar, bu derste kullanacağımız kabak fiyatlandırma veri setinden toplanan örnek verilerle regresyonun ne olduğunu keşfettiniz. Ayrıca Matplotlib kullanarak bu veriyi görselleştirdiniz. + +Şimdi, ML için regresyonun derinliklerine dalmaya hazırsınız. Görselleştirme, veriyi anlamlandırmanıza yardımcı olurken, Makine Öğreniminin gerçek gücü _modellerin eğitilmesinden_ gelir. Modeller, tarihi veriler üzerinde eğitilir ve veri bağımlılıklarını otomatik olarak yakalar, böylece modelin daha önce görmediği yeni veriler için sonuçları tahmin etmenizi sağlar. + +Bu derste, _temel doğrusal regresyon_ ve _polinomial regresyon_ olmak üzere iki tür regresyon hakkında daha fazla bilgi edineceksiniz ve bu tekniklerin altında yatan bazı matematiksel temelleri öğreneceksiniz. Bu modeller, farklı girdi verilerine bağlı olarak kabak fiyatlarını tahmin etmemize olanak tanıyacak. + +[](https://youtu.be/CRxFT8oTDMg "Yeni başlayanlar için ML - Doğrusal Regresyonu Anlamak") + +> 🎥 Doğrusal regresyon hakkında kısa bir video özet için yukarıdaki resme tıklayın. + +> Bu müfredat boyunca, matematik bilgisi minimum düzeyde varsayılmakta ve diğer alanlardan gelen öğrenciler için erişilebilir hale getirilmek istenmektedir, bu yüzden notlar, 🧮 çağrılar, diyagramlar ve diğer öğrenme araçlarına dikkat edin. + +### Önkoşul + +Şu ana kadar incelediğimiz kabak verisinin yapısına aşina olmalısınız. Bu dersin _notebook.ipynb_ dosyasında önceden yüklenmiş ve temizlenmiş olarak bulabilirsiniz. Dosyada, kabak fiyatı yeni bir veri çerçevesinde bushel başına gösterilmektedir. Bu not defterlerini Visual Studio Code'daki çekirdeklerde çalıştırabildiğinizden emin olun. + +### Hazırlık + +Hatırlatma olarak, bu veriyi sorular sormak için yüklüyorsunuz. + +- Kabak almak için en iyi zaman ne zaman? +- Mini kabakların bir kutusunun fiyatı ne olabilir? +- Yarım bushel sepetlerde mi yoksa 1 1/9 bushel kutularda mı almalıyım? +Bu veriyi incelemeye devam edelim. + +Önceki derste, bir Pandas veri çerçevesi oluşturup, orijinal veri setinin bir kısmıyla doldurmuştunuz, bushel başına fiyatlandırmayı standartlaştırmıştınız. Ancak, bunu yaparak sadece yaklaşık 400 veri noktası toplayabildiniz ve sadece sonbahar ayları için. + +Bu dersin eşlik eden not defterinde önceden yüklenmiş verilere bir göz atın. Veriler önceden yüklenmiş ve ay verilerini göstermek için başlangıçta bir saçılma grafiği çizilmiştir. Belki verinin doğası hakkında daha fazla ayrıntı elde edebiliriz, daha fazla temizleyerek. + +## Doğrusal regresyon çizgisi + +1. Derste öğrendiğiniz gibi, bir doğrusal regresyon egzersizinin amacı, bir çizgi çizerek: + +- **Değişken ilişkilerini gösterin**. Değişkenler arasındaki ilişkiyi gösterin. +- **Tahminler yapın**. Yeni bir veri noktasının bu çizgiye göre nereye düşeceğini doğru bir şekilde tahmin edin. + +Bu tür bir çizgi çizmek için **En Küçük Kareler Regresyonu** tipiktir. 'En küçük kareler' terimi, regresyon çizgisinin etrafındaki tüm veri noktalarının karelerinin alınıp toplanması anlamına gelir. İdealde, bu nihai toplam mümkün olduğunca küçük olmalıdır, çünkü düşük hata sayısı veya `least-squares` istiyoruz. + +Bunu yaparız çünkü tüm veri noktalarımızdan en az toplam mesafeye sahip bir çizgi modellemek istiyoruz. Ayrıca terimleri toplarken karelerini alırız çünkü yönünden ziyade büyüklüğü ile ilgileniriz. + +> **🧮 Bana matematiği göster** +> +> Bu çizgi, _en iyi uyum çizgisi_ olarak adlandırılır ve [bir denklemle](https://en.wikipedia.org/wiki/Simple_linear_regression) ifade edilebilir: +> +> ``` +> Y = a + bX +> ``` +> +> `X` is the 'explanatory variable'. `Y` is the 'dependent variable'. The slope of the line is `b` and `a` is the y-intercept, which refers to the value of `Y` when `X = 0`. +> +> +> +> First, calculate the slope `b`. Infographic by [Jen Looper](https://twitter.com/jenlooper) +> +> In other words, and referring to our pumpkin data's original question: "predict the price of a pumpkin per bushel by month", `X` would refer to the price and `Y` would refer to the month of sale. +> +> +> +> Calculate the value of Y. If you're paying around $4, it must be April! Infographic by [Jen Looper](https://twitter.com/jenlooper) +> +> The math that calculates the line must demonstrate the slope of the line, which is also dependent on the intercept, or where `Y` is situated when `X = 0`. +> +> You can observe the method of calculation for these values on the [Math is Fun](https://www.mathsisfun.com/data/least-squares-regression.html) web site. Also visit [this Least-squares calculator](https://www.mathsisfun.com/data/least-squares-calculator.html) to watch how the numbers' values impact the line. + +## Correlation + +One more term to understand is the **Correlation Coefficient** between given X and Y variables. Using a scatterplot, you can quickly visualize this coefficient. A plot with datapoints scattered in a neat line have high correlation, but a plot with datapoints scattered everywhere between X and Y have a low correlation. + +A good linear regression model will be one that has a high (nearer to 1 than 0) Correlation Coefficient using the Least-Squares Regression method with a line of regression. + +✅ Run the notebook accompanying this lesson and look at the Month to Price scatterplot. Does the data associating Month to Price for pumpkin sales seem to have high or low correlation, according to your visual interpretation of the scatterplot? Does that change if you use more fine-grained measure instead of `Month`, eg. *day of the year* (i.e. number of days since the beginning of the year)? + +In the code below, we will assume that we have cleaned up the data, and obtained a data frame called `new_pumpkins`, similar to the following: + +ID | Month | DayOfYear | Variety | City | Package | Low Price | High Price | Price +---|-------|-----------|---------|------|---------|-----------|------------|------- +70 | 9 | 267 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 15.0 | 15.0 | 13.636364 +71 | 9 | 267 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 18.0 | 18.0 | 16.363636 +72 | 10 | 274 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 18.0 | 18.0 | 16.363636 +73 | 10 | 274 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 17.0 | 17.0 | 15.454545 +74 | 10 | 281 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 15.0 | 15.0 | 13.636364 + +> The code to clean the data is available in [`notebook.ipynb`](../../../../2-Regression/3-Linear/notebook.ipynb). We have performed the same cleaning steps as in the previous lesson, and have calculated `DayOfYear` sütununu aşağıdaki ifade kullanarak hesaplayın: + +```python +day_of_year = pd.to_datetime(pumpkins['Date']).apply(lambda dt: (dt-datetime(dt.year,1,1)).days) +``` + +Şimdi doğrusal regresyonun ardındaki matematiği anladığınıza göre, hangi kabak paketinin en iyi fiyatlara sahip olacağını tahmin edip edemeyeceğimizi görmek için bir Regresyon modeli oluşturalım. Tatil kabak bahçesi için kabak satın alan biri, bahçe için kabak paketlerini optimize edebilmek için bu bilgiye sahip olmak isteyebilir. + +## Korelasyon Arayışı + +[](https://youtu.be/uoRq-lW2eQo "Yeni başlayanlar için ML - Korelasyon Arayışı: Doğrusal Regresyonun Anahtarı") + +> 🎥 Korelasyon hakkında kısa bir video özet için yukarıdaki resme tıklayın. + +Önceki dersten, farklı aylar için ortalama fiyatın şu şekilde göründüğünü muhtemelen görmüşsünüzdür: + +
+
+Bu, bazı korelasyonlar olması gerektiğini ve `Month` and `Price`, or between `DayOfYear` and `Price`. Here is the scatter plot that shows the latter relationship:
+
+
+
+Let's see if there is a correlation using the `corr` fonksiyonunu kullanarak lineer regresyon modeli eğitmeye çalışabileceğimizi gösteriyor:
+
+```python
+print(new_pumpkins['Month'].corr(new_pumpkins['Price']))
+print(new_pumpkins['DayOfYear'].corr(new_pumpkins['Price']))
+```
+
+Görünüşe göre korelasyon oldukça küçük, `-0.15` `Month` and -0.17 by the `DayOfMonth`, but there could be another important relationship. It looks like there are different clusters of prices corresponding to different pumpkin varieties. To confirm this hypothesis, let's plot each pumpkin category using a different color. By passing an `ax` parameter to the `scatter` çizim fonksiyonunu kullanarak tüm noktaları aynı grafikte çizebiliriz:
+
+```python
+ax=None
+colors = ['red','blue','green','yellow']
+for i,var in enumerate(new_pumpkins['Variety'].unique()):
+ df = new_pumpkins[new_pumpkins['Variety']==var]
+ ax = df.plot.scatter('DayOfYear','Price',ax=ax,c=colors[i],label=var)
+```
+
+
+
+Araştırmamız, çeşidin genel fiyat üzerinde satış tarihinden daha fazla etkisi olduğunu öne sürüyor. Bunu bir çubuk grafikle görebiliriz:
+
+```python
+new_pumpkins.groupby('Variety')['Price'].mean().plot(kind='bar')
+```
+
+
+
+Şu an için sadece bir kabak çeşidine, 'turta tipi'ne odaklanalım ve tarihin fiyat üzerindeki etkisini görelim:
+
+```python
+pie_pumpkins = new_pumpkins[new_pumpkins['Variety']=='PIE TYPE']
+pie_pumpkins.plot.scatter('DayOfYear','Price')
+```
+
+
+Şimdi `Price` and `DayOfYear` using `corr` function, we will get something like `-0.27` arasındaki korelasyonu hesaplasak, bu da tahmin edici bir model eğitmenin mantıklı olduğunu gösterir.
+
+> Doğrusal regresyon modeli eğitmeden önce, verimizin temiz olduğundan emin olmak önemlidir. Doğrusal regresyon eksik değerlerle iyi çalışmaz, bu yüzden tüm boş hücrelerden kurtulmak mantıklıdır:
+
+```python
+pie_pumpkins.dropna(inplace=True)
+pie_pumpkins.info()
+```
+
+Başka bir yaklaşım, bu boş değerleri ilgili sütunun ortalama değerleriyle doldurmak olabilir.
+
+## Basit Doğrusal Regresyon
+
+[](https://youtu.be/e4c_UP2fSjg "Yeni başlayanlar için ML - Scikit-learn kullanarak Doğrusal ve Polinomial Regresyon")
+
+> 🎥 Doğrusal ve polinomial regresyon hakkında kısa bir video özet için yukarıdaki resme tıklayın.
+
+Doğrusal Regresyon modelimizi eğitmek için **Scikit-learn** kütüphanesini kullanacağız.
+
+```python
+from sklearn.linear_model import LinearRegression
+from sklearn.metrics import mean_squared_error
+from sklearn.model_selection import train_test_split
+```
+
+Başlangıçta, giriş değerlerini (özellikler) ve beklenen çıktıyı (etiket) ayrı numpy dizilerine ayırıyoruz:
+
+```python
+X = pie_pumpkins['DayOfYear'].to_numpy().reshape(-1,1)
+y = pie_pumpkins['Price']
+```
+
+> Giriş verisi üzerinde `reshape` işlemi yapmamız gerektiğini unutmayın, çünkü Doğrusal Regresyon paketi bunu doğru anlamalıdır. Doğrusal Regresyon, her satırın bir giriş özellikleri vektörüne karşılık geldiği 2D bir dizi bekler. Bizim durumumuzda, sadece bir giriş olduğundan, N×1 şeklinde bir diziye ihtiyacımız var, burada N veri setinin boyutudur.
+
+Daha sonra, veriyi eğitim ve test veri setlerine ayırmamız gerekiyor, böylece modeli eğittikten sonra doğrulayabiliriz:
+
+```python
+X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+```
+
+Son olarak, gerçek Doğrusal Regresyon modelini eğitmek sadece iki satır kod alır. `LinearRegression` object, and fit it to our data using the `fit` yöntemini tanımlarız:
+
+```python
+lin_reg = LinearRegression()
+lin_reg.fit(X_train,y_train)
+```
+
+`LinearRegression` object after `fit`-ting contains all the coefficients of the regression, which can be accessed using `.coef_` property. In our case, there is just one coefficient, which should be around `-0.017`. It means that prices seem to drop a bit with time, but not too much, around 2 cents per day. We can also access the intersection point of the regression with Y-axis using `lin_reg.intercept_` - it will be around `21` bizim durumumuzda, yılın başındaki fiyatı gösterir.
+
+Modelimizin ne kadar doğru olduğunu görmek için, test veri setinde fiyatları tahmin edebilir ve ardından tahminlerimizin beklenen değerlere ne kadar yakın olduğunu ölçebiliriz. Bu, beklenen ve tahmin edilen değerler arasındaki tüm kare farklarının ortalaması olan ortalama kare hata (MSE) metrikleri kullanılarak yapılabilir.
+
+```python
+pred = lin_reg.predict(X_test)
+
+mse = np.sqrt(mean_squared_error(y_test,pred))
+print(f'Mean error: {mse:3.3} ({mse/np.mean(pred)*100:3.3}%)')
+```
+
+Hatalarımız yaklaşık 2 puan gibi görünüyor, bu da ~%17. Çok iyi değil. Model kalitesinin başka bir göstergesi **belirleme katsayısı**dır ve şu şekilde elde edilebilir:
+
+```python
+score = lin_reg.score(X_train,y_train)
+print('Model determination: ', score)
+```
+Değer 0 ise, modelin girdi verilerini dikkate almadığı ve *en kötü doğrusal tahminci* olarak davrandığı anlamına gelir, bu da basitçe sonucun ortalama değeridir. Değer 1 ise, tüm beklenen çıktıları mükemmel bir şekilde tahmin edebildiğimiz anlamına gelir. Bizim durumumuzda, katsayı yaklaşık 0.06, bu oldukça düşük.
+
+Ayrıca test verilerini regresyon çizgisi ile birlikte çizerek, regresyonun bizim durumumuzda nasıl çalıştığını daha iyi görebiliriz:
+
+```python
+plt.scatter(X_test,y_test)
+plt.plot(X_test,pred)
+```
+
+
+
+## Polinomial Regresyon
+
+Doğrusal Regresyonun başka bir türü Polinomial Regresyondur. Bazen değişkenler arasında doğrusal bir ilişki vardır - kabak hacmi büyüdükçe fiyat artar - bazen bu ilişkiler bir düzlem veya düz bir çizgi olarak çizilemez.
+
+✅ İşte [bazı örnekler](https://online.stat.psu.edu/stat501/lesson/9/9.8) Polinomial Regresyonun kullanılabileceği veriler
+
+Tarih ve Fiyat arasındaki ilişkiye bir kez daha bakın. Bu saçılma grafiği mutlaka düz bir çizgi ile analiz edilmeli mi? Fiyatlar dalgalanamaz mı? Bu durumda, polinomial regresyonu deneyebilirsiniz.
+
+✅ Polinomlar, bir veya daha fazla değişken ve katsayıdan oluşan matematiksel ifadelerdir
+
+Polinomial regresyon, doğrusal olmayan veriyi daha iyi uyacak şekilde eğri bir çizgi oluşturur. Bizim durumumuzda, girdi verisine kare `DayOfYear` değişkenini eklersek, verimizi yıl içinde belirli bir noktada minimuma sahip olacak parabolik bir eğri ile uyarlayabiliriz.
+
+Scikit-learn, veri işleme adımlarını bir araya getirmek için kullanışlı bir [pipeline API](https://scikit-learn.org/stable/modules/generated/sklearn.pipeline.make_pipeline.html?highlight=pipeline#sklearn.pipeline.make_pipeline) içerir. Bir **pipeline**, bir **estimators** zinciridir. Bizim durumumuzda, modelimize önce polinomial özellikler ekleyen ve ardından regresyonu eğiten bir pipeline oluşturacağız:
+
+```python
+from sklearn.preprocessing import PolynomialFeatures
+from sklearn.pipeline import make_pipeline
+
+pipeline = make_pipeline(PolynomialFeatures(2), LinearRegression())
+
+pipeline.fit(X_train,y_train)
+```
+
+`PolynomialFeatures(2)` means that we will include all second-degree polynomials from the input data. In our case it will just mean `DayOfYear`2, but given two input variables X and Y, this will add X2, XY and Y2. We may also use higher degree polynomials if we want.
+
+Pipelines can be used in the same manner as the original `LinearRegression` object, i.e. we can `fit` the pipeline, and then use `predict` to get the prediction results. Here is the graph showing test data, and the approximation curve:
+
+
+
+Using Polynomial Regression, we can get slightly lower MSE and higher determination, but not significantly. We need to take into account other features!
+
+> You can see that the minimal pumpkin prices are observed somewhere around Halloween. How can you explain this?
+
+🎃 Congratulations, you just created a model that can help predict the price of pie pumpkins. You can probably repeat the same procedure for all pumpkin types, but that would be tedious. Let's learn now how to take pumpkin variety into account in our model!
+
+## Categorical Features
+
+In the ideal world, we want to be able to predict prices for different pumpkin varieties using the same model. However, the `Variety` column is somewhat different from columns like `Month`, because it contains non-numeric values. Such columns are called **categorical**.
+
+[](https://youtu.be/DYGliioIAE0 "ML for beginners - Categorical Feature Predictions with Linear Regression")
+
+> 🎥 Click the image above for a short video overview of using categorical features.
+
+Here you can see how average price depends on variety:
+
+
+
+To take variety into account, we first need to convert it to numeric form, or **encode** it. There are several way we can do it:
+
+* Simple **numeric encoding** will build a table of different varieties, and then replace the variety name by an index in that table. This is not the best idea for linear regression, because linear regression takes the actual numeric value of the index, and adds it to the result, multiplying by some coefficient. In our case, the relationship between the index number and the price is clearly non-linear, even if we make sure that indices are ordered in some specific way.
+* **One-hot encoding** will replace the `Variety` column by 4 different columns, one for each variety. Each column will contain `1` if the corresponding row is of a given variety, and `0` aksi halde. Bu, doğrusal regresyonda dört katsayı olacağı anlamına gelir, her biri belirli bir kabak çeşidi için "başlangıç fiyatından" (veya "ek fiyat") sorumlu olacaktır.
+
+Aşağıdaki kod, bir çeşidi nasıl tek sıcak kodlayabileceğimizi gösterir:
+
+```python
+pd.get_dummies(new_pumpkins['Variety'])
+```
+
+ ID | FAIRYTALE | MINIATURE | MIXED HEIRLOOM VARIETIES | PIE TYPE
+----|-----------|-----------|--------------------------|----------
+70 | 0 | 0 | 0 | 1
+71 | 0 | 0 | 0 | 1
+... | ... | ... | ... | ...
+1738 | 0 | 1 | 0 | 0
+1739 | 0 | 1 | 0 | 0
+1740 | 0 | 1 | 0 | 0
+1741 | 0 | 1 | 0 | 0
+1742 | 0 | 1 | 0 | 0
+
+Tek sıcak kodlanmış çeşidi giriş olarak kullanarak doğrusal regresyon eğitmek için, sadece `X` and `y` verisini doğru şekilde başlatmamız yeterlidir:
+
+```python
+X = pd.get_dummies(new_pumpkins['Variety'])
+y = new_pumpkins['Price']
+```
+
+Kodun geri kalanı, Doğrusal Regresyon eğitmek için yukarıda kullandığımızla aynıdır. Dener iseniz, ortalama kare hatanın yaklaşık aynı olduğunu, ancak belirleme katsayısının (~%77) çok daha yüksek olduğunu göreceksiniz. Daha doğru tahminler elde etmek için, daha fazla kategorik özelliği, ayrıca `Month` or `DayOfYear`. To get one large array of features, we can use `join` gibi sayısal özellikleri de dikkate alabiliriz:
+
+```python
+X = pd.get_dummies(new_pumpkins['Variety']) \
+ .join(new_pumpkins['Month']) \
+ .join(pd.get_dummies(new_pumpkins['City'])) \
+ .join(pd.get_dummies(new_pumpkins['Package']))
+y = new_pumpkins['Price']
+```
+
+Burada ayrıca `City` and `Package` türünü de dikkate alıyoruz, bu bize MSE 2.84 (%10) ve belirleme 0.94 verir!
+
+## Hepsini bir araya getirmek
+
+En iyi modeli oluşturmak için, yukarıdaki örnekten birleştirilmiş (tek sıcak kodlanmış kategorik + sayısal) veriyi Polinomial Regresyon ile birlikte kullanabiliriz. İşte kolaylık sağlamak için tam kod:
+
+```python
+# set up training data
+X = pd.get_dummies(new_pumpkins['Variety']) \
+ .join(new_pumpkins['Month']) \
+ .join(pd.get_dummies(new_pumpkins['City'])) \
+ .join(pd.get_dummies(new_pumpkins['Package']))
+y = new_pumpkins['Price']
+
+# make train-test split
+X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+
+# setup and train the pipeline
+pipeline = make_pipeline(PolynomialFeatures(2), LinearRegression())
+pipeline.fit(X_train,y_train)
+
+# predict results for test data
+pred = pipeline.predict(X_test)
+
+# calculate MSE and determination
+mse = np.sqrt(mean_squared_error(y_test,pred))
+print(f'Mean error: {mse:3.3} ({mse/np.mean(pred)*100:3.3}%)')
+
+score = pipeline.score(X_train,y_train)
+print('Model determination: ', score)
+```
+
+Bu, yaklaşık %97'lik en iyi belirleme katsayısını ve MSE=2.23 (~%8 tahmin hatası) vermelidir.
+
+| Model | MSE | Belirleme |
+|-------|-----|-----------|
+| `DayOfYear` Linear | 2.77 (17.2%) | 0.07 |
+| `DayOfYear` Polynomial | 2.73 (17.0%) | 0.08 |
+| `Variety` Doğrusal | 5.24 (%19.7) | 0.77 |
+| Tüm özellikler Doğrusal | 2.84 (%10.5) | 0.94 |
+| Tüm özellikler Polinomial | 2.23 (%8.25) | 0.97 |
+
+🏆 Tebrikler! Bir derste dört Regresyon modeli oluşturdunuz ve model kalitesini %97'ye çıkardınız. Regresyon üzerine son bölümde, kategorileri belirlemek için Lojistik Regresyon hakkında bilgi edineceksiniz.
+
+---
+## 🚀Meydan Okuma
+
+Bu not defterinde birkaç farklı değişkeni test edin ve korelasyonun model doğruluğuyla nasıl ilişkili olduğunu görün.
+
+## [Ders sonrası sınav](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/14/)
+
+## Gözden Geçirme ve Kendi Kendine Çalışma
+
+Bu derste Doğrusal Regresyon hakkında bilgi edindik. Diğer önemli Regresyon türleri de vardır. Adım adım, Ridge, Lasso ve Elasticnet teknikleri hakkında bilgi edinin. Daha fazla bilgi edinmek için iyi bir kurs [Stanford Statistical Learning course](https://online.stanford.edu/courses/sohs-ystatslearning-statistical-learning).
+
+## Ödev
+
+[Bir Model Oluşturun](assignment.md)
+
+**Feragatname**:
+Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluğu sağlamak için çaba sarf etsek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal dili, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından doğabilecek yanlış anlamalar veya yanlış yorumlamalardan sorumlu değiliz.
\ No newline at end of file
diff --git a/translations/tr/2-Regression/3-Linear/assignment.md b/translations/tr/2-Regression/3-Linear/assignment.md
new file mode 100644
index 000000000..3e7c7c8c7
--- /dev/null
+++ b/translations/tr/2-Regression/3-Linear/assignment.md
@@ -0,0 +1,14 @@
+# Bir Regresyon Modeli Oluştur
+
+## Talimatlar
+
+Bu derste, Hem Doğrusal Hem de Polinom Regresyon kullanarak nasıl model oluşturulacağını öğrendiniz. Bu bilgiyi kullanarak, bir veri seti bulun veya Scikit-learn'in yerleşik setlerinden birini kullanarak yeni bir model oluşturun. Defterinizde hangi tekniği neden seçtiğinizi açıklayın ve modelinizin doğruluğunu gösterin. Eğer doğru değilse, nedenini açıklayın.
+
+## Değerlendirme Kriterleri
+
+| Kriterler | Mükemmel | Yeterli | Geliştirme Gerekiyor |
+| --------- | -------------------------------------------------------------- | -------------------------- | ------------------------------- |
+| | iyi belgelenmiş bir çözümle eksiksiz bir defter sunar | çözüm eksiktir | çözüm hatalı veya sorunludur |
+
+**Feragatname**:
+Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belgenin kendi dilindeki hali yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından doğabilecek herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz.
\ No newline at end of file
diff --git a/translations/tr/2-Regression/3-Linear/solution/Julia/README.md b/translations/tr/2-Regression/3-Linear/solution/Julia/README.md
new file mode 100644
index 000000000..0168f878a
--- /dev/null
+++ b/translations/tr/2-Regression/3-Linear/solution/Julia/README.md
@@ -0,0 +1,4 @@
+
+
+**Feragatname**:
+Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal dilindeki hali, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından doğabilecek yanlış anlamalar veya yanlış yorumlamalardan sorumlu değiliz.
\ No newline at end of file
diff --git a/translations/tr/2-Regression/4-Logistic/README.md b/translations/tr/2-Regression/4-Logistic/README.md
new file mode 100644
index 000000000..1b2636471
--- /dev/null
+++ b/translations/tr/2-Regression/4-Logistic/README.md
@@ -0,0 +1,344 @@
+# Kategorileri Tahmin Etmek İçin Lojistik Regresyon
+
+
+
+## [Ders Öncesi Test](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/15/)
+
+> ### [Bu ders R dilinde mevcut!](../../../../2-Regression/4-Logistic/solution/R/lesson_4.html)
+
+## Giriş
+
+Regresyon üzerine olan bu son derste, temel _klasik_ ML tekniklerinden biri olan Lojistik Regresyonu inceleyeceğiz. Bu tekniği, ikili kategorileri tahmin etmek için desenleri keşfetmek amacıyla kullanabilirsiniz. Bu şeker çikolata mı yoksa değil mi? Bu hastalık bulaşıcı mı değil mi? Bu müşteri bu ürünü seçecek mi yoksa seçmeyecek mi?
+
+Bu derste öğrenecekleriniz:
+
+- Veri görselleştirme için yeni bir kütüphane
+- Lojistik regresyon teknikleri
+
+✅ Bu tür bir regresyonla çalışma konusundaki anlayışınızı derinleştirmek için bu [Öğrenme modülüne](https://docs.microsoft.com/learn/modules/train-evaluate-classification-models?WT.mc_id=academic-77952-leestott) göz atın
+
+## Ön Koşul
+
+Balkabağı verileriyle çalıştıktan sonra, üzerinde çalışabileceğimiz bir ikili kategori olduğunu fark edecek kadar bu veriye aşina olduk: `Color`.
+
+Hadi bazı değişkenlere dayanarak _belirli bir balkabağının renginin ne olacağını_ (turuncu 🎃 veya beyaz 👻) tahmin etmek için bir lojistik regresyon modeli oluşturalım.
+
+> Neden regresyonla ilgili bir derste ikili sınıflandırmadan bahsediyoruz? Sadece dilsel kolaylık için, çünkü lojistik regresyon [aslında bir sınıflandırma yöntemidir](https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression), ancak doğrusal tabanlıdır. Verileri sınıflandırmanın diğer yollarını bir sonraki ders grubunda öğrenin.
+
+## Soruyu Tanımlayın
+
+Bizim amacımız için bunu ikili olarak ifade edeceğiz: 'Beyaz' veya 'Beyaz Değil'. Veritabanımızda ayrıca 'çizgili' kategorisi de var ama çok az örneği olduğu için bunu kullanmayacağız. Zaten veritabanından boş değerleri kaldırdığımızda bu kategori de kayboluyor.
+
+> 🎃 Eğlenceli bilgi, bazen beyaz balkabaklarına 'hayalet' balkabakları deriz. Oyulması çok kolay değildir, bu yüzden turuncu olanlar kadar popüler değillerdir ama havalı görünürler! Bu yüzden sorumuzu şu şekilde de yeniden formüle edebiliriz: 'Hayalet' veya 'Hayalet Değil'. 👻
+
+## Lojistik regresyon hakkında
+
+Lojistik regresyon, daha önce öğrendiğiniz doğrusal regresyondan birkaç önemli şekilde farklıdır.
+
+[](https://youtu.be/KpeCT6nEpBY "Başlangıç seviyesinde ML - Makine Öğrenimi Sınıflandırması için Lojistik Regresyonu Anlamak")
+
+> 🎥 Lojistik regresyon hakkında kısa bir genel bakış için yukarıdaki resme tıklayın.
+
+### İkili sınıflandırma
+
+Lojistik regresyon, doğrusal regresyonla aynı özellikleri sunmaz. İlki, bir ikili kategori hakkında bir tahmin sunar ("beyaz veya beyaz değil"), ikincisi ise sürekli değerleri tahmin edebilir, örneğin bir balkabağının kökeni ve hasat zamanı verildiğinde, _fiyatının ne kadar artacağını_.
+
+
+> İnfografik [Dasani Madipalli](https://twitter.com/dasani_decoded) tarafından
+
+### Diğer sınıflandırmalar
+
+Lojistik regresyonun başka türleri de vardır, bunlar arasında çoklu ve sıralı:
+
+- **Çoklu**, birden fazla kategoriye sahip olmak anlamına gelir - "Turuncu, Beyaz ve Çizgili".
+- **Sıralı**, sıralı kategorileri içerir, sonuçlarımızı mantıksal olarak sıralamak istediğimizde kullanışlıdır, örneğin sınırlı sayıda boyuta göre sıralanan balkabaklarımız (mini, küçük, orta, büyük, çok büyük, devasa).
+
+
+
+### Değişkenlerin KORELASYONLU OLMASINA GEREK YOK
+
+Doğrusal regresyonun daha fazla korelasyonlu değişkenlerle daha iyi çalıştığını hatırlıyor musunuz? Lojistik regresyon bunun tersidir - değişkenlerin uyumlu olmasına gerek yoktur. Bu, zayıf korelasyonlara sahip bu veri için işe yarar.
+
+### Çok temiz verilere ihtiyacınız var
+
+Lojistik regresyon, daha fazla veri kullanırsanız daha doğru sonuçlar verir; küçük veri setimiz bu görev için optimal değildir, bu yüzden bunu aklınızda bulundurun.
+
+[](https://youtu.be/B2X4H9vcXTs "Başlangıç seviyesinde ML - Lojistik Regresyon için Veri Analizi ve Hazırlığı")
+
+> 🎥 Doğrusal regresyon için veri hazırlığı hakkında kısa bir genel bakış için yukarıdaki resme tıklayın
+
+✅ Lojistik regresyona iyi uyum sağlayacak veri türlerini düşünün
+
+## Alıştırma - veriyi düzenleme
+
+Öncelikle, verileri biraz temizleyin, boş değerleri kaldırın ve sadece bazı sütunları seçin:
+
+1. Aşağıdaki kodu ekleyin:
+
+ ```python
+
+ columns_to_select = ['City Name','Package','Variety', 'Origin','Item Size', 'Color']
+ pumpkins = full_pumpkins.loc[:, columns_to_select]
+
+ pumpkins.dropna(inplace=True)
+ ```
+
+ Yeni veri çerçevenize bir göz atabilirsiniz:
+
+ ```python
+ pumpkins.info
+ ```
+
+### Görselleştirme - kategorik grafik
+
+Şimdiye kadar [başlangıç not defterini](../../../../2-Regression/4-Logistic/notebook.ipynb) balkabağı verileriyle tekrar yüklediniz ve `Color` içeren birkaç değişkeni koruyarak temizlediniz. Veri çerçevesini farklı bir kütüphane kullanarak not defterinde görselleştirelim: [Seaborn](https://seaborn.pydata.org/index.html), daha önce kullandığımız Matplotlib üzerine kurulmuştur.
+
+Seaborn, verilerinizi görselleştirmenin bazı güzel yollarını sunar. Örneğin, `Variety` ve `Color` verilerinin dağılımlarını kategorik bir grafikte karşılaştırabilirsiniz.
+
+1. `catplot` function, using our pumpkin data `pumpkins` kullanarak ve her balkabağı kategorisi (turuncu veya beyaz) için bir renk eşlemesi belirterek böyle bir grafik oluşturun:
+
+ ```python
+ import seaborn as sns
+
+ palette = {
+ 'ORANGE': 'orange',
+ 'WHITE': 'wheat',
+ }
+
+ sns.catplot(
+ data=pumpkins, y="Variety", hue="Color", kind="count",
+ palette=palette,
+ )
+ ```
+
+ 
+
+ Verileri gözlemleyerek, Renk verisinin Çeşitlilik ile nasıl ilişkili olduğunu görebilirsiniz.
+
+ ✅ Bu kategorik grafiğe bakarak, hangi ilginç keşifleri hayal edebilirsiniz?
+
+### Veri ön işleme: özellik ve etiket kodlama
+Balkabağı veri setimiz tüm sütunları için string değerler içerir. Kategorik verilerle çalışmak insanlar için sezgiseldir ancak makineler için değil. Makine öğrenimi algoritmaları sayılarla iyi çalışır. Bu yüzden kodlama, veri ön işleme aşamasında çok önemli bir adımdır, çünkü kategorik verileri sayısal verilere dönüştürmemizi sağlar, herhangi bir bilgi kaybetmeden. İyi bir kodlama, iyi bir model oluşturmayı sağlar.
+
+Özellik kodlama için iki ana tür kodlayıcı vardır:
+
+1. Sıralı kodlayıcı: sıralı değişkenler için uygundur, bunlar kategorik değişkenlerdir ve verileri mantıksal bir sıralama izler, veri setimizdeki `Item Size` sütunu gibi. Her kategori bir sayı ile temsil edilir, bu da sütundaki kategorinin sırası olur.
+
+ ```python
+ from sklearn.preprocessing import OrdinalEncoder
+
+ item_size_categories = [['sml', 'med', 'med-lge', 'lge', 'xlge', 'jbo', 'exjbo']]
+ ordinal_features = ['Item Size']
+ ordinal_encoder = OrdinalEncoder(categories=item_size_categories)
+ ```
+
+2. Kategorik kodlayıcı: nominal değişkenler için uygundur, bunlar kategorik değişkenlerdir ve verileri mantıksal bir sıralama izlemez, veri setimizdeki `Item Size` dışındaki tüm özellikler gibi. Bu bir one-hot kodlamadır, yani her kategori bir ikili sütunla temsil edilir: kodlanmış değişken, balkabağı o Çeşitliliğe aitse 1, değilse 0 olur.
+
+ ```python
+ from sklearn.preprocessing import OneHotEncoder
+
+ categorical_features = ['City Name', 'Package', 'Variety', 'Origin']
+ categorical_encoder = OneHotEncoder(sparse_output=False)
+ ```
+Sonra, `ColumnTransformer` birden fazla kodlayıcıyı tek bir adımda birleştirmek ve uygun sütunlara uygulamak için kullanılır.
+
+```python
+ from sklearn.compose import ColumnTransformer
+
+ ct = ColumnTransformer(transformers=[
+ ('ord', ordinal_encoder, ordinal_features),
+ ('cat', categorical_encoder, categorical_features)
+ ])
+
+ ct.set_output(transform='pandas')
+ encoded_features = ct.fit_transform(pumpkins)
+```
+Öte yandan, etiketi kodlamak için, scikit-learn `LabelEncoder` sınıfını kullanırız, bu sınıf etiketleri normalize etmeye yardımcı olan bir yardımcı sınıftır, böylece yalnızca 0 ve n_classes-1 (burada, 0 ve 1) arasında değerler içerir.
+
+```python
+ from sklearn.preprocessing import LabelEncoder
+
+ label_encoder = LabelEncoder()
+ encoded_label = label_encoder.fit_transform(pumpkins['Color'])
+```
+Özellikleri ve etiketi kodladıktan sonra, bunları yeni bir veri çerçevesi `encoded_pumpkins` içinde birleştirebiliriz.
+
+```python
+ encoded_pumpkins = encoded_features.assign(Color=encoded_label)
+```
+✅ `Item Size` column?
+
+### Analyse relationships between variables
+
+Now that we have pre-processed our data, we can analyse the relationships between the features and the label to grasp an idea of how well the model will be able to predict the label given the features.
+The best way to perform this kind of analysis is plotting the data. We'll be using again the Seaborn `catplot` function, to visualize the relationships between `Item Size`, `Variety` ve `Color` bir kategorik grafikte kodlamak için sıralı kodlayıcı kullanmanın avantajları nelerdir? Verileri daha iyi görselleştirmek için kodlanmış `Item Size` column and the unencoded `Variety` sütununu kullanacağız.
+
+```python
+ palette = {
+ 'ORANGE': 'orange',
+ 'WHITE': 'wheat',
+ }
+ pumpkins['Item Size'] = encoded_pumpkins['ord__Item Size']
+
+ g = sns.catplot(
+ data=pumpkins,
+ x="Item Size", y="Color", row='Variety',
+ kind="box", orient="h",
+ sharex=False, margin_titles=True,
+ height=1.8, aspect=4, palette=palette,
+ )
+ g.set(xlabel="Item Size", ylabel="").set(xlim=(0,6))
+ g.set_titles(row_template="{row_name}")
+```
+
+
+### Bir 'swarm' grafiği kullanın
+
+Renk bir ikili kategori olduğundan (Beyaz veya Değil), görselleştirme için 'özelleşmiş bir yaklaşıma' ihtiyaç duyar. Bu kategorinin diğer değişkenlerle ilişkisini görselleştirmenin başka yolları da vardır.
+
+Seaborn grafikleri ile değişkenleri yan yana görselleştirebilirsiniz.
+
+1. Değerlerin dağılımını göstermek için bir 'swarm' grafiği deneyin:
+
+ ```python
+ palette = {
+ 0: 'orange',
+ 1: 'wheat'
+ }
+ sns.swarmplot(x="Color", y="ord__Item Size", data=encoded_pumpkins, palette=palette)
+ ```
+
+ 
+
+**Dikkat**: Yukarıdaki kod bir uyarı oluşturabilir, çünkü seaborn bu kadar çok veri noktasını bir swarm grafiğinde temsil edemez. Olası bir çözüm, işaretçi boyutunu küçültmektir, 'size' parametresini kullanarak. Ancak, bunun grafiğin okunabilirliğini etkilediğini unutmayın.
+
+> **🧮 Matematiği Göster**
+>
+> Lojistik regresyon, [sigmoid fonksiyonları](https://wikipedia.org/wiki/Sigmoid_function) kullanarak 'maksimum olasılık' kavramına dayanır. Bir 'Sigmoid Fonksiyonu' bir grafikte 'S' şekline benzer. Bir değeri alır ve 0 ile 1 arasında bir yere haritalar. Eğrisi ayrıca 'lojistik eğri' olarak da adlandırılır. Formülü şu şekildedir:
+>
+> 
+>
+> burada sigmoid'in orta noktası x'in 0 noktasında bulunur, L eğrinin maksimum değeridir ve k eğrinin dikliğidir. Fonksiyonun sonucu 0.5'ten büyükse, ilgili etiket ikili seçimin '1' sınıfına atanır. Değilse, '0' olarak sınıflandırılır.
+
+## Modelinizi oluşturun
+
+Bu ikili sınıflandırmaları bulmak için bir model oluşturmak Scikit-learn'de şaşırtıcı derecede basittir.
+
+[](https://youtu.be/MmZS2otPrQ8 "Başlangıç seviyesinde ML - Verilerin sınıflandırması için Lojistik Regresyon")
+
+> 🎥 Doğrusal regresyon modeli oluşturma hakkında kısa bir genel bakış için yukarıdaki resme tıklayın
+
+1. Sınıflandırma modelinizde kullanmak istediğiniz değişkenleri seçin ve `train_test_split()` çağırarak eğitim ve test setlerini ayırın:
+
+ ```python
+ from sklearn.model_selection import train_test_split
+
+ X = encoded_pumpkins[encoded_pumpkins.columns.difference(['Color'])]
+ y = encoded_pumpkins['Color']
+
+ X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+
+ ```
+
+2. Şimdi modelinizi, eğitim verilerinizle `fit()` çağırarak eğitebilir ve sonucunu yazdırabilirsiniz:
+
+ ```python
+ from sklearn.metrics import f1_score, classification_report
+ from sklearn.linear_model import LogisticRegression
+
+ model = LogisticRegression()
+ model.fit(X_train, y_train)
+ predictions = model.predict(X_test)
+
+ print(classification_report(y_test, predictions))
+ print('Predicted labels: ', predictions)
+ print('F1-score: ', f1_score(y_test, predictions))
+ ```
+
+ Modelinizin skor tablosuna bir göz atın. Yaklaşık 1000 satır veriniz olduğunu düşünürsek fena değil:
+
+ ```output
+ precision recall f1-score support
+
+ 0 0.94 0.98 0.96 166
+ 1 0.85 0.67 0.75 33
+
+ accuracy 0.92 199
+ macro avg 0.89 0.82 0.85 199
+ weighted avg 0.92 0.92 0.92 199
+
+ Predicted labels: [0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 0
+ 0 0 0 0 0 1 0 1 0 0 1 0 0 0 0 0 1 0 1 0 1 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0
+ 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 1 0 0 0 0 0 0 0 1 0
+ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 1 1 0
+ 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1
+ 0 0 0 1 0 0 0 0 0 0 0 0 1 1]
+ F1-score: 0.7457627118644068
+ ```
+
+## Bir karışıklık matrisi ile daha iyi anlama
+
+Yukarıda yazdırılan öğeleri kullanarak bir skor tablosu raporu [terimler](https://scikit-learn.org/stable/modules/generated/sklearn.metrics.classification_report.html?highlight=classification_report#sklearn.metrics.classification_report) alabilirsiniz, ancak modelinizi daha kolay anlayabilirsiniz [karışıklık matrisi](https://scikit-learn.org/stable/modules/model_evaluation.html#confusion-matrix) kullanarak modelin performansını anlamamıza yardımcı olabilir.
+
+> 🎓 Bir '[karışıklık matrisi](https://wikipedia.org/wiki/Confusion_matrix)' (veya 'hata matrisi') modelinizin gerçek vs. yanlış pozitiflerini ve negatiflerini ifade eden bir tablodur, böylece tahminlerin doğruluğunu ölçer.
+
+1. Bir karışıklık metriği kullanmak için `confusion_matrix()` çağırın:
+
+ ```python
+ from sklearn.metrics import confusion_matrix
+ confusion_matrix(y_test, predictions)
+ ```
+
+ Modelinizin karışıklık matrisine bir göz atın:
+
+ ```output
+ array([[162, 4],
+ [ 11, 22]])
+ ```
+
+Scikit-learn'de karışıklık matrisinin Satırları (eksen 0) gerçek etiketlerdir ve sütunlar (eksen 1) tahmin edilen etiketlerdir.
+
+| | 0 | 1 |
+| :---: | :---: | :---: |
+| 0 | TN | FP |
+| 1 | FN | TP |
+
+Burada ne oluyor? Diyelim ki modelimiz balkabaklarını iki ikili kategori arasında sınıflandırmakla görevlendirildi, kategori 'beyaz' ve kategori 'beyaz değil'.
+
+- Modeliniz bir balkabağını beyaz değil olarak tahmin ederse ve gerçekte kategori 'beyaz değil' ise buna doğru negatif denir, üst sol numara ile gösterilir.
+- Modeliniz bir balkabağını beyaz olarak tahmin ederse ve gerçekte kategori 'beyaz değil' ise buna yanlış negatif denir, alt sol numara ile gösterilir.
+- Modeliniz bir balkabağını beyaz değil olarak tahmin ederse ve gerçekte kategori 'beyaz' ise buna yanlış pozitif denir, üst sağ numara ile gösterilir.
+- Modeliniz bir balkabağını beyaz olarak tahmin ederse ve gerçekte kategori 'beyaz' ise buna doğru pozitif denir, alt sağ numara ile gösterilir.
+
+Tahmin edebileceğiniz gibi, daha fazla doğru pozitif ve doğru negatif ve daha az yanlış pozitif ve yanlış negatif olması tercih edilir, bu da modelin daha iyi performans gösterdiğini ima eder.
+
+Karışıklık matrisi hassasiyet ve hatırlama ile nasıl ilişkilidir? Yukarıda yazdırılan sınıflandırma raporu hassasiyet (0.85) ve hatırlama (0.67) gösterdi.
+
+Hassasiyet = tp / (tp + fp) = 22 / (22 + 4) = 0.8461538461538461
+
+Hatırlama = tp / (tp + fn) = 22 / (22 + 11) = 0.6666666666666666
+
+✅ S: Karışıklık matrisine göre model nasıl performans gösterdi? C: Fena değil; çok sayıda doğru negatif var ama aynı zamanda birkaç yanlış negatif de var.
+
+Karışıklık matrisinin TP/TN ve FP/FN eşlemesi ile daha önce gördüğümüz terimleri yeniden gözden geçirelim:
+
+🎓 Hassasiyet: TP/(TP + FP) Geri getirilen örnekler arasında ilgili örneklerin kesri (örneğin, hangi etiketler iyi etiketlenmişti)
+
+🎓 Hatırlama: TP/(TP + FN) İlgili örneklerin kesri, geri getirilen, iyi etiketlenmiş olsun ya da olmasın
+
+🎓 f1-skore: (2 * hassasiyet * hatırlama)/(hassasiyet + hatırlama) Hassasiyet ve hatırlamanın ağırlıklı ortalaması, en iyisi 1 ve en kötüsü 0
+
+🎓 Destek: Geri getirilen her etiketin oluşum sayısı
+
+🎓 Doğruluk: (TP + TN)/(TP + TN + FP + FN) Bir örnek için doğru tahmin edilen etiketlerin yüzdesi.
+
+🎓 Makro Ortalama: Her etiket için ağırlıksız ortalama metriklerin hesaplanması, etiket dengesizliğini dikkate almadan.
+
+🎓 Ağırlıklı Ortalama: Her etiket için ortalama metriklerin hesaplanması, desteklerine (her etiket için gerçek örneklerin sayısı) göre ağırlıklandırarak etiket dengesizliğini dikkate alarak.
+
+✅ Modelinizin yanlış negatif sayısını azaltmasını istiyorsanız hangi metriği izlemeniz gerektiğini düşünebilir misiniz?
+
+## Bu modelin ROC eğrisini görselleştirin
+
+**Feragatname**:
+Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluğu sağlamak için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belge, kendi dilinde yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz.
\ No newline at end of file
diff --git a/translations/tr/2-Regression/4-Logistic/assignment.md b/translations/tr/2-Regression/4-Logistic/assignment.md
new file mode 100644
index 000000000..71ec55a77
--- /dev/null
+++ b/translations/tr/2-Regression/4-Logistic/assignment.md
@@ -0,0 +1,14 @@
+# Bazı Regresyonları Tekrar Denemek
+
+## Talimatlar
+
+Ders sırasında balkabağı verilerinin bir alt kümesini kullandınız. Şimdi, orijinal verilere geri dönün ve tamamını, temizlenmiş ve standartlaştırılmış haliyle, kullanarak bir Lojistik Regresyon modeli oluşturmayı deneyin.
+
+## Değerlendirme Kriterleri
+
+| Kriterler | Mükemmel | Yeterli | Geliştirme Gerekiyor |
+| --------- | ---------------------------------------------------------------------- | ----------------------------------------------------------- | ----------------------------------------------------------- |
+| | İyi açıklanmış ve iyi performans gösteren bir modelle bir defter sunulmuştur | Minimum performans gösteren bir modelle bir defter sunulmuştur | Düşük performans gösteren bir modelle veya hiç model sunulmamıştır |
+
+**Feragatname**:
+Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belgenin kendi dilindeki hali, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından doğabilecek herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz.
\ No newline at end of file
diff --git a/translations/tr/2-Regression/4-Logistic/solution/Julia/README.md b/translations/tr/2-Regression/4-Logistic/solution/Julia/README.md
new file mode 100644
index 000000000..4deba144c
--- /dev/null
+++ b/translations/tr/2-Regression/4-Logistic/solution/Julia/README.md
@@ -0,0 +1,4 @@
+
+
+**Feragatname**:
+Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belgenin kendi dilindeki hali yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi tavsiye edilir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz.
\ No newline at end of file
diff --git a/translations/tr/2-Regression/README.md b/translations/tr/2-Regression/README.md
new file mode 100644
index 000000000..f88d8450f
--- /dev/null
+++ b/translations/tr/2-Regression/README.md
@@ -0,0 +1,43 @@
+# Makine öğrenmesi için regresyon modelleri
+## Bölgesel konu: Kuzey Amerika'da balkabağı fiyatları için regresyon modelleri 🎃
+
+Kuzey Amerika'da balkabakları, Cadılar Bayramı için korkunç yüzler oymak amacıyla sıkça kullanılır. Bu büyüleyici sebzeler hakkında daha fazla bilgi edinelim!
+
+
+> Fotoğraf Beth Teutschmann tarafından Unsplash'ta
+
+## Öğrenecekleriniz
+
+[](https://youtu.be/5QnJtDad4iQ "Regresyon Tanıtım videosu - İzlemek için Tıklayın!")
+> 🎥 Bu ders için kısa bir tanıtım videosu izlemek için yukarıdaki resme tıklayın
+
+Bu bölümdeki dersler, makine öğrenmesi bağlamında regresyon türlerini ele alır. Regresyon modelleri, değişkenler arasındaki _ilişkiyi_ belirlemeye yardımcı olabilir. Bu tür bir model, uzunluk, sıcaklık veya yaş gibi değerleri tahmin edebilir, böylece veri noktalarını analiz ederken değişkenler arasındaki ilişkileri ortaya çıkarabilir.
+
+Bu ders serisinde, doğrusal ve lojistik regresyon arasındaki farkları ve ne zaman birini diğerine tercih etmeniz gerektiğini keşfedeceksiniz.
+
+[](https://youtu.be/XA3OaoW86R8 "Başlangıç seviyesindekiler için ML - Makine Öğrenmesi için Regresyon Modellerine Giriş")
+
+> 🎥 Regresyon modellerini tanıtan kısa bir video izlemek için yukarıdaki resme tıklayın.
+
+Bu ders grubunda, makine öğrenmesi görevlerine başlamak için gerekli ayarları yapacaksınız, bunlar arasında veri bilimciler için ortak bir ortam olan notebookları yönetmek için Visual Studio Code'u yapılandırmak da bulunur. Makine öğrenmesi için bir kütüphane olan Scikit-learn'ü keşfedeceksiniz ve bu bölümde Regresyon modellerine odaklanarak ilk modellerinizi oluşturacaksınız.
+
+> Regresyon modelleriyle çalışmayı öğrenmenize yardımcı olabilecek kullanışlı düşük kod araçlar vardır. Bu görev için [Azure ML'i deneyin](https://docs.microsoft.com/learn/modules/create-regression-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott)
+
+### Dersler
+
+1. [Ticaretin araçları](1-Tools/README.md)
+2. [Veri yönetimi](2-Data/README.md)
+3. [Doğrusal ve polinom regresyon](3-Linear/README.md)
+4. [Lojistik regresyon](4-Logistic/README.md)
+
+---
+### Katkıda Bulunanlar
+
+"Regresyon ile ML" [Jen Looper](https://twitter.com/jenlooper) tarafından ♥️ ile yazılmıştır
+
+♥️ Quiz katkıcıları arasında: [Muhammad Sakib Khan Inan](https://twitter.com/Sakibinan) ve [Ornella Altunyan](https://twitter.com/ornelladotcom) bulunur
+
+Balkabağı veri seti [bu Kaggle projesi](https://www.kaggle.com/usda/a-year-of-pumpkin-prices) tarafından önerilmiştir ve veriler Amerika Birleşik Devletleri Tarım Bakanlığı tarafından dağıtılan [Specialty Crops Terminal Markets Standard Reports](https://www.marketnews.usda.gov/mnp/fv-report-config-step1?type=termPrice)'tan alınmıştır. Dağılımı normalize etmek için çeşide dayalı olarak renkle ilgili bazı noktalar ekledik. Bu veriler kamu malıdır.
+
+**Feragatname**:
+Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluğu sağlamak için çaba sarf etsek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal dili, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından doğabilecek herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz.
\ No newline at end of file
diff --git a/translations/tr/3-Web-App/1-Web-App/README.md b/translations/tr/3-Web-App/1-Web-App/README.md
new file mode 100644
index 000000000..c129e60a2
--- /dev/null
+++ b/translations/tr/3-Web-App/1-Web-App/README.md
@@ -0,0 +1,348 @@
+# Bir ML Modelini Kullanmak için Web Uygulaması Oluşturun
+
+Bu derste, _son yüzyıldaki UFO gözlemleri_ gibi dünyadışı bir veri seti üzerinde bir ML modeli eğiteceksiniz. Bu veriler NUFORC'un veritabanından alınmıştır.
+
+Öğreneceğiniz konular:
+
+- Eğitilmiş bir modeli nasıl 'pickle' yapacağınız
+- Bu modeli bir Flask uygulamasında nasıl kullanacağınız
+
+Verileri temizlemek ve modelimizi eğitmek için defterleri kullanmaya devam edeceğiz, ancak süreci bir adım öteye taşıyarak, modelinizi bir web uygulamasında kullanmayı keşfedebilirsiniz.
+
+Bunu yapmak için Flask kullanarak bir web uygulaması oluşturmanız gerekecek.
+
+## [Ders Öncesi Testi](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/17/)
+
+## Bir Uygulama Oluşturmak
+
+Makine öğrenimi modellerini tüketen web uygulamaları oluşturmanın birkaç yolu vardır. Web mimariniz, modelinizin nasıl eğitildiğini etkileyebilir. Bir işletmede çalıştığınızı ve veri bilimi grubunun bir model eğittiğini ve bu modeli bir uygulamada kullanmanızı istediğini hayal edin.
+
+### Dikkat Edilmesi Gerekenler
+
+Sormanız gereken birçok soru var:
+
+- **Bu bir web uygulaması mı yoksa mobil uygulama mı?** Bir mobil uygulama oluşturuyorsanız veya modeli bir IoT bağlamında kullanmanız gerekiyorsa, [TensorFlow Lite](https://www.tensorflow.org/lite/) kullanarak modeli bir Android veya iOS uygulamasında kullanabilirsiniz.
+- **Model nerede bulunacak?** Bulutta mı yoksa yerel olarak mı?
+- **Çevrimdışı destek.** Uygulamanın çevrimdışı çalışması gerekiyor mu?
+- **Modeli eğitmek için hangi teknoloji kullanıldı?** Seçilen teknoloji, kullanmanız gereken araçları etkileyebilir.
+ - **TensorFlow Kullanmak.** Örneğin, TensorFlow kullanarak bir model eğitiyorsanız, bu ekosistem, [TensorFlow.js](https://www.tensorflow.org/js/) kullanarak bir web uygulamasında kullanmak üzere bir TensorFlow modelini dönüştürme yeteneği sağlar.
+ - **PyTorch Kullanmak.** [PyTorch](https://pytorch.org/) gibi bir kütüphane kullanarak bir model oluşturuyorsanız, modeli JavaScript web uygulamalarında kullanmak üzere [Onnx Runtime](https://www.onnxruntime.ai/) kullanarak [ONNX](https://onnx.ai/) (Open Neural Network Exchange) formatında dışa aktarma seçeneğiniz vardır. Bu seçenek, gelecekteki bir derste Scikit-learn ile eğitilmiş bir model için incelenecektir.
+ - **Lobe.ai veya Azure Custom Vision Kullanmak.** [Lobe.ai](https://lobe.ai/) veya [Azure Custom Vision](https://azure.microsoft.com/services/cognitive-services/custom-vision-service/?WT.mc_id=academic-77952-leestott) gibi bir ML SaaS (Hizmet Olarak Yazılım) sistemi kullanarak bir model eğitiyorsanız, bu tür yazılımlar, modeli birçok platform için dışa aktarma yolları sağlar, bu da çevrimiçi uygulamanız tarafından bulutta sorgulanacak özel bir API oluşturmayı içerir.
+
+Ayrıca, modelin kendisini bir web tarayıcısında eğitebilecek bir Flask web uygulaması oluşturma fırsatınız da var. Bu, bir JavaScript bağlamında TensorFlow.js kullanılarak da yapılabilir.
+
+Bizim amacımız için, Python tabanlı defterlerle çalıştığımızdan, eğitilmiş bir modeli bu tür bir defterden Python ile oluşturulmuş bir web uygulaması tarafından okunabilir bir formata nasıl dışa aktaracağınızı inceleyelim.
+
+## Araç
+
+Bu görev için iki araca ihtiyacınız var: Flask ve Pickle, her ikisi de Python üzerinde çalışır.
+
+✅ [Flask](https://palletsprojects.com/p/flask/) nedir? Yaratıcıları tarafından bir 'mikro-çerçeve' olarak tanımlanan Flask, Python kullanarak web çerçevelerinin temel özelliklerini ve web sayfaları oluşturmak için bir şablon motoru sağlar. Flask ile inşa etmeyi pratik yapmak için [bu Öğrenme modülüne](https://docs.microsoft.com/learn/modules/python-flask-build-ai-web-app?WT.mc_id=academic-77952-leestott) göz atın.
+
+✅ [Pickle](https://docs.python.org/3/library/pickle.html) nedir? Pickle 🥒, bir Python nesne yapısını serileştiren ve serileştiren bir Python modülüdür. Bir modeli 'pickle' yaptığınızda, yapısını webde kullanmak üzere serileştirir veya düzleştirirsiniz. Dikkatli olun: pickle doğası gereği güvenli değildir, bu yüzden bir dosyayı 'un-pickle' yapmanız istendiğinde dikkatli olun. Bir pickled dosyası `.pkl` uzantısına sahiptir.
+
+## Alıştırma - verilerinizi temizleyin
+
+Bu derste, [NUFORC](https://nuforc.org) (Ulusal UFO Raporlama Merkezi) tarafından toplanan 80.000 UFO gözleminden veri kullanacaksınız. Bu veriler, UFO gözlemlerine dair ilginç açıklamalar içerir, örneğin:
+
+- **Uzun örnek açıklama.** "Bir adam geceleyin çimenli bir alana parlayan bir ışık huzmesinden çıkar ve Texas Instruments otoparkına doğru koşar".
+- **Kısa örnek açıklama.** "ışıklar bizi kovaladı".
+
+[ufos.csv](../../../../3-Web-App/1-Web-App/data/ufos.csv) elektronik tablosu, gözlemin `city`, `state` ve `country` nerede gerçekleştiği, nesnenin `shape` ve `latitude` ve `longitude` ile ilgili sütunları içerir.
+
+Bu derste yer alan boş [notebook](../../../../3-Web-App/1-Web-App/notebook.ipynb) dosyasında:
+
+1. Önceki derslerde yaptığınız gibi `pandas`, `matplotlib` ve `numpy` içe aktarın ve ufos elektronik tablosunu içe aktarın. Örnek bir veri setine göz atabilirsiniz:
+
+ ```python
+ import pandas as pd
+ import numpy as np
+
+ ufos = pd.read_csv('./data/ufos.csv')
+ ufos.head()
+ ```
+
+1. Ufolar verilerini yeni başlıklarla küçük bir dataframe'e dönüştürün. `Country` alanındaki benzersiz değerleri kontrol edin.
+
+ ```python
+ ufos = pd.DataFrame({'Seconds': ufos['duration (seconds)'], 'Country': ufos['country'],'Latitude': ufos['latitude'],'Longitude': ufos['longitude']})
+
+ ufos.Country.unique()
+ ```
+
+1. Şimdi, ele almamız gereken veri miktarını azaltmak için herhangi bir boş değeri atabilir ve sadece 1-60 saniye arasındaki gözlemleri içe aktarabilirsiniz:
+
+ ```python
+ ufos.dropna(inplace=True)
+
+ ufos = ufos[(ufos['Seconds'] >= 1) & (ufos['Seconds'] <= 60)]
+
+ ufos.info()
+ ```
+
+1. Metin değerlerini ülkelere dönüştürmek için Scikit-learn'ün `LabelEncoder` kütüphanesini içe aktarın:
+
+ ✅ LabelEncoder verileri alfabetik olarak kodlar
+
+ ```python
+ from sklearn.preprocessing import LabelEncoder
+
+ ufos['Country'] = LabelEncoder().fit_transform(ufos['Country'])
+
+ ufos.head()
+ ```
+
+ Verileriniz şu şekilde görünmelidir:
+
+ ```output
+ Seconds Country Latitude Longitude
+ 2 20.0 3 53.200000 -2.916667
+ 3 20.0 4 28.978333 -96.645833
+ 14 30.0 4 35.823889 -80.253611
+ 23 60.0 4 45.582778 -122.352222
+ 24 3.0 3 51.783333 -0.783333
+ ```
+
+## Alıştırma - modelinizi oluşturun
+
+Şimdi verileri eğitim ve test gruplarına ayırarak bir model eğitmeye hazır olabilirsiniz.
+
+1. Eğitmek istediğiniz üç özelliği X vektörü olarak seçin ve y vektörü `Country`. You want to be able to input `Seconds`, `Latitude` and `Longitude` olacak ve bir ülke kimliği döndürecek.
+
+ ```python
+ from sklearn.model_selection import train_test_split
+
+ Selected_features = ['Seconds','Latitude','Longitude']
+
+ X = ufos[Selected_features]
+ y = ufos['Country']
+
+ X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+ ```
+
+1. Modelinizi lojistik regresyon kullanarak eğitin:
+
+ ```python
+ from sklearn.metrics import accuracy_score, classification_report
+ from sklearn.linear_model import LogisticRegression
+ model = LogisticRegression()
+ model.fit(X_train, y_train)
+ predictions = model.predict(X_test)
+
+ print(classification_report(y_test, predictions))
+ print('Predicted labels: ', predictions)
+ print('Accuracy: ', accuracy_score(y_test, predictions))
+ ```
+
+Doğruluk fena değil **(yaklaşık %95)**, şaşırtıcı değil, çünkü `Country` and `Latitude/Longitude` correlate.
+
+The model you created isn't very revolutionary as you should be able to infer a `Country` from its `Latitude` and `Longitude`, ancak ham verilerden temizlediğiniz, dışa aktardığınız ve ardından bu modeli bir web uygulamasında kullandığınız bir modeli eğitmeye çalışmak iyi bir egzersizdir.
+
+## Alıştırma - modelinizi 'pickle' yapın
+
+Şimdi, modelinizi _pickle_ yapma zamanı! Bunu birkaç satır kodla yapabilirsiniz. Bir kez _pickled_ olduktan sonra, pickled modelinizi yükleyin ve saniye, enlem ve boylam değerlerini içeren bir örnek veri dizisine karşı test edin,
+
+```python
+import pickle
+model_filename = 'ufo-model.pkl'
+pickle.dump(model, open(model_filename,'wb'))
+
+model = pickle.load(open('ufo-model.pkl','rb'))
+print(model.predict([[50,44,-12]]))
+```
+
+Model **'3'** değerini döndürüyor, bu da Birleşik Krallık için ülke kodu. Harika! 👽
+
+## Alıştırma - bir Flask uygulaması oluşturun
+
+Şimdi modelinizi çağıracak ve benzer sonuçlar döndürecek, ancak daha görsel olarak hoş bir şekilde, bir Flask uygulaması oluşturabilirsiniz.
+
+1. _notebook.ipynb_ dosyasının yanında **web-app** adlı bir klasör oluşturun ve _ufo-model.pkl_ dosyanızın bulunduğu yer.
+
+1. Bu klasörde üç klasör daha oluşturun: **static**, içinde bir **css** klasörü bulunan ve **templates**. Şimdi aşağıdaki dosya ve dizinlere sahip olmalısınız:
+
+ ```output
+ web-app/
+ static/
+ css/
+ templates/
+ notebook.ipynb
+ ufo-model.pkl
+ ```
+
+ ✅ Bitmiş uygulamanın bir görünümünü görmek için çözüm klasörüne başvurun
+
+1. _web-app_ klasöründe oluşturulacak ilk dosya **requirements.txt** dosyasıdır. Bir JavaScript uygulamasındaki _package.json_ gibi, bu dosya uygulama tarafından gerekli bağımlılıkları listeler. **requirements.txt** dosyasına şu satırları ekleyin:
+
+ ```text
+ scikit-learn
+ pandas
+ numpy
+ flask
+ ```
+
+1. Şimdi, _web-app_ klasörüne giderek bu dosyayı çalıştırın:
+
+ ```bash
+ cd web-app
+ ```
+
+1. Terminalinizde `pip install` yazarak _requirements.txt_ dosyasında listelenen kütüphaneleri yükleyin:
+
+ ```bash
+ pip install -r requirements.txt
+ ```
+
+1. Şimdi, uygulamayı bitirmek için üç dosya daha oluşturmaya hazırsınız:
+
+ 1. Kök dizinde **app.py** oluşturun.
+ 2. _templates_ dizininde **index.html** oluşturun.
+ 3. _static/css_ dizininde **styles.css** oluşturun.
+
+1. _styles.css_ dosyasını birkaç stil ile oluşturun:
+
+ ```css
+ body {
+ width: 100%;
+ height: 100%;
+ font-family: 'Helvetica';
+ background: black;
+ color: #fff;
+ text-align: center;
+ letter-spacing: 1.4px;
+ font-size: 30px;
+ }
+
+ input {
+ min-width: 150px;
+ }
+
+ .grid {
+ width: 300px;
+ border: 1px solid #2d2d2d;
+ display: grid;
+ justify-content: center;
+ margin: 20px auto;
+ }
+
+ .box {
+ color: #fff;
+ background: #2d2d2d;
+ padding: 12px;
+ display: inline-block;
+ }
+ ```
+
+1. Ardından, _index.html_ dosyasını oluşturun:
+
+ ```html
+
+
+
+
+ 🛸 UFO Appearance Prediction! 👽 + + + + ++ ++ + + + ``` + + Bu dosyadaki şablonlamaya bir göz atın. Uygulama tarafından sağlanacak değişkenler etrafındaki 'bıyık' sözdizimine dikkat edin, örneğin tahmin metni: `{{}}`. There's also a form that posts a prediction to the `/predict` route. + + Finally, you're ready to build the python file that drives the consumption of the model and the display of predictions: + +1. In `app.py` ekleyin: + + ```python + import numpy as np + from flask import Flask, request, render_template + import pickle + + app = Flask(__name__) + + model = pickle.load(open("./ufo-model.pkl", "rb")) + + + @app.route("/") + def home(): + return render_template("index.html") + + + @app.route("/predict", methods=["POST"]) + def predict(): + + int_features = [int(x) for x in request.form.values()] + final_features = [np.array(int_features)] + prediction = model.predict(final_features) + + output = prediction[0] + + countries = ["Australia", "Canada", "Germany", "UK", "US"] + + return render_template( + "index.html", prediction_text="Likely country: {}".format(countries[output]) + ) + + + if __name__ == "__main__": + app.run(debug=True) + ``` + + > 💡 İpucu: [`debug=True`](https://www.askpython.com/python-modules/flask/flask-debug-mode) while running the web app using Flask, any changes you make to your application will be reflected immediately without the need to restart the server. Beware! Don't enable this mode in a production app. + +If you run `python app.py` or `python3 app.py` - your web server starts up, locally, and you can fill out a short form to get an answer to your burning question about where UFOs have been sighted! + +Before doing that, take a look at the parts of `app.py`: + +1. First, dependencies are loaded and the app starts. +1. Then, the model is imported. +1. Then, index.html is rendered on the home route. + +On the `/predict` route, several things happen when the form is posted: + +1. The form variables are gathered and converted to a numpy array. They are then sent to the model and a prediction is returned. +2. The Countries that we want displayed are re-rendered as readable text from their predicted country code, and that value is sent back to index.html to be rendered in the template. + +Using a model this way, with Flask and a pickled model, is relatively straightforward. The hardest thing is to understand what shape the data is that must be sent to the model to get a prediction. That all depends on how the model was trained. This one has three data points to be input in order to get a prediction. + +In a professional setting, you can see how good communication is necessary between the folks who train the model and those who consume it in a web or mobile app. In our case, it's only one person, you! + +--- + +## 🚀 Challenge + +Instead of working in a notebook and importing the model to the Flask app, you could train the model right within the Flask app! Try converting your Python code in the notebook, perhaps after your data is cleaned, to train the model from within the app on a route called `train`. Bu yöntemi takip etmenin artıları ve eksileri nelerdir? + +## [Ders Sonrası Testi](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/18/) + +## Gözden Geçirme ve Kendi Kendine Çalışma + +ML modellerini tüketen bir web uygulaması oluşturmanın birçok yolu vardır. Makine öğrenimini kullanmak için JavaScript veya Python kullanarak bir web uygulaması oluşturmanın yollarını listeleyin. Mimariyi göz önünde bulundurun: model uygulamada mı kalmalı yoksa bulutta mı yaşamalı? Eğer ikinci seçenekse, ona nasıl erişirsiniz? Uygulamalı bir ML web çözümü için bir mimari model çizin. + +## Ödev + +[Farklı bir model deneyin](assignment.md) + +**Feragatname**: +Bu belge, makine tabanlı AI çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluğu sağlamak için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belgenin kendi dilindeki hali yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi tavsiye edilir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/3-Web-App/1-Web-App/assignment.md b/translations/tr/3-Web-App/1-Web-App/assignment.md new file mode 100644 index 000000000..70c683ff4 --- /dev/null +++ b/translations/tr/3-Web-App/1-Web-App/assignment.md @@ -0,0 +1,14 @@ +# Farklı bir model deneyin + +## Talimatlar + +Eğitilmiş bir Regresyon modeli kullanarak bir web uygulaması oluşturduğunuza göre, bu web uygulamasını yeniden yapmak için önceki bir Regresyon dersinden bir modeli kullanın. Stili koruyabilir veya balkabağı verilerini yansıtacak şekilde farklı bir tasarım yapabilirsiniz. Modelinizin eğitim yöntemini yansıtmak için girdileri değiştirmeye dikkat edin. + +## Değerlendirme Kriterleri + +| Kriterler | Mükemmel | Yeterli | Geliştirme Gerekiyor | +| ------------------------- | -------------------------------------------------------- | -------------------------------------------------------- | ---------------------------------- | +| Web uygulaması beklenildiği gibi çalışıyor ve buluta dağıtılmış | Web uygulaması hatalar içeriyor veya beklenmedik sonuçlar veriyor | Web uygulaması düzgün çalışmıyor | + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluğu sağlamak için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal dili, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi tavsiye edilir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/3-Web-App/README.md b/translations/tr/3-Web-App/README.md new file mode 100644 index 000000000..9f23427a4 --- /dev/null +++ b/translations/tr/3-Web-App/README.md @@ -0,0 +1,24 @@ +# ML modelinizi kullanmak için bir web uygulaması oluşturun + +Bu müfredat bölümünde, uygulamalı bir ML konusuyla tanışacaksınız: Scikit-learn modelinizi bir web uygulamasında tahminler yapmak için kullanılabilecek bir dosya olarak nasıl kaydedeceğinizi öğreneceksiniz. Model kaydedildikten sonra, Flask ile oluşturulmuş bir web uygulamasında nasıl kullanılacağını öğreneceksiniz. İlk olarak, UFO gözlemleri hakkında bazı veriler kullanarak bir model oluşturacaksınız! Daha sonra, belirli bir süre, enlem ve boylam değeri girerek hangi ülkenin bir UFO gördüğünü bildirdiğini tahmin etmenizi sağlayacak bir web uygulaması oluşturacaksınız. + + + +Fotoğraf: Michael Herren tarafından Unsplash + +## Dersler + +1. [Bir Web Uygulaması Oluşturun](1-Web-App/README.md) + +## Katkıda Bulunanlar + +"Bir Web Uygulaması Oluşturun" ♥️ ile [Jen Looper](https://twitter.com/jenlooper) tarafından yazılmıştır. + +♥️ Quizler Rohan Raj tarafından yazılmıştır. + +Veri seti [Kaggle](https://www.kaggle.com/NUFORC/ufo-sightings) kaynağından alınmıştır. + +Web uygulaması mimarisi kısmen [bu makale](https://towardsdatascience.com/how-to-easily-deploy-machine-learning-models-using-flask-b95af8fe34d4) ve Abhinav Sagar tarafından [bu repo](https://github.com/abhinavsagar/machine-learning-deployment) tarafından önerilmiştir. + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluğu sağlamak için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belgenin kendi dilindeki hali yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından doğabilecek yanlış anlaşılmalar veya yanlış yorumlamalardan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/4-Classification/1-Introduction/README.md b/translations/tr/4-Classification/1-Introduction/README.md new file mode 100644 index 000000000..5b27e0cec --- /dev/null +++ b/translations/tr/4-Classification/1-Introduction/README.md @@ -0,0 +1,302 @@ +# Sınıflandırmaya Giriş + +Bu dört derste, klasik makine öğreniminin temel odak noktalarından biri olan _sınıflandırma_ konusunu keşfedeceksiniz. Asya ve Hindistan'ın tüm muhteşem mutfakları hakkında bir veri kümesi kullanarak çeşitli sınıflandırma algoritmalarını adım adım inceleyeceğiz. Umarım açsınızdır! + + + +> Bu derslerde pan-Asya mutfaklarını kutlayın! Görsel: [Jen Looper](https://twitter.com/jenlooper) + +Sınıflandırma, regresyon teknikleriyle birçok ortak noktası olan bir [denetimli öğrenme](https://wikipedia.org/wiki/Supervised_learning) türüdür. Makine öğrenimi, veri kümelerini kullanarak değerlere veya isimlere tahminlerde bulunmakla ilgiliyse, sınıflandırma genellikle iki gruba ayrılır: _ikili sınıflandırma_ ve _çok sınıflı sınıflandırma_. + +[](https://youtu.be/eg8DJYwdMyg "Sınıflandırmaya giriş") + +> 🎥 Yukarıdaki görsele tıklayarak bir video izleyin: MIT'den John Guttag sınıflandırmayı tanıtıyor + +Unutmayın: + +- **Doğrusal regresyon** size değişkenler arasındaki ilişkileri tahmin etmenize ve yeni bir veri noktasının bu çizgiyle ilişkili olarak nereye düşeceğini doğru bir şekilde tahmin etmenize yardımcı oldu. Örneğin, _Eylül ve Aralık aylarında bir kabağın fiyatının ne olacağını_ tahmin edebilirsiniz. +- **Lojistik regresyon** size "ikili kategorileri" keşfetmenize yardımcı oldu: bu fiyat noktasında, _bu kabak turuncu mu yoksa turuncu değil mi_? + +Sınıflandırma, bir veri noktasının etiketini veya sınıfını belirlemenin çeşitli yollarını belirlemek için çeşitli algoritmalar kullanır. Bu mutfak verileriyle çalışarak, bir grup malzemeyi gözlemleyerek hangi mutfağa ait olduğunu belirleyip belirleyemeyeceğimizi görelim. + +## [Ders öncesi sınav](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/19/) + +> ### [Bu ders R dilinde de mevcut!](../../../../4-Classification/1-Introduction/solution/R/lesson_10.html) + +### Giriş + +Sınıflandırma, makine öğrenimi araştırmacısının ve veri bilimcisinin temel faaliyetlerinden biridir. Temel bir ikili değerin sınıflandırılmasından ("bu e-posta spam mi değil mi?") karmaşık görüntü sınıflandırma ve segmentasyonuna kadar, verileri sınıflara ayırmak ve sorular sormak her zaman faydalıdır. + +Bu süreci daha bilimsel bir şekilde ifade etmek gerekirse, sınıflandırma yönteminiz, giriş değişkenleri ile çıkış değişkenleri arasındaki ilişkiyi haritalamanıza olanak tanıyan bir tahmin modeli oluşturur. + + + +> Sınıflandırma algoritmalarının ele alması gereken ikili ve çok sınıflı sorunlar. Bilgilendirme görseli: [Jen Looper](https://twitter.com/jenlooper) + +Verilerimizi temizleme, görselleştirme ve ML görevlerimize hazırlama sürecine başlamadan önce, makine öğreniminin verileri sınıflandırmak için nasıl kullanılabileceğini biraz öğrenelim. + +[istatistiklerden](https://wikipedia.org/wiki/Statistical_classification) türetilen klasik makine öğrenimi kullanarak sınıflandırma, X hastalığının gelişme olasılığını belirlemek için `smoker`, `weight` ve `age` gibi özellikler kullanır. Daha önce gerçekleştirdiğiniz regresyon egzersizlerine benzer denetimli bir öğrenme tekniği olarak, verileriniz etiketlenmiştir ve ML algoritmaları bu etiketleri kullanarak bir veri kümesinin sınıflarını (veya 'özelliklerini') sınıflandırır ve tahmin eder ve bunları bir gruba veya sonuca atar. + +✅ Bir mutfak hakkında bir veri kümesi hayal etmek için bir an durun. Çok sınıflı bir model neyi cevaplayabilir? İkili bir model neyi cevaplayabilir? Belirli bir mutfağın çemen otu kullanma olasılığını belirlemek isteseydiniz ne olurdu? Bir torba yıldız anason, enginar, karnabahar ve yaban turpu dolu bir hediye alırsanız, tipik bir Hint yemeği yapıp yapamayacağınızı görmek isteseydiniz ne olurdu? + +[](https://youtu.be/GuTeDbaNoEU "Çılgın gizem sepetleri") + +> 🎥 Yukarıdaki görsele tıklayarak bir video izleyin. 'Chopped' adlı programın tüm konusu, şeflerin rastgele seçilen malzemelerden bir yemek yapmaları gereken 'gizem sepeti'dir. Kesinlikle bir ML modeli yardımcı olurdu! + +## Merhaba 'sınıflandırıcı' + +Bu mutfak veri kümesine sormak istediğimiz soru aslında bir **çok sınıflı soru**, çünkü çalışmak için birkaç potansiyel ulusal mutfak var. Bir grup malzeme verildiğinde, bu birçok sınıftan hangisine veri uyacak? + +Scikit-learn, çözmek istediğiniz sorunun türüne bağlı olarak verileri sınıflandırmak için kullanabileceğiniz birkaç farklı algoritma sunar. Önümüzdeki iki derste, bu algoritmalardan birkaçını öğreneceksiniz. + +## Egzersiz - verilerinizi temizleyin ve dengeleyin + +Bu projeye başlamadan önce yapılacak ilk görev, verilerinizi temizlemek ve daha iyi sonuçlar almak için **dengelemek**. Bu klasörün kökünde bulunan boş _notebook.ipynb_ dosyasıyla başlayın. + +İlk olarak kurulacak şey [imblearn](https://imbalanced-learn.org/stable/). Bu, verileri daha iyi dengelemenizi sağlayacak bir Scikit-learn paketidir (bu görev hakkında birazdan daha fazla bilgi edineceksiniz). + +1. `imblearn` kurmak için, `pip install` çalıştırın, şöyle: + + ```python + pip install imblearn + ``` + +1. Verilerinizi içe aktarmak ve görselleştirmek için ihtiyaç duyduğunuz paketleri içe aktarın, ayrıca `imblearn`'den `SMOTE`'u içe aktarın. + + ```python + import pandas as pd + import matplotlib.pyplot as plt + import matplotlib as mpl + import numpy as np + from imblearn.over_sampling import SMOTE + ``` + + Şimdi verileri içe aktarmaya hazırsınız. + +1. Bir sonraki görev verileri içe aktarmak olacak: + + ```python + df = pd.read_csv('../data/cuisines.csv') + ``` + + `read_csv()` will read the content of the csv file _cusines.csv_ and place it in the variable `df` kullanarak. + +1. Verilerin şeklini kontrol edin: + + ```python + df.head() + ``` + + İlk beş satır şöyle görünüyor: + + ```output + | | Unnamed: 0 | cuisine | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | + | --- | ---------- | ------- | ------ | -------- | ----- | ---------- | ----- | ------------ | ------- | -------- | --- | ------- | ----------- | ---------- | ----------------------- | ---- | ---- | --- | ----- | ------ | -------- | + | 0 | 65 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 1 | 66 | indian | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 2 | 67 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 3 | 68 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 4 | 69 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | + ``` + +1. Bu veriler hakkında bilgi almak için `info()` çağırın: + + ```python + df.info() + ``` + + Çıktınız şu şekilde görünüyor: + + ```output ++ ++ +According to the number of seconds, latitude and longitude, which country is likely to have reported seeing a UFO?
+ + + +{{ prediction_text }}
+ ++ RangeIndex: 2448 entries, 0 to 2447 + Columns: 385 entries, Unnamed: 0 to zucchini + dtypes: int64(384), object(1) + memory usage: 7.2+ MB + ``` + +## Egzersiz - mutfaklar hakkında bilgi edinme + +Şimdi işler daha ilginç hale gelmeye başlıyor. Verilerin dağılımını keşfedelim, mutfak başına + +1. `barh()` çağırarak verileri çubuk grafik olarak çizin: + + ```python + df.cuisine.value_counts().plot.barh() + ``` + +  + + Sınırlı sayıda mutfak var, ancak veri dağılımı düzensiz. Bunu düzeltebilirsiniz! Bunu yapmadan önce, biraz daha keşfedin. + +1. Mutfak başına ne kadar veri olduğunu öğrenin ve yazdırın: + + ```python + thai_df = df[(df.cuisine == "thai")] + japanese_df = df[(df.cuisine == "japanese")] + chinese_df = df[(df.cuisine == "chinese")] + indian_df = df[(df.cuisine == "indian")] + korean_df = df[(df.cuisine == "korean")] + + print(f'thai df: {thai_df.shape}') + print(f'japanese df: {japanese_df.shape}') + print(f'chinese df: {chinese_df.shape}') + print(f'indian df: {indian_df.shape}') + print(f'korean df: {korean_df.shape}') + ``` + + çıktı şöyle görünüyor: + + ```output + thai df: (289, 385) + japanese df: (320, 385) + chinese df: (442, 385) + indian df: (598, 385) + korean df: (799, 385) + ``` + +## Malzemeleri keşfetme + +Şimdi verileri daha derinlemesine inceleyebilir ve her mutfak için tipik malzemelerin neler olduğunu öğrenebilirsiniz. Mutfaklar arasında karışıklığa neden olan tekrarlayan verileri temizlemelisiniz, bu yüzden bu sorunu öğrenelim. + +1. Bir malzeme veri çerçevesi oluşturmak için Python'da `create_ingredient()` fonksiyonunu oluşturun. Bu fonksiyon, işe yaramayan bir sütunu kaldırarak ve malzemeleri sayısına göre sıralayarak başlayacak: + + ```python + def create_ingredient_df(df): + ingredient_df = df.T.drop(['cuisine','Unnamed: 0']).sum(axis=1).to_frame('value') + ingredient_df = ingredient_df[(ingredient_df.T != 0).any()] + ingredient_df = ingredient_df.sort_values(by='value', ascending=False, + inplace=False) + return ingredient_df + ``` + + Şimdi bu fonksiyonu, her mutfak için en popüler on malzeme hakkında bir fikir edinmek için kullanabilirsiniz. + +1. `create_ingredient()` and plot it calling `barh()` çağırın: + + ```python + thai_ingredient_df = create_ingredient_df(thai_df) + thai_ingredient_df.head(10).plot.barh() + ``` + +  + +1. Japon verileri için aynı işlemi yapın: + + ```python + japanese_ingredient_df = create_ingredient_df(japanese_df) + japanese_ingredient_df.head(10).plot.barh() + ``` + +  + +1. Şimdi Çin malzemeleri için: + + ```python + chinese_ingredient_df = create_ingredient_df(chinese_df) + chinese_ingredient_df.head(10).plot.barh() + ``` + +  + +1. Hint malzemelerini çizin: + + ```python + indian_ingredient_df = create_ingredient_df(indian_df) + indian_ingredient_df.head(10).plot.barh() + ``` + +  + +1. Son olarak, Kore malzemelerini çizin: + + ```python + korean_ingredient_df = create_ingredient_df(korean_df) + korean_ingredient_df.head(10).plot.barh() + ``` + +  + +1. Şimdi, `drop()` çağırarak farklı mutfaklar arasında karışıklık yaratan en yaygın malzemeleri çıkarın: + + Herkes pirinci, sarımsağı ve zencefili sever! + + ```python + feature_df= df.drop(['cuisine','Unnamed: 0','rice','garlic','ginger'], axis=1) + labels_df = df.cuisine #.unique() + feature_df.head() + ``` + +## Veri setini dengeleyin + +Verileri temizledikten sonra, [SMOTE](https://imbalanced-learn.org/dev/references/generated/imblearn.over_sampling.SMOTE.html) - "Sentetik Azınlık Aşırı Örnekleme Tekniği" - kullanarak dengeleyin. + +1. `fit_resample()` çağırın, bu strateji interpolasyon yoluyla yeni örnekler oluşturur. + + ```python + oversample = SMOTE() + transformed_feature_df, transformed_label_df = oversample.fit_resample(feature_df, labels_df) + ``` + + Verilerinizi dengeleyerek, sınıflandırırken daha iyi sonuçlar alırsınız. İkili bir sınıflandırmayı düşünün. Verilerinizin çoğu bir sınıfsa, bir ML modeli bu sınıfı daha sık tahmin edecektir, çünkü bu sınıf için daha fazla veri vardır. Verileri dengelemek, herhangi bir dengesiz veriyi alır ve bu dengesizliği ortadan kaldırmaya yardımcı olur. + +1. Şimdi malzeme başına etiket sayısını kontrol edebilirsiniz: + + ```python + print(f'new label count: {transformed_label_df.value_counts()}') + print(f'old label count: {df.cuisine.value_counts()}') + ``` + + Çıktınız şöyle görünüyor: + + ```output + new label count: korean 799 + chinese 799 + indian 799 + japanese 799 + thai 799 + Name: cuisine, dtype: int64 + old label count: korean 799 + indian 598 + chinese 442 + japanese 320 + thai 289 + Name: cuisine, dtype: int64 + ``` + + Veriler güzel ve temiz, dengeli ve çok lezzetli! + +1. Son adım, dengelenmiş verilerinizi, etiketler ve özellikler dahil olmak üzere, bir dosyaya aktarılabilecek yeni bir veri çerçevesine kaydetmektir: + + ```python + transformed_df = pd.concat([transformed_label_df,transformed_feature_df],axis=1, join='outer') + ``` + +1. `transformed_df.head()` and `transformed_df.info()` kullanarak verilere son bir kez bakabilirsiniz. Bu verilerin bir kopyasını gelecekteki derslerde kullanmak üzere kaydedin: + + ```python + transformed_df.head() + transformed_df.info() + transformed_df.to_csv("../data/cleaned_cuisines.csv") + ``` + + Bu yeni CSV şimdi kök veri klasöründe bulunabilir. + +--- + +## 🚀Meydan Okuma + +Bu müfredat birkaç ilginç veri kümesi içerir. `data` klasörlerini inceleyin ve ikili veya çok sınıflı sınıflandırma için uygun olabilecek veri kümeleri var mı? Bu veri kümesine hangi soruları sorardınız? + +## [Ders sonrası sınav](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/20/) + +## Gözden Geçirme ve Kendi Kendine Çalışma + +SMOTE'un API'sini keşfedin. Hangi kullanım durumları için en iyi şekilde kullanılır? Hangi sorunları çözer? + +## Ödev + +[Sınıflandırma yöntemlerini keşfedin](assignment.md) + +**Feragatname**: +Bu belge, makine tabanlı AI çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba sarf etsek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belgenin kendi dilindeki hali yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/4-Classification/1-Introduction/assignment.md b/translations/tr/4-Classification/1-Introduction/assignment.md new file mode 100644 index 000000000..baff3f855 --- /dev/null +++ b/translations/tr/4-Classification/1-Introduction/assignment.md @@ -0,0 +1,14 @@ +# Sınıflandırma yöntemlerini keşfet + +## Talimatlar + +[Scikit-learn belgelerinde](https://scikit-learn.org/stable/supervised_learning.html) verileri sınıflandırmanın birçok yolunu bulacaksınız. Bu belgelerde küçük bir keşif yapın: amacınız sınıflandırma yöntemlerini aramak ve bu müfredattaki bir veri seti, ona sorabileceğiniz bir soru ve bir sınıflandırma tekniği ile eşleştirmektir. Bir elektronik tablo veya .doc dosyasında bir tablo oluşturun ve veri setinin sınıflandırma algoritması ile nasıl çalışacağını açıklayın. + +## Değerlendirme Kriterleri + +| Kriterler | Mükemmel | Yeterli | Geliştirmeye İhtiyacı Var | +| --------- | ----------------------------------------------------------------------------------------------------------------------------------- | ---------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------- | +| | 5 algoritmanın ve bir sınıflandırma tekniğinin genel bir bakışını içeren bir belge sunulmuştur. Genel bakış iyi açıklanmış ve detaylıdır. | 3 algoritmanın ve bir sınıflandırma tekniğinin genel bir bakışını içeren bir belge sunulmuştur. Genel bakış iyi açıklanmış ve detaylıdır. | Üçten az algoritmanın ve bir sınıflandırma tekniğinin genel bir bakışını içeren bir belge sunulmuştur ve genel bakış ne iyi açıklanmış ne de detaylıdır. | + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belge, kendi dilinde yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilmektedir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/4-Classification/1-Introduction/solution/Julia/README.md b/translations/tr/4-Classification/1-Introduction/solution/Julia/README.md new file mode 100644 index 000000000..3bee799cf --- /dev/null +++ b/translations/tr/4-Classification/1-Introduction/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal diliyle yazılmış hali yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/4-Classification/2-Classifiers-1/README.md b/translations/tr/4-Classification/2-Classifiers-1/README.md new file mode 100644 index 000000000..ed4d7bd39 --- /dev/null +++ b/translations/tr/4-Classification/2-Classifiers-1/README.md @@ -0,0 +1,244 @@ +# Mutfak Sınıflandırıcıları 1 + +Bu derste, son dersten kaydettiğiniz dengeli ve temiz verilerle dolu mutfaklar hakkında olan veri setini kullanacaksınız. + +Bu veri setini çeşitli sınıflandırıcılarla kullanarak _belirli bir ulusal mutfağı bir grup malzemeye dayanarak tahmin edeceksiniz_. Bunu yaparken, algoritmaların sınıflandırma görevleri için nasıl kullanılabileceği hakkında daha fazla bilgi edineceksiniz. + +## [Ders Öncesi Quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/21/) +# Hazırlık + +[Lesson 1](../1-Introduction/README.md)'i tamamladığınızı varsayarak, bu dört ders için kök `/data` klasöründe _cleaned_cuisines.csv_ dosyasının mevcut olduğundan emin olun. + +## Egzersiz - bir ulusal mutfağı tahmin edin + +1. Bu dersin _notebook.ipynb_ klasöründe çalışarak, o dosyayı ve Pandas kütüphanesini içe aktarın: + + ```python + import pandas as pd + cuisines_df = pd.read_csv("../data/cleaned_cuisines.csv") + cuisines_df.head() + ``` + + Veriler şu şekilde görünecektir: + +| | Unnamed: 0 | cuisine | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | +| --- | ---------- | ------- | ------ | -------- | ----- | ---------- | ----- | ------------ | ------- | -------- | --- | ------- | ----------- | ---------- | ----------------------- | ---- | ---- | --- | ----- | ------ | -------- | +| 0 | 0 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 1 | 1 | indian | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 2 | 2 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 3 | 3 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 4 | 4 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | + + +1. Şimdi, birkaç kütüphane daha içe aktarın: + + ```python + from sklearn.linear_model import LogisticRegression + from sklearn.model_selection import train_test_split, cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report, precision_recall_curve + from sklearn.svm import SVC + import numpy as np + ``` + +1. Eğitim için X ve y koordinatlarını iki dataframe'e bölün. `cuisine` etiketler dataframe'i olabilir: + + ```python + cuisines_label_df = cuisines_df['cuisine'] + cuisines_label_df.head() + ``` + + Şu şekilde görünecektir: + + ```output + 0 indian + 1 indian + 2 indian + 3 indian + 4 indian + Name: cuisine, dtype: object + ``` + +1. `Unnamed: 0` column and the `cuisine` column, calling `drop()` öğesini düşürün. Geri kalan verileri eğitilebilir özellikler olarak kaydedin: + + ```python + cuisines_feature_df = cuisines_df.drop(['Unnamed: 0', 'cuisine'], axis=1) + cuisines_feature_df.head() + ``` + + Özellikleriniz şu şekilde görünecektir: + +| | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | artemisia | artichoke | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | +| ---: | -----: | -------: | ----: | ---------: | ----: | -----------: | ------: | -------: | --------: | --------: | ---: | ------: | ----------: | ---------: | ----------------------: | ---: | ---: | ---: | ----: | -----: | -------: | +| 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 1 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 2 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 3 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 4 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | + +Artık modelinizi eğitmeye hazırsınız! + +## Sınıflandırıcınızı Seçmek + +Verileriniz temiz ve eğitime hazır olduğuna göre, işi yapmak için hangi algoritmayı kullanacağınıza karar vermelisiniz. + +Scikit-learn, sınıflandırmayı Denetimli Öğrenme altında gruplandırır ve bu kategoride birçok sınıflandırma yöntemi bulacaksınız. [Çeşitlilik](https://scikit-learn.org/stable/supervised_learning.html) ilk bakışta oldukça kafa karıştırıcıdır. Aşağıdaki yöntemlerin tümü sınıflandırma tekniklerini içerir: + +- Doğrusal Modeller +- Destek Vektör Makineleri +- Stokastik Gradyan İnişi +- En Yakın Komşular +- Gauss Süreçleri +- Karar Ağaçları +- Ansambl yöntemleri (oylama Sınıflandırıcısı) +- Çoklu sınıf ve çoklu çıktı algoritmaları (çoklu sınıf ve çoklu etiket sınıflandırması, çoklu sınıf-çoklu çıktı sınıflandırması) + +> Verileri sınıflandırmak için [sinir ağlarını da kullanabilirsiniz](https://scikit-learn.org/stable/modules/neural_networks_supervised.html#classification), ancak bu dersin kapsamı dışındadır. + +### Hangi sınıflandırıcıyı seçmeli? + +Peki, hangi sınıflandırıcıyı seçmelisiniz? Çoğu zaman, birkaçını çalıştırmak ve iyi bir sonuç aramak, test etmenin bir yoludur. Scikit-learn, oluşturulan bir veri setinde KNeighbors, SVC iki yolu, GaussianProcessClassifier, DecisionTreeClassifier, RandomForestClassifier, MLPClassifier, AdaBoostClassifier, GaussianNB ve QuadraticDiscrinationAnalysis'ı karşılaştıran bir [yan yana karşılaştırma](https://scikit-learn.org/stable/auto_examples/classification/plot_classifier_comparison.html) sunar ve sonuçları görselleştirir: + + +> Grafikler Scikit-learn'ün belgelerinde oluşturulmuştur + +> AutoML bu sorunu bulutta bu karşılaştırmaları çalıştırarak, verileriniz için en iyi algoritmayı seçmenize olanak tanıyarak düzgün bir şekilde çözer. Bunu [burada](https://docs.microsoft.com/learn/modules/automate-model-selection-with-azure-automl/?WT.mc_id=academic-77952-leestott) deneyin + +### Daha İyi Bir Yaklaşım + +Ancak, rastgele tahmin etmekten daha iyi bir yol, bu indirilebilir [ML Hile Sayfası](https://docs.microsoft.com/azure/machine-learning/algorithm-cheat-sheet?WT.mc_id=academic-77952-leestott) üzerindeki fikirleri takip etmektir. Burada, çoklu sınıf problemimiz için bazı seçeneklerimiz olduğunu keşfediyoruz: + + +> Microsoft'un Algoritma Hile Sayfasının, çoklu sınıf sınıflandırma seçeneklerini detaylandıran bir bölümü + +✅ Bu hile sayfasını indirin, yazdırın ve duvarınıza asın! + +### Mantık Yürütme + +Sahip olduğumuz kısıtlamalar göz önünde bulundurularak farklı yaklaşımlar üzerinde mantık yürütebilir miyiz görelim: + +- **Sinir ağları çok ağır**. Temiz ama minimal veri setimiz ve eğitimleri yerel olarak defterler üzerinden çalıştırdığımız gerçeği göz önüne alındığında, sinir ağları bu görev için çok ağırdır. +- **İki sınıf sınıflandırıcı yok**. İki sınıf sınıflandırıcı kullanmıyoruz, bu yüzden bir-vs-hepsini dışarıda bırakıyoruz. +- **Karar ağacı veya lojistik regresyon işe yarayabilir**. Bir karar ağacı veya çoklu sınıf verileri için lojistik regresyon işe yarayabilir. +- **Çoklu Sınıf Güçlendirilmiş Karar Ağaçları farklı bir sorunu çözer**. Çoklu sınıf güçlendirilmiş karar ağacı, sıralamalar oluşturmak için tasarlanmış görevler gibi parametrik olmayan görevler için en uygundur, bu yüzden bizim için kullanışlı değildir. + +### Scikit-learn Kullanımı + +Verilerimizi analiz etmek için Scikit-learn kullanacağız. Ancak, Scikit-learn'de lojistik regresyon kullanmanın birçok yolu vardır. [Geçilecek parametrelere](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html?highlight=logistic%20regressio#sklearn.linear_model.LogisticRegression) bir göz atın. + +Temelde iki önemli parametre vardır - `multi_class` and `solver` - that we need to specify, when we ask Scikit-learn to perform a logistic regression. The `multi_class` value applies a certain behavior. The value of the solver is what algorithm to use. Not all solvers can be paired with all `multi_class` values. + +According to the docs, in the multiclass case, the training algorithm: + +- **Uses the one-vs-rest (OvR) scheme**, if the `multi_class` option is set to `ovr` +- **Uses the cross-entropy loss**, if the `multi_class` option is set to `multinomial`. (Currently the `multinomial` option is supported only by the ‘lbfgs’, ‘sag’, ‘saga’ and ‘newton-cg’ solvers.)" + +> 🎓 The 'scheme' here can either be 'ovr' (one-vs-rest) or 'multinomial'. Since logistic regression is really designed to support binary classification, these schemes allow it to better handle multiclass classification tasks. [source](https://machinelearningmastery.com/one-vs-rest-and-one-vs-one-for-multi-class-classification/) + +> 🎓 The 'solver' is defined as "the algorithm to use in the optimization problem". [source](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html?highlight=logistic%20regressio#sklearn.linear_model.LogisticRegression). + +Scikit-learn offers this table to explain how solvers handle different challenges presented by different kinds of data structures: + + + +## Exercise - split the data + +We can focus on logistic regression for our first training trial since you recently learned about the latter in a previous lesson. +Split your data into training and testing groups by calling `train_test_split()`: + +```python +X_train, X_test, y_train, y_test = train_test_split(cuisines_feature_df, cuisines_label_df, test_size=0.3) +``` + +## Egzersiz - lojistik regresyon uygulayın + +Çoklu sınıf durumunu kullandığınız için hangi _şemayı_ kullanacağınıza ve hangi _çözücüyü_ ayarlayacağınıza karar vermeniz gerekir. LojistikRegresyonu, çoklu sınıf ayarı ve **liblinear** çözücü ile eğitin. + +1. multi_class'ı `ovr` and the solver set to `liblinear` olarak ayarlayarak bir lojistik regresyon oluşturun: + + ```python + lr = LogisticRegression(multi_class='ovr',solver='liblinear') + model = lr.fit(X_train, np.ravel(y_train)) + + accuracy = model.score(X_test, y_test) + print ("Accuracy is {}".format(accuracy)) + ``` + + ✅ `lbfgs`, which is often set as default + + > Note, use Pandas [`ravel`](https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.Series.ravel.html) işlevi gibi farklı bir çözücü deneyin ve gerektiğinde verilerinizi düzleştirin. + + Doğruluk **%80**'in üzerinde iyi! + +1. Bu modeli bir veri satırını (#50) test ederek çalışırken görebilirsiniz: + + ```python + print(f'ingredients: {X_test.iloc[50][X_test.iloc[50]!=0].keys()}') + print(f'cuisine: {y_test.iloc[50]}') + ``` + + Sonuç basılır: + + ```output + ingredients: Index(['cilantro', 'onion', 'pea', 'potato', 'tomato', 'vegetable_oil'], dtype='object') + cuisine: indian + ``` + + ✅ Farklı bir satır numarası deneyin ve sonuçları kontrol edin + +1. Daha derine inerek, bu tahminin doğruluğunu kontrol edebilirsiniz: + + ```python + test= X_test.iloc[50].values.reshape(-1, 1).T + proba = model.predict_proba(test) + classes = model.classes_ + resultdf = pd.DataFrame(data=proba, columns=classes) + + topPrediction = resultdf.T.sort_values(by=[0], ascending = [False]) + topPrediction.head() + ``` + + Sonuç basılır - Hint mutfağı en iyi tahminidir, iyi bir olasılıkla: + + | | 0 | + | -------: | -------: | + | indian | 0.715851 | + | chinese | 0.229475 | + | japanese | 0.029763 | + | korean | 0.017277 | + | thai | 0.007634 | + + ✅ Modelin neden Hint mutfağı olduğundan oldukça emin olduğunu açıklayabilir misiniz? + +1. Regresyon derslerinde olduğu gibi bir sınıflandırma raporu yazarak daha fazla ayrıntı alın: + + ```python + y_pred = model.predict(X_test) + print(classification_report(y_test,y_pred)) + ``` + + | | precision | recall | f1-score | support | + | ------------ | --------- | ------ | -------- | ------- | + | chinese | 0.73 | 0.71 | 0.72 | 229 | + | indian | 0.91 | 0.93 | 0.92 | 254 | + | japanese | 0.70 | 0.75 | 0.72 | 220 | + | korean | 0.86 | 0.76 | 0.81 | 242 | + | thai | 0.79 | 0.85 | 0.82 | 254 | + | accuracy | 0.80 | 1199 | | | + | macro avg | 0.80 | 0.80 | 0.80 | 1199 | + | weighted avg | 0.80 | 0.80 | 0.80 | 1199 | + +## 🚀Meydan Okuma + +Bu derste, temizlenmiş verilerinizi kullanarak bir grup malzemeye dayanarak ulusal bir mutfağı tahmin edebilen bir makine öğrenme modeli oluşturdunuz. Scikit-learn'ün veri sınıflandırmak için sağladığı birçok seçeneği okumak için biraz zaman ayırın. 'Çözücü' kavramını daha derinlemesine inceleyerek perde arkasında neler olduğunu anlayın. + +## [Ders Sonrası Quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/22/) + +## Gözden Geçirme ve Kendi Kendine Çalışma + +Lojistik regresyonun matematiğini [bu derste](https://people.eecs.berkeley.edu/~russell/classes/cs194/f11/lectures/CS194%20Fall%202011%20Lecture%2006.pdf) biraz daha derinlemesine inceleyin. +## Ödev + +[Çözücüleri inceleyin](assignment.md) + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba sarf etsek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal dili, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi tavsiye edilir. Bu çevirinin kullanımından kaynaklanan yanlış anlamalar veya yanlış yorumlamalar için sorumluluk kabul etmiyoruz. \ No newline at end of file diff --git a/translations/tr/4-Classification/2-Classifiers-1/assignment.md b/translations/tr/4-Classification/2-Classifiers-1/assignment.md new file mode 100644 index 000000000..d5dfe7a44 --- /dev/null +++ b/translations/tr/4-Classification/2-Classifiers-1/assignment.md @@ -0,0 +1,12 @@ +# Çözücüleri İnceleyin +## Talimatlar + +Bu derste, algoritmaların makine öğrenme süreciyle eşleştirilerek doğru bir model oluşturmak için kullanılan çeşitli çözücüler hakkında bilgi edindiniz. Derste listelenen çözücüleri inceleyin ve ikisini seçin. Kendi kelimelerinizle bu iki çözücüyü karşılaştırın ve kıyaslayın. Hangi tür sorunları ele alırlar? Çeşitli veri yapılarıyla nasıl çalışırlar? Neden birini diğerine tercih edersiniz? +## Değerlendirme Kriterleri + +| Kriter | Örnek | Yeterli | İyileştirme Gerekli | +| -------- | ---------------------------------------------------------------------------------------------- | ------------------------------------------------ | ---------------------------- | +| | İki paragraftan oluşan, her bir çözücü hakkında düşünceli bir şekilde karşılaştırma yapan bir .doc dosyası sunulmuştur. | Sadece bir paragraf içeren bir .doc dosyası sunulmuştur | Ödev tamamlanmamış | + +**Feragatname**: +Bu belge, makine tabanlı AI çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belge, kendi dilinde yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/4-Classification/2-Classifiers-1/solution/Julia/README.md b/translations/tr/4-Classification/2-Classifiers-1/solution/Julia/README.md new file mode 100644 index 000000000..04236addf --- /dev/null +++ b/translations/tr/4-Classification/2-Classifiers-1/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal dilindeki hali yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi tavsiye edilir. Bu çevirinin kullanımından doğabilecek herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/4-Classification/3-Classifiers-2/README.md b/translations/tr/4-Classification/3-Classifiers-2/README.md new file mode 100644 index 000000000..9b5f24d09 --- /dev/null +++ b/translations/tr/4-Classification/3-Classifiers-2/README.md @@ -0,0 +1,238 @@ +# Mutfak Sınıflandırıcıları 2 + +Bu ikinci sınıflandırma dersinde, sayısal verileri sınıflandırmanın daha fazla yolunu keşfedeceksiniz. Ayrıca bir sınıflandırıcıyı diğerine tercih etmenin sonuçlarını da öğreneceksiniz. + +## [Ders Öncesi Test](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/23/) + +### Ön Koşul + +Önceki dersleri tamamladığınızı ve bu 4 derslik klasörün kök dizininde _cleaned_cuisines.csv_ adlı temizlenmiş bir veri kümesine sahip olduğunuzu varsayıyoruz. + +### Hazırlık + +_notebook.ipynb_ dosyanızı temizlenmiş veri kümesiyle yükledik ve model oluşturma sürecine hazır olacak şekilde X ve y veri çerçevelerine böldük. + +## Bir sınıflandırma haritası + +Daha önce, Microsoft'un hile sayfasını kullanarak verileri sınıflandırırken sahip olduğunuz çeşitli seçenekleri öğrendiniz. Scikit-learn, tahmincilerinizi (sınıflandırıcılar için başka bir terim) daraltmanıza yardımcı olabilecek benzer ancak daha ayrıntılı bir hile sayfası sunar: + + +> İpucu: [bu haritayı çevrimiçi ziyaret edin](https://scikit-learn.org/stable/tutorial/machine_learning_map/) ve belgelere ulaşmak için yol boyunca tıklayın. + +### Plan + +Bu harita, verilerinizi net bir şekilde kavradığınızda çok yardımcı olur, çünkü yolları boyunca bir karara 'yürüyebilirsiniz': + +- 50'den fazla örneğimiz var +- Bir kategori tahmin etmek istiyoruz +- Etiketlenmiş verilerimiz var +- 100K'den az örneğimiz var +- ✨ Bir Linear SVC seçebiliriz +- Bu işe yaramazsa, çünkü sayısal verilerimiz var + - ✨ KNeighbors Classifier deneyebiliriz + - Bu da işe yaramazsa, ✨ SVC ve ✨ Ensemble Classifiers deneyin + +Bu takip edilmesi gereken çok faydalı bir yoldur. + +## Egzersiz - verileri bölmek + +Bu yolu izleyerek, kullanmak için bazı kütüphaneleri ithal ederek başlamalıyız. + +1. Gerekli kütüphaneleri ithal edin: + + ```python + from sklearn.neighbors import KNeighborsClassifier + from sklearn.linear_model import LogisticRegression + from sklearn.svm import SVC + from sklearn.ensemble import RandomForestClassifier, AdaBoostClassifier + from sklearn.model_selection import train_test_split, cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report, precision_recall_curve + import numpy as np + ``` + +1. Eğitim ve test verilerinizi bölün: + + ```python + X_train, X_test, y_train, y_test = train_test_split(cuisines_feature_df, cuisines_label_df, test_size=0.3) + ``` + +## Linear SVC sınıflandırıcı + +Destek-Vektör kümeleme (SVC), Destek-Vektör makineleri ailesinin bir alt kümesidir (aşağıda bunlar hakkında daha fazla bilgi edinin). Bu yöntemde, etiketleri nasıl kümeleyeceğinizi belirlemek için bir 'çekirdek' seçebilirsiniz. 'C' parametresi, parametrelerin etkisini düzenleyen 'düzenleme' anlamına gelir. Çekirdek [birkaç](https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html#sklearn.svm.SVC) türden biri olabilir; burada lineer SVC'den yararlanmak için onu 'lineer' olarak ayarlıyoruz. Olasılık varsayılan olarak 'false'dur; burada olasılık tahminleri toplamak için onu 'true' olarak ayarlıyoruz. Verileri karıştırmak için rastgele durumu '0' olarak ayarlıyoruz. + +### Egzersiz - bir linear SVC uygulayın + +Bir sınıflandırıcılar dizisi oluşturarak başlayın. Test ettikçe bu diziye kademeli olarak eklemeler yapacaksınız. + +1. Bir Linear SVC ile başlayın: + + ```python + C = 10 + # Create different classifiers. + classifiers = { + 'Linear SVC': SVC(kernel='linear', C=C, probability=True,random_state=0) + } + ``` + +2. Linear SVC kullanarak modelinizi eğitin ve bir rapor yazdırın: + + ```python + n_classifiers = len(classifiers) + + for index, (name, classifier) in enumerate(classifiers.items()): + classifier.fit(X_train, np.ravel(y_train)) + + y_pred = classifier.predict(X_test) + accuracy = accuracy_score(y_test, y_pred) + print("Accuracy (train) for %s: %0.1f%% " % (name, accuracy * 100)) + print(classification_report(y_test,y_pred)) + ``` + + Sonuç oldukça iyi: + + ```output + Accuracy (train) for Linear SVC: 78.6% + precision recall f1-score support + + chinese 0.71 0.67 0.69 242 + indian 0.88 0.86 0.87 234 + japanese 0.79 0.74 0.76 254 + korean 0.85 0.81 0.83 242 + thai 0.71 0.86 0.78 227 + + accuracy 0.79 1199 + macro avg 0.79 0.79 0.79 1199 + weighted avg 0.79 0.79 0.79 1199 + ``` + +## K-Neighbors sınıflandırıcı + +K-Neighbors, hem denetimli hem de denetimsiz öğrenme için kullanılabilen ML yöntemleri ailesinin bir parçasıdır. Bu yöntemde, önceden belirlenmiş sayıda nokta oluşturulur ve bu noktalar etrafında veriler toplanarak veriler için genelleştirilmiş etiketler tahmin edilebilir. + +### Egzersiz - K-Neighbors sınıflandırıcı uygulayın + +Önceki sınıflandırıcı iyiydi ve verilerle iyi çalıştı, ancak belki daha iyi doğruluk elde edebiliriz. Bir K-Neighbors sınıflandırıcı deneyin. + +1. Sınıflandırıcı dizinize bir satır ekleyin (Linear SVC öğesinden sonra bir virgül ekleyin): + + ```python + 'KNN classifier': KNeighborsClassifier(C), + ``` + + Sonuç biraz daha kötü: + + ```output + Accuracy (train) for KNN classifier: 73.8% + precision recall f1-score support + + chinese 0.64 0.67 0.66 242 + indian 0.86 0.78 0.82 234 + japanese 0.66 0.83 0.74 254 + korean 0.94 0.58 0.72 242 + thai 0.71 0.82 0.76 227 + + accuracy 0.74 1199 + macro avg 0.76 0.74 0.74 1199 + weighted avg 0.76 0.74 0.74 1199 + ``` + + ✅ [K-Neighbors](https://scikit-learn.org/stable/modules/neighbors.html#neighbors) hakkında bilgi edinin + +## Support Vector Classifier + +Support-Vector sınıflandırıcılar, sınıflandırma ve regresyon görevlerinde kullanılan [Support-Vector Machine](https://wikipedia.org/wiki/Support-vector_machine) ailesinin bir parçasıdır. SVM'ler, "eğitim örneklerini iki kategori arasındaki mesafeyi en üst düzeye çıkarmak için uzaydaki noktalara eşler." Sonraki veriler bu uzaya eşlenir, böylece kategorileri tahmin edilebilir. + +### Egzersiz - Support Vector Classifier uygulayın + +Biraz daha iyi doğruluk için bir Support Vector Classifier deneyelim. + +1. K-Neighbors öğesinden sonra bir virgül ekleyin ve ardından bu satırı ekleyin: + + ```python + 'SVC': SVC(), + ``` + + Sonuç oldukça iyi! + + ```output + Accuracy (train) for SVC: 83.2% + precision recall f1-score support + + chinese 0.79 0.74 0.76 242 + indian 0.88 0.90 0.89 234 + japanese 0.87 0.81 0.84 254 + korean 0.91 0.82 0.86 242 + thai 0.74 0.90 0.81 227 + + accuracy 0.83 1199 + macro avg 0.84 0.83 0.83 1199 + weighted avg 0.84 0.83 0.83 1199 + ``` + + ✅ [Support-Vectors](https://scikit-learn.org/stable/modules/svm.html#svm) hakkında bilgi edinin + +## Ensemble Classifiers + +Önceki test oldukça iyi olmasına rağmen, yolun sonuna kadar takip edelim. Özellikle Random Forest ve AdaBoost gibi bazı 'Ensemble Classifiers' deneyelim: + +```python + 'RFST': RandomForestClassifier(n_estimators=100), + 'ADA': AdaBoostClassifier(n_estimators=100) +``` + +Sonuç özellikle Random Forest için çok iyi: + +```output +Accuracy (train) for RFST: 84.5% + precision recall f1-score support + + chinese 0.80 0.77 0.78 242 + indian 0.89 0.92 0.90 234 + japanese 0.86 0.84 0.85 254 + korean 0.88 0.83 0.85 242 + thai 0.80 0.87 0.83 227 + + accuracy 0.84 1199 + macro avg 0.85 0.85 0.84 1199 +weighted avg 0.85 0.84 0.84 1199 + +Accuracy (train) for ADA: 72.4% + precision recall f1-score support + + chinese 0.64 0.49 0.56 242 + indian 0.91 0.83 0.87 234 + japanese 0.68 0.69 0.69 254 + korean 0.73 0.79 0.76 242 + thai 0.67 0.83 0.74 227 + + accuracy 0.72 1199 + macro avg 0.73 0.73 0.72 1199 +weighted avg 0.73 0.72 0.72 1199 +``` + +✅ [Ensemble Classifiers](https://scikit-learn.org/stable/modules/ensemble.html) hakkında bilgi edinin + +Bu Makine Öğrenimi yöntemi, modelin kalitesini artırmak için birkaç temel tahmincinin tahminlerini birleştirir. Örneğimizde, Random Trees ve AdaBoost kullandık. + +- [Random Forest](https://scikit-learn.org/stable/modules/ensemble.html#forest), aşırı uyumu önlemek için rastgelelik ile aşılanmış 'karar ağaçları'ndan oluşan bir 'orman' oluşturur. n_estimators parametresi, ağaç sayısını ayarlar. + +- [AdaBoost](https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.AdaBoostClassifier.html) bir veri kümesine bir sınıflandırıcı uyarlar ve ardından aynı veri kümesine bu sınıflandırıcının kopyalarını uyarlar. Yanlış sınıflandırılan öğelerin ağırlıklarına odaklanır ve bir sonraki sınıflandırıcı için uyumu düzeltmek için ayarlar. + +--- + +## 🚀Meydan Okuma + +Bu tekniklerin her birinin ayarlayabileceğiniz birçok parametresi vardır. Her birinin varsayılan parametrelerini araştırın ve bu parametreleri ayarlamanın modelin kalitesi için ne anlama gelebileceğini düşünün. + +## [Ders Sonrası Test](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/24/) + +## Gözden Geçirme ve Kendi Kendine Çalışma + +Bu derslerde çok fazla jargon var, bu yüzden bir dakika ayırarak [bu listeyi](https://docs.microsoft.com/dotnet/machine-learning/resources/glossary?WT.mc_id=academic-77952-leestott) gözden geçirin! + +## Ödev + +[Parametre oyunu](assignment.md) + +**Feragatname**: +Bu belge, makine tabanlı AI çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba sarf etsek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal dili, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/4-Classification/3-Classifiers-2/assignment.md b/translations/tr/4-Classification/3-Classifiers-2/assignment.md new file mode 100644 index 000000000..0f4d04c8e --- /dev/null +++ b/translations/tr/4-Classification/3-Classifiers-2/assignment.md @@ -0,0 +1,14 @@ +# Parametre Oynama + +## Talimatlar + +Bu sınıflandırıcılarla çalışırken varsayılan olarak ayarlanmış birçok parametre vardır. VS Code'daki Intellisense, bunları keşfetmenize yardımcı olabilir. Bu dersteki ML Sınıflandırma Tekniklerinden birini benimseyin ve çeşitli parametre değerlerini değiştirerek modelleri yeniden eğitin. Bazı değişikliklerin model kalitesine neden yardımcı olduğunu, bazılarının ise neden zarar verdiğini açıklayan bir defter oluşturun. Cevabınızda ayrıntılı olun. + +## Değerlendirme Kriterleri + +| Kriterler | Örnek | Yeterli | Geliştirmeye İhtiyaç Var | +| --------- | ----------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------- | ----------------------------- | +| | Bir sınıflandırıcı tam olarak oluşturulmuş ve parametreleri ayarlanmış ve değişiklikler metin kutularında açıklanmış bir defter sunulmuştur | Bir defter kısmen sunulmuş veya kötü açıklanmıştır | Bir defter hatalı veya kusurludur | + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal dili, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından kaynaklanan yanlış anlamalar veya yanlış yorumlamalar için sorumluluk kabul etmiyoruz. \ No newline at end of file diff --git a/translations/tr/4-Classification/3-Classifiers-2/solution/Julia/README.md b/translations/tr/4-Classification/3-Classifiers-2/solution/Julia/README.md new file mode 100644 index 000000000..b08e01a3b --- /dev/null +++ b/translations/tr/4-Classification/3-Classifiers-2/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluğu sağlamak için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belgenin kendi dilindeki hali, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından doğabilecek yanlış anlamalar veya yanlış yorumlamalardan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/4-Classification/4-Applied/README.md b/translations/tr/4-Classification/4-Applied/README.md new file mode 100644 index 000000000..ae68bb379 --- /dev/null +++ b/translations/tr/4-Classification/4-Applied/README.md @@ -0,0 +1,317 @@ +# Bir Mutfak Önerici Web Uygulaması Oluşturma + +Bu derste, önceki derslerde öğrendiğiniz bazı teknikleri kullanarak ve bu seride kullanılan lezzetli mutfak veri seti ile bir sınıflandırma modeli oluşturacaksınız. Ayrıca, kaydedilmiş bir modeli kullanmak için Onnx'in web çalıştırma zamanını kullanarak küçük bir web uygulaması oluşturacaksınız. + +Makine öğreniminin en faydalı pratik kullanımlarından biri öneri sistemleri oluşturmaktır ve bugün bu yönde ilk adımı atabilirsiniz! + +[](https://youtu.be/17wdM9AHMfg "Applied ML") + +> 🎥 Yukarıdaki resme tıklayarak bir video izleyin: Jen Looper, sınıflandırılmış mutfak verilerini kullanarak bir web uygulaması oluşturuyor + +## [Ders Öncesi Quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/25/) + +Bu derste öğrenecekleriniz: + +- Bir model nasıl oluşturulur ve Onnx modeli olarak nasıl kaydedilir +- Netron'u kullanarak model nasıl incelenir +- Bir web uygulamasında model nasıl kullanılır + +## Modelinizi Oluşturun + +Uygulamalı ML sistemleri oluşturmak, bu teknolojileri iş sistemlerinizde kullanmanın önemli bir parçasıdır. Onnx kullanarak modelleri web uygulamalarınızda kullanabilirsiniz (ve gerektiğinde çevrimdışı bir bağlamda kullanabilirsiniz). + +[Önceki bir derste](../../3-Web-App/1-Web-App/README.md), UFO gözlemleri hakkında bir Regresyon modeli oluşturmuş, "pickle" etmiş ve bir Flask uygulamasında kullanmıştınız. Bu mimariyi bilmek çok faydalı olsa da, tam yığın bir Python uygulamasıdır ve gereksinimleriniz bir JavaScript uygulamasının kullanımını içerebilir. + +Bu derste, çıkarım için temel bir JavaScript tabanlı sistem oluşturabilirsiniz. Ancak önce, bir model eğitmeniz ve Onnx ile kullanmak üzere dönüştürmeniz gerekiyor. + +## Alıştırma - sınıflandırma modeli eğitme + +Öncelikle, kullandığımız temizlenmiş mutfak veri setini kullanarak bir sınıflandırma modeli eğitin. + +1. Faydalı kütüphaneleri içe aktararak başlayın: + + ```python + !pip install skl2onnx + import pandas as pd + ``` + + Scikit-learn modelinizi Onnx formatına dönüştürmenize yardımcı olacak '[skl2onnx](https://onnx.ai/sklearn-onnx/)' gerekecek. + +1. Daha sonra, önceki derslerde yaptığınız gibi bir CSV dosyasını `read_csv()` kullanarak okuyarak verilerinizle çalışın: + + ```python + data = pd.read_csv('../data/cleaned_cuisines.csv') + data.head() + ``` + +1. İlk iki gereksiz sütunu kaldırın ve kalan verileri 'X' olarak kaydedin: + + ```python + X = data.iloc[:,2:] + X.head() + ``` + +1. Etiketleri 'y' olarak kaydedin: + + ```python + y = data[['cuisine']] + y.head() + + ``` + +### Eğitim rutinine başlayın + +'SVÇ' kütüphanesini kullanacağız çünkü iyi bir doğruluğa sahiptir. + +1. Scikit-learn'den uygun kütüphaneleri içe aktarın: + + ```python + from sklearn.model_selection import train_test_split + from sklearn.svm import SVC + from sklearn.model_selection import cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report + ``` + +1. Eğitim ve test setlerini ayırın: + + ```python + X_train, X_test, y_train, y_test = train_test_split(X,y,test_size=0.3) + ``` + +1. Önceki derste yaptığınız gibi bir SVC Sınıflandırma modeli oluşturun: + + ```python + model = SVC(kernel='linear', C=10, probability=True,random_state=0) + model.fit(X_train,y_train.values.ravel()) + ``` + +1. Şimdi modelinizi test edin, `predict()` çağrısı yaparak: + + ```python + y_pred = model.predict(X_test) + ``` + +1. Modelin kalitesini kontrol etmek için bir sınıflandırma raporu yazdırın: + + ```python + print(classification_report(y_test,y_pred)) + ``` + + Daha önce gördüğümüz gibi, doğruluk iyi: + + ```output + precision recall f1-score support + + chinese 0.72 0.69 0.70 257 + indian 0.91 0.87 0.89 243 + japanese 0.79 0.77 0.78 239 + korean 0.83 0.79 0.81 236 + thai 0.72 0.84 0.78 224 + + accuracy 0.79 1199 + macro avg 0.79 0.79 0.79 1199 + weighted avg 0.79 0.79 0.79 1199 + ``` + +### Modelinizi Onnx'e dönüştürün + +Dönüştürmeyi doğru Tensor numarası ile yapmayı unutmayın. Bu veri setinde 380 malzeme listelenmiştir, bu yüzden `FloatTensorType` içinde bu sayıyı belirtmeniz gerekir: + +1. 380 tensor numarasını kullanarak dönüştürün. + + ```python + from skl2onnx import convert_sklearn + from skl2onnx.common.data_types import FloatTensorType + + initial_type = [('float_input', FloatTensorType([None, 380]))] + options = {id(model): {'nocl': True, 'zipmap': False}} + ``` + +1. Onx oluşturun ve **model.onnx** olarak bir dosya olarak saklayın: + + ```python + onx = convert_sklearn(model, initial_types=initial_type, options=options) + with open("./model.onnx", "wb") as f: + f.write(onx.SerializeToString()) + ``` + + > Not, dönüşüm betiğinizde [seçenekler](https://onnx.ai/sklearn-onnx/parameterized.html) geçebilirsiniz. Bu durumda, 'nocl' True ve 'zipmap' False olarak geçtik. Bu bir sınıflandırma modeli olduğundan, ZipMap'i kaldırma seçeneğiniz vardır, bu da bir sözlük listesi üretir (gerekli değil). `nocl` refers to class information being included in the model. Reduce your model's size by setting `nocl` to 'True'. + +Running the entire notebook will now build an Onnx model and save it to this folder. + +## View your model + +Onnx models are not very visible in Visual Studio code, but there's a very good free software that many researchers use to visualize the model to ensure that it is properly built. Download [Netron](https://github.com/lutzroeder/Netron) and open your model.onnx file. You can see your simple model visualized, with its 380 inputs and classifier listed: + + + +Netron is a helpful tool to view your models. + +Now you are ready to use this neat model in a web app. Let's build an app that will come in handy when you look in your refrigerator and try to figure out which combination of your leftover ingredients you can use to cook a given cuisine, as determined by your model. + +## Build a recommender web application + +You can use your model directly in a web app. This architecture also allows you to run it locally and even offline if needed. Start by creating an `index.html` file in the same folder where you stored your `model.onnx` dosyası. + +1. Bu dosyada _index.html_, aşağıdaki işaretlemeyi ekleyin: + + ```html + + + + + + ... + + + ``` + +1. Şimdi, `body` etiketleri içinde çalışarak, bazı malzemeleri yansıtan bir dizi onay kutusu göstermek için biraz işaretleme ekleyin: + + ```html +Cuisine Matcher +Check your refrigerator. What can you create?
++++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + +++ ++ ``` + + Her onay kutusuna bir değer verildiğine dikkat edin. Bu, malzemenin veri setine göre bulunduğu indeksi yansıtır. Örneğin, bu alfabetik listede Elma beşinci sütunu işgal eder, bu yüzden değeri '4' olur çünkü 0'dan saymaya başlarız. Belirli bir malzemenin indeksini keşfetmek için [malzemeler tablosuna](../../../../4-Classification/data/ingredient_indexes.csv) başvurabilirsiniz. + + index.html dosyasındaki çalışmanızı sürdürerek, modelin çağrıldığı bir script bloğu ekleyin, son kapanış ``'dan sonra. + +1. İlk olarak, [Onnx Runtime](https://www.onnxruntime.ai/) içe aktarın: + + ```html + + ``` + + > Onnx Runtime, Onnx modellerinizi geniş bir donanım platformu yelpazesinde çalıştırmanızı sağlamak için kullanılır, optimizasyonlar ve bir API içerir. + +1. Çalıştırma zamanı yerinde olduğunda, onu çağırabilirsiniz: + + ```html + + ``` + +Bu kodda, birkaç şey oluyor: + +1. Bir malzeme onay kutusu işaretli olup olmadığına bağlı olarak ayarlanacak ve çıkarım için modele gönderilecek 380 olası değerden (1 veya 0) oluşan bir dizi oluşturdunuz. +2. Bir dizi onay kutusu ve bunların işaretli olup olmadığını belirlemenin bir yolunu oluşturduğunuz `init` function that is called when the application starts. When a checkbox is checked, the `ingredients` array is altered to reflect the chosen ingredient. +3. You created a `testCheckboxes` function that checks whether any checkbox was checked. +4. You use `startInference` function when the button is pressed and, if any checkbox is checked, you start inference. +5. The inference routine includes: + 1. Setting up an asynchronous load of the model + 2. Creating a Tensor structure to send to the model + 3. Creating 'feeds' that reflects the `float_input` input that you created when training your model (you can use Netron to verify that name) + 4. Sending these 'feeds' to the model and waiting for a response + +## Test your application + +Open a terminal session in Visual Studio Code in the folder where your index.html file resides. Ensure that you have [http-server](https://www.npmjs.com/package/http-server) installed globally, and type `http-server` komut isteminde çalıştırın. Bir localhost açılmalı ve web uygulamanızı görüntüleyebilirsiniz. Çeşitli malzemelere göre hangi mutfağın önerildiğini kontrol edin: + + + +Tebrikler, birkaç alan içeren bir 'öneri' web uygulaması oluşturdunuz. Bu sistemi geliştirmek için biraz zaman ayırın! +## 🚀Meydan Okuma + +Web uygulamanız çok minimal, bu yüzden [ingredient_indexes](../../../../4-Classification/data/ingredient_indexes.csv) verilerindeki malzemeler ve indeksleri kullanarak geliştirmeye devam edin. Hangi lezzet kombinasyonları belirli bir ulusal yemeği oluşturur? + +## [Ders Sonrası Quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/26/) + +## Gözden Geçirme & Kendi Kendine Çalışma + +Bu ders, yemek malzemeleri için bir öneri sistemi oluşturmanın faydasına sadece değindi, bu ML uygulamaları alanı çok zengin örneklerle doludur. Bu sistemlerin nasıl oluşturulduğu hakkında daha fazla okuyun: + +- https://www.sciencedirect.com/topics/computer-science/recommendation-engine +- https://www.technologyreview.com/2014/08/25/171547/the-ultimate-challenge-for-recommendation-engines/ +- https://www.technologyreview.com/2015/03/23/168831/everything-is-a-recommendation/ + +## Ödev + +[Yeni bir önerici oluşturun](assignment.md) + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal dili, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından doğabilecek yanlış anlamalar veya yanlış yorumlamalardan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/4-Classification/4-Applied/assignment.md b/translations/tr/4-Classification/4-Applied/assignment.md new file mode 100644 index 000000000..cf7977eb0 --- /dev/null +++ b/translations/tr/4-Classification/4-Applied/assignment.md @@ -0,0 +1,14 @@ +# Bir önerici oluştur + +## Talimatlar + +Bu dersteki alıştırmalarınıza dayanarak, Onnx Runtime ve dönüştürülmüş Onnx modeli kullanarak JavaScript tabanlı bir web uygulaması oluşturmayı artık biliyorsunuz. Bu derslerden veya başka kaynaklardan elde edilen verileri kullanarak yeni bir önerici oluşturmayı deneyin (lütfen kaynak belirtin). Çeşitli kişilik özelliklerine göre bir evcil hayvan önerici veya bir kişinin ruh haline göre müzik türü önerici oluşturabilirsiniz. Yaratıcı olun! + +## Değerlendirme Kriterleri + +| Kriterler | Örnek Niteliğinde | Yeterli | Geliştirme Gerekiyor | +| --------- | ---------------------------------------------------------------------- | -------------------------------------- | --------------------------------- | +| | Bir web uygulaması ve not defteri sunulmuş, her ikisi de iyi belgelenmiş ve çalışıyor | Bu iki öğeden biri eksik veya hatalı | Her ikisi de eksik veya hatalı | + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba sarf etsek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal diliyle yazılmış hali yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi tavsiye edilir. Bu çevirinin kullanımından doğacak herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/4-Classification/README.md b/translations/tr/4-Classification/README.md new file mode 100644 index 000000000..d62bd2bdf --- /dev/null +++ b/translations/tr/4-Classification/README.md @@ -0,0 +1,30 @@ +# Sınıflandırmaya Başlarken + +## Bölgesel Konu: Lezzetli Asya ve Hint Mutfağı 🍜 + +Asya ve Hindistan'da yemek gelenekleri son derece çeşitlidir ve çok lezzetlidir! Malzemelerini anlamaya çalışmak için bölgesel mutfaklar hakkındaki verilere bir göz atalım. + + +> Fotoğraf: Lisheng Chang tarafından Unsplash + +## Öğrenecekleriniz + +Bu bölümde, önceki Regresyon çalışmanız üzerine inşa edecek ve verileri daha iyi anlamak için kullanabileceğiniz diğer sınıflandırıcılar hakkında bilgi edineceksiniz. + +> Sınıflandırma modelleriyle çalışmayı öğrenmenize yardımcı olabilecek kullanışlı düşük kod araçları vardır. Bu görev için [Azure ML'yi deneyin](https://docs.microsoft.com/learn/modules/create-classification-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott) + +## Dersler + +1. [Sınıflandırmaya giriş](1-Introduction/README.md) +2. [Daha fazla sınıflandırıcı](2-Classifiers-1/README.md) +3. [Diğer sınıflandırıcılar](3-Classifiers-2/README.md) +4. [Uygulamalı ML: bir web uygulaması oluşturun](4-Applied/README.md) + +## Katkıda Bulunanlar + +"Sınıflandırmaya Başlarken" ♥️ ile [Cassie Breviu](https://www.twitter.com/cassiebreviu) ve [Jen Looper](https://www.twitter.com/jenlooper) tarafından yazılmıştır. + +Lezzetli mutfaklar veri seti [Kaggle](https://www.kaggle.com/hoandan/asian-and-indian-cuisines) kaynaklıdır. + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluğu sağlamak için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal dili, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/5-Clustering/1-Visualize/README.md b/translations/tr/5-Clustering/1-Visualize/README.md new file mode 100644 index 000000000..c48e8c42e --- /dev/null +++ b/translations/tr/5-Clustering/1-Visualize/README.md @@ -0,0 +1,217 @@ +# Kümeleme Giriş + +Kümeleme, bir veri kümesinin etiketlenmediğini veya girdilerin önceden tanımlanmış çıktılarla eşleşmediğini varsayan bir tür [Gözetimsiz Öğrenme](https://wikipedia.org/wiki/Unsupervised_learning)'dir. Etiketlenmemiş verileri sıralamak ve veride algıladığı desenlere göre gruplamalar sağlamak için çeşitli algoritmalar kullanır. + +[](https://youtu.be/ty2advRiWJM "PSquare tarafından No One Like You") + +> 🎥 Yukarıdaki resme tıklayarak bir video izleyebilirsiniz. Kümeleme ile makine öğrenimi çalışırken, bazı Nijeryalı Dance Hall şarkılarının tadını çıkarın - bu, PSquare tarafından 2014 yılında yayımlanmış yüksek puanlı bir şarkıdır. + +## [Ön Ders Testi](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/27/) + +### Giriş + +[Clustering](https://link.springer.com/referenceworkentry/10.1007%2F978-0-387-30164-8_124) veri keşfi için çok kullanışlıdır. Nijeryalı dinleyicilerin müzik tüketiminde eğilimleri ve desenleri keşfetmeye yardımcı olup olmadığını görelim. + +✅ Kümeleme kullanım alanlarını düşünmek için bir dakika ayırın. Gerçek hayatta, çamaşır yığınınız olduğunda ve aile üyelerinizin kıyafetlerini ayırmanız gerektiğinde kümeleme olur 🧦👕👖🩲. Veri biliminde, kullanıcı tercihlerinin analiz edilmesi veya etiketlenmemiş herhangi bir veri kümesinin özelliklerinin belirlenmesi gerektiğinde kümeleme olur. Kümeleme, bir anlamda, kaosu anlamlandırmaya yardımcı olur, tıpkı bir çorap çekmecesi gibi. + +[](https://youtu.be/esmzYhuFnds "Kümelemeye Giriş") + +> 🎥 Yukarıdaki resme tıklayarak bir video izleyebilirsiniz: MIT'den John Guttag kümelemeyi tanıtıyor. + +Profesyonel bir ortamda, kümeleme pazar segmentasyonu gibi şeyleri belirlemek için kullanılabilir, örneğin hangi yaş gruplarının hangi ürünleri satın aldığını belirlemek için. Bir başka kullanım alanı, kredi kartı işlemlerinden oluşan bir veri kümesinde dolandırıcılığı tespit etmek olabilir. Ya da tıbbi taramalardan oluşan bir veri kümesinde tümörleri belirlemek için kümeleme kullanabilirsiniz. + +✅ Bir bankacılık, e-ticaret veya iş ortamında 'vahşi doğada' kümelemeyle nasıl karşılaşmış olabileceğinizi bir dakika düşünün. + +> 🎓 İlginç bir şekilde, kümeleme analizi 1930'larda Antropoloji ve Psikoloji alanlarında ortaya çıktı. O zamanlar nasıl kullanıldığını hayal edebilir misiniz? + +Alternatif olarak, arama sonuçlarını gruplamak için kullanabilirsiniz - örneğin alışveriş bağlantıları, resimler veya incelemeler. Kümeleme, büyük bir veri kümesini azaltmak ve üzerinde daha ayrıntılı analiz yapmak istediğinizde kullanışlıdır, bu nedenle teknik, diğer modeller oluşturulmadan önce veri hakkında bilgi edinmek için kullanılabilir. + +✅ Verileriniz kümeler halinde düzenlendikten sonra, ona bir küme kimliği atarsınız ve bu teknik, bir veri kümesinin gizliliğini korurken yararlı olabilir; daha belirgin tanımlanabilir veriler yerine bir veri noktasına küme kimliği ile atıfta bulunabilirsiniz. Bir küme kimliğine başvurmanın, kümeyi tanımlamak için diğer öğeler yerine başka nedenler düşünebilir misiniz? + +Kümeleme teknikleri hakkındaki bilginizi bu [Öğrenme modülünde](https://docs.microsoft.com/learn/modules/train-evaluate-cluster-models?WT.mc_id=academic-77952-leestott) derinleştirin. + +## Kümelemeye Başlarken + +[Scikit-learn geniş bir yelpazede](https://scikit-learn.org/stable/modules/clustering.html) kümeleme yöntemleri sunar. Seçtiğiniz tür, kullanım durumunuza bağlı olacaktır. Dokümana göre, her yöntemin çeşitli faydaları vardır. İşte Scikit-learn tarafından desteklenen yöntemlerin ve uygun kullanım durumlarının basitleştirilmiş bir tablosu: + +| Yöntem Adı | Kullanım Durumu | +| :--------------------------- | :--------------------------------------------------------------------- | +| K-Means | genel amaçlı, tümevarımsal | +| Affinity propagation | çok, düzensiz kümeler, tümevarımsal | +| Mean-shift | çok, düzensiz kümeler, tümevarımsal | +| Spectral clustering | az, düzenli kümeler, tümdengelimsel | +| Ward hierarchical clustering | çok, kısıtlı kümeler, tümdengelimsel | +| Agglomerative clustering | çok, kısıtlı, Öklidyen olmayan mesafeler, tümdengelimsel | +| DBSCAN | düz olmayan geometri, düzensiz kümeler, tümdengelimsel | +| OPTICS | düz olmayan geometri, değişken yoğunluklu düzensiz kümeler, tümdengelimsel | +| Gaussian mixtures | düz geometri, tümevarımsal | +| BIRCH | büyük veri kümesi, aykırı değerlerle, tümevarımsal | + +> 🎓 Kümeleri nasıl oluşturduğumuz, veri noktalarını gruplara nasıl topladığımızla çok ilgilidir. Bazı terimleri açalım: +> +> 🎓 ['Tümdengelimsel' vs. 'Tümevarımsal'](https://wikipedia.org/wiki/Transduction_(machine_learning)) +> +> Tümdengelimsel çıkarım, belirli test durumlarına eşlenen gözlemlenmiş eğitim vakalarından türetilir. Tümevarımsal çıkarım ise eğitim vakalarından türetilir ve yalnızca daha sonra test durumlarına uygulanır. +> +> Bir örnek: Kısmen etiketlenmiş bir veri kümeniz olduğunu hayal edin. Bazı şeyler 'kayıt', bazıları 'cd' ve bazıları boştur. Göreviniz, boşlara etiket vermektir. Tümevarımsal bir yaklaşım seçerseniz, 'kayıtlar' ve 'cd'ler arayan bir model eğitirsiniz ve bu etiketleri etiketlenmemiş verinize uygularsınız. Bu yaklaşım, aslında 'kaset' olan şeyleri sınıflandırmakta zorlanır. Tümdengelimsel bir yaklaşım ise bu bilinmeyen veriyi daha etkili bir şekilde ele alır çünkü benzer öğeleri bir araya getirir ve ardından bir gruba etiket uygular. Bu durumda, kümeler 'yuvarlak müzik şeyleri' ve 'kare müzik şeyleri' gibi olabilir. +> +> 🎓 ['Düz olmayan' vs. 'düz' geometri](https://datascience.stackexchange.com/questions/52260/terminology-flat-geometry-in-the-context-of-clustering) +> +> Matematiksel terminolojiden türetilen düz olmayan ve düz geometri, noktalar arasındaki mesafelerin 'düz' ([Öklidyen](https://wikipedia.org/wiki/Euclidean_geometry)) veya 'düz olmayan' (Öklidyen olmayan) geometrik yöntemlerle ölçülmesini ifade eder. +> +>'Düz' bu bağlamda Öklidyen geometriyi ifade eder (bir kısmı 'düzlem' geometri olarak öğretilir) ve düz olmayan, Öklidyen olmayan geometriyi ifade eder. Geometri, makine öğrenimi ile ne ilgisi var? Matematik kökenli iki alan olarak, kümelerdeki noktalar arasındaki mesafeleri ölçmenin ortak bir yolu olmalıdır ve bu, verinin doğasına bağlı olarak 'düz' veya 'düz olmayan' bir şekilde yapılabilir. [Öklidyen mesafeler](https://wikipedia.org/wiki/Euclidean_distance) iki nokta arasındaki bir doğru parçasının uzunluğu olarak ölçülür. [Öklidyen olmayan mesafeler](https://wikipedia.org/wiki/Non-Euclidean_geometry) bir eğri boyunca ölçülür. Veriniz, görselleştirildiğinde, bir düzlemde var olmuyormuş gibi görünüyorsa, bunu ele almak için özel bir algoritma kullanmanız gerekebilir. +> + +> Bilgilendirme Grafiği [Dasani Madipalli](https://twitter.com/dasani_decoded) tarafından +> +> 🎓 ['Mesafeler'](https://web.stanford.edu/class/cs345a/slides/12-clustering.pdf) +> +> Kümeler, noktalar arasındaki mesafelerle tanımlanır. Bu mesafe birkaç şekilde ölçülebilir. Öklidyen kümeler, nokta değerlerinin ortalaması ile tanımlanır ve bir 'merkez nokta' içerir. Mesafeler, bu merkez noktaya olan mesafeyle ölçülür. Öklidyen olmayan mesafeler, diğer noktalara en yakın nokta olan 'clustroid'ler referans alınarak ölçülür. Clustroid'ler de çeşitli şekillerde tanımlanabilir. +> +> 🎓 ['Kısıtlı'](https://wikipedia.org/wiki/Constrained_clustering) +> +> [Kısıtlı Kümeleme](https://web.cs.ucdavis.edu/~davidson/Publications/ICDMTutorial.pdf), bu gözetimsiz yönteme 'yarı gözetimli' öğrenmeyi tanıtır. Noktalar arasındaki ilişkiler 'bağlanamaz' veya 'bağlanması gerekir' olarak işaretlenir, böylece veri kümesine bazı kurallar uygulanır. +> +>Bir örnek: Bir algoritma, etiketlenmemiş veya yarı etiketlenmiş bir veri kümesine serbest bırakıldığında, oluşturduğu kümeler kalitesiz olabilir. Yukarıdaki örnekte, kümeler 'yuvarlak müzik şeyleri', 'kare müzik şeyleri', 'üçgen şeyler' ve 'kurabiyeler' olarak gruplandırılabilir. Bazı kısıtlamalar veya kurallar verilirse ("öğe plastikten yapılmış olmalı", "öğe müzik üretebilmeli"), bu algoritmanın daha iyi seçimler yapmasına yardımcı olabilir. +> +> 🎓 'Yoğunluk' +> +> 'Gürültülü' veri 'yoğun' olarak kabul edilir. Her bir kümedeki noktalar arasındaki mesafeler, incelendiğinde daha veya az yoğun, yani 'kalabalık' olabilir ve bu nedenle bu veri, uygun kümeleme yöntemiyle analiz edilmelidir. [Bu makale](https://www.kdnuggets.com/2020/02/understanding-density-based-clustering.html), düzensiz küme yoğunluğuna sahip gürültülü bir veri kümesini keşfetmek için K-Means kümeleme ile HDBSCAN algoritmalarını kullanmanın farkını göstermektedir. + +## Kümeleme Algoritmaları + +100'den fazla kümeleme algoritması vardır ve kullanımları eldeki verinin doğasına bağlıdır. Bazı ana algoritmaları tartışalım: + +- **Hiyerarşik kümeleme**. Bir nesne, yakın bir nesneye olan yakınlığına göre sınıflandırıldığında, kümeler üyelerinin diğer nesnelere olan mesafelerine göre oluşturulur. Scikit-learn'ün agglomeratif kümelemesi hiyerarşiktir. + +  + > Bilgilendirme Grafiği [Dasani Madipalli](https://twitter.com/dasani_decoded) tarafından + +- **Merkez noktası kümeleme**. Bu popüler algoritma, oluşturulacak küme sayısını belirledikten sonra, bir kümenin merkez noktasını belirler ve bu nokta etrafında veri toplar. [K-means kümeleme](https://wikipedia.org/wiki/K-means_clustering), merkez noktası kümelemesinin popüler bir versiyonudur. Merkez, en yakın ortalama ile belirlenir, bu nedenle adı. Kümeden olan kare mesafesi minimize edilir. + +  + > Bilgilendirme Grafiği [Dasani Madipalli](https://twitter.com/dasani_decoded) tarafından + +- **Dağılım tabanlı kümeleme**. İstatistiksel modellemeye dayalı olan dağılım tabanlı kümeleme, bir veri noktasının bir kümeye ait olma olasılığını belirlemeye ve buna göre atamaya odaklanır. Gaussian karışım yöntemleri bu türe aittir. + +- **Yoğunluk tabanlı kümeleme**. Veri noktaları, yoğunluklarına veya birbirleri etrafında gruplandırılmalarına göre kümelere atanır. Grup dışındaki veri noktaları, aykırı değerler veya gürültü olarak kabul edilir. DBSCAN, Mean-shift ve OPTICS bu tür kümelemeye aittir. + +- **Izgara tabanlı kümeleme**. Çok boyutlu veri kümeleri için bir ızgara oluşturulur ve veri ızgaranın hücrelerine bölünerek kümeler oluşturulur. + +## Alıştırma - Verinizi Kümeleyin + +Kümeleme tekniği, doğru görselleştirme ile büyük ölçüde desteklenir, bu yüzden müzik verilerimizi görselleştirmeye başlayalım. Bu alıştırma, bu verinin doğası için en etkili hangi kümeleme yöntemlerini kullanmamız gerektiğine karar vermemize yardımcı olacaktır. + +1. Bu klasördeki [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/1-Visualize/notebook.ipynb) dosyasını açın. + +1. İyi veri görselleştirme için `Seaborn` paketini içe aktarın. + + ```python + !pip install seaborn + ``` + +1. [_nigerian-songs.csv_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/data/nigerian-songs.csv) dosyasından şarkı verilerini ekleyin. Şarkılar hakkında bazı verilerle bir dataframe yükleyin. Kütüphaneleri içe aktararak ve verileri dökerek bu veriyi keşfetmeye hazırlanın: + + ```python + import matplotlib.pyplot as plt + import pandas as pd + + df = pd.read_csv("../data/nigerian-songs.csv") + df.head() + ``` + + İlk birkaç satırı kontrol edin: + + | | name | album | artist | artist_top_genre | release_date | length | popularity | danceability | acousticness | energy | instrumentalness | liveness | loudness | speechiness | tempo | time_signature | + | --- | ------------------------ | ---------------------------- | ------------------- | ---------------- | ------------ | ------ | ---------- | ------------ | ------------ | ------ | ---------------- | -------- | -------- | ----------- | ------- | -------------- | + | 0 | Sparky | Mandy & The Jungle | Cruel Santino | alternative r&b | 2019 | 144000 | 48 | 0.666 | 0.851 | 0.42 | 0.534 | 0.11 | -6.699 | 0.0829 | 133.015 | 5 | + | 1 | shuga rush | EVERYTHING YOU HEARD IS TRUE | Odunsi (The Engine) | afropop | 2020 | 89488 | 30 | 0.71 | 0.0822 | 0.683 | 0.000169 | 0.101 | -5.64 | 0.36 | 129.993 | 3 | + | 2 | LITT! | LITT! | AYLØ | indie r&b | 2018 | 207758 | 40 | 0.836 | 0.272 | 0.564 | 0.000537 | 0.11 | -7.127 | 0.0424 | 130.005 | 4 | + | 3 | Confident / Feeling Cool | Enjoy Your Life | Lady Donli | nigerian pop | 2019 | 175135 | 14 | 0.894 | 0.798 | 0.611 | 0.000187 | 0.0964 | -4.961 | 0.113 | 111.087 | 4 | + | 4 | wanted you | rare. | Odunsi (The Engine) | afropop | 2018 | 152049 | 25 | 0.702 | 0.116 | 0.833 | 0.91 | 0.348 | -6.044 | 0.0447 | 105.115 | 4 | + +1. `info()` çağırarak dataframe hakkında bazı bilgiler edinin: + + ```python + df.info() + ``` + + Çıktı şöyle görünecek: + + ```output ++ RangeIndex: 530 entries, 0 to 529 + Data columns (total 16 columns): + # Column Non-Null Count Dtype + --- ------ -------------- ----- + 0 name 530 non-null object + 1 album 530 non-null object + 2 artist 530 non-null object + 3 artist_top_genre 530 non-null object + 4 release_date 530 non-null int64 + 5 length 530 non-null int64 + 6 popularity 530 non-null int64 + 7 danceability 530 non-null float64 + 8 acousticness 530 non-null float64 + 9 energy 530 non-null float64 + 10 instrumentalness 530 non-null float64 + 11 liveness 530 non-null float64 + 12 loudness 530 non-null float64 + 13 speechiness 530 non-null float64 + 14 tempo 530 non-null float64 + 15 time_signature 530 non-null int64 + dtypes: float64(8), int64(4), object(4) + memory usage: 66.4+ KB + ``` + +1. `isnull()` çağırarak ve toplamın 0 olduğunu doğrulayarak null değerleri iki kez kontrol edin: + + ```python + df.isnull().sum() + ``` + + İyi görünüyor: + + ```output + name 0 + album 0 + artist 0 + artist_top_genre 0 + release_date 0 + length 0 + popularity 0 + danceability 0 + acousticness 0 + energy 0 + instrumentalness 0 + liveness 0 + loudness 0 + speechiness 0 + tempo 0 + time_signature 0 + dtype: int64 + ``` + +1. Verileri tanımlayın: + + ```python + df.describe() + ``` + + | | release_date | length | popularity | danceability | acousticness | energy | instrumentalness | liveness | loudness | speechiness | tempo | time_signature | + | ----- | ------------ | ----------- | ---------- | ------------ | ------------ | -------- | ---------------- | -------- | --------- | ----------- | ---------- | -------------- | + | count | 530 | 530 | 530 | 530 | +## [Ders Sonrası Quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/28/) + +## Gözden Geçirme ve Kendi Kendine Çalışma + +Kümeleme algoritmalarını uygulamadan önce, öğrendiğimiz gibi, veri setinizin doğasını anlamak iyi bir fikirdir. Bu konu hakkında daha fazla bilgi edinmek için [buraya](https://www.kdnuggets.com/2019/10/right-clustering-algorithm.html) tıklayın. + +[Faydalı bu makale](https://www.freecodecamp.org/news/8-clustering-algorithms-in-machine-learning-that-all-data-scientists-should-know/), farklı veri şekilleri göz önüne alındığında çeşitli kümeleme algoritmalarının nasıl davrandığını açıklar. + +## Ödev + +[Kümeleme için diğer görselleştirmeleri araştırın](assignment.md) + +**Feragatname**: +Bu belge, makine tabanlı AI çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belgenin kendi dilindeki hali yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/5-Clustering/1-Visualize/assignment.md b/translations/tr/5-Clustering/1-Visualize/assignment.md new file mode 100644 index 000000000..7fd7f5005 --- /dev/null +++ b/translations/tr/5-Clustering/1-Visualize/assignment.md @@ -0,0 +1,14 @@ +# Kümeleme için diğer görselleştirmeleri araştırın + +## Talimatlar + +Bu derste, verilerinizi kümelemeye hazırlamak için bazı görselleştirme teknikleriyle çalıştınız. Özellikle, dağılım grafikleri nesne gruplarını bulmak için kullanışlıdır. Dağılım grafikleri oluşturmak için farklı yolları ve farklı kütüphaneleri araştırın ve çalışmalarınızı bir not defterinde belgeleyin. Bu dersteki verileri, diğer derslerden verileri veya kendinizin temin ettiği verileri kullanabilirsiniz (ancak kaynağını not defterinizde belirtmeyi unutmayın). Dağılım grafikleri kullanarak bazı verileri çizin ve neler keşfettiğinizi açıklayın. + +## Değerlendirme Kriterleri + +| Kriter | Mükemmel | Yeterli | Geliştirmeye İhtiyacı Var | +| -------- | -------------------------------------------------------------- | ---------------------------------------------------------------------------------------- | ----------------------------------- | +| | Beş iyi belgelenmiş dağılım grafiği içeren bir not defteri sunulur | Beşten az dağılım grafiği içeren ve daha az belgelenmiş bir not defteri sunulur | Eksik bir not defteri sunulur | + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluğu sağlamak için çaba sarf etsek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal dili, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilmektedir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/5-Clustering/1-Visualize/solution/Julia/README.md b/translations/tr/5-Clustering/1-Visualize/solution/Julia/README.md new file mode 100644 index 000000000..b57a2f2e3 --- /dev/null +++ b/translations/tr/5-Clustering/1-Visualize/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluğu sağlamak için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belge, kendi dilinde yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından doğacak herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/5-Clustering/2-K-Means/README.md b/translations/tr/5-Clustering/2-K-Means/README.md new file mode 100644 index 000000000..9c26da4d0 --- /dev/null +++ b/translations/tr/5-Clustering/2-K-Means/README.md @@ -0,0 +1,250 @@ +# K-Means kümeleme + +## [Ders Öncesi Test](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/29/) + +Bu derste, daha önce içe aktardığınız Nijerya müzik veri kümesini kullanarak Scikit-learn ile nasıl kümeler oluşturacağınızı öğreneceksiniz. K-Means ile Kümeleme'nin temellerini ele alacağız. Daha önceki derste öğrendiğiniz gibi, kümelerle çalışmanın birçok yolu vardır ve kullandığınız yöntem verilerinize bağlıdır. En yaygın kümeleme tekniği olduğu için K-Means'ı deneyeceğiz. Hadi başlayalım! + +Öğreneceğiniz terimler: + +- Siluet skoru +- Dirsek yöntemi +- Eylemsizlik +- Varyans + +## Giriş + +[K-Means Kümeleme](https://wikipedia.org/wiki/K-means_clustering), sinyal işleme alanından türetilmiş bir yöntemdir. Bir dizi gözlem kullanarak veri gruplarını 'k' kümelere bölmek ve ayırmak için kullanılır. Her gözlem, verilen bir veri noktasını en yakın 'ortalama'ya veya bir kümenin merkez noktasına en yakın olacak şekilde gruplar. + +Kümeler, bir nokta (veya 'tohum') ve karşılık gelen bölgesini içeren [Voronoi diyagramları](https://wikipedia.org/wiki/Voronoi_diagram) olarak görselleştirilebilir. + + + +> infographic by [Jen Looper](https://twitter.com/jenlooper) + +K-Means kümeleme süreci [üç adımlı bir süreçte çalışır](https://scikit-learn.org/stable/modules/clustering.html#k-means): + +1. Algoritma, veri kümesinden örnekleme yaparak k sayıda merkez noktası seçer. Bundan sonra, döngüye girer: + 1. Her örneği en yakın merkez noktaya atar. + 2. Önceki merkez noktalara atanan tüm örneklerin ortalama değerini alarak yeni merkez noktalar oluşturur. + 3. Ardından, yeni ve eski merkez noktalar arasındaki farkı hesaplar ve merkez noktalar stabilize olana kadar tekrarlar. + +K-Means kullanmanın bir dezavantajı, 'k' yani merkez noktalarının sayısını belirlemeniz gerektiğidir. Neyse ki, 'dirsek yöntemi' 'k' için iyi bir başlangıç değeri tahmin etmenize yardımcı olur. Birazdan deneyeceksiniz. + +## Önkoşul + +Bu dersin [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/2-K-Means/notebook.ipynb) dosyasında çalışacaksınız, bu dosya önceki derste yaptığınız veri içe aktarma ve ön temizleme işlemlerini içerir. + +## Alıştırma - hazırlık + +Şarkı verilerine tekrar bir göz atarak başlayın. + +1. Her sütun için `boxplot()` çağırarak bir kutu grafiği oluşturun: + + ```python + plt.figure(figsize=(20,20), dpi=200) + + plt.subplot(4,3,1) + sns.boxplot(x = 'popularity', data = df) + + plt.subplot(4,3,2) + sns.boxplot(x = 'acousticness', data = df) + + plt.subplot(4,3,3) + sns.boxplot(x = 'energy', data = df) + + plt.subplot(4,3,4) + sns.boxplot(x = 'instrumentalness', data = df) + + plt.subplot(4,3,5) + sns.boxplot(x = 'liveness', data = df) + + plt.subplot(4,3,6) + sns.boxplot(x = 'loudness', data = df) + + plt.subplot(4,3,7) + sns.boxplot(x = 'speechiness', data = df) + + plt.subplot(4,3,8) + sns.boxplot(x = 'tempo', data = df) + + plt.subplot(4,3,9) + sns.boxplot(x = 'time_signature', data = df) + + plt.subplot(4,3,10) + sns.boxplot(x = 'danceability', data = df) + + plt.subplot(4,3,11) + sns.boxplot(x = 'length', data = df) + + plt.subplot(4,3,12) + sns.boxplot(x = 'release_date', data = df) + ``` + + Bu veri biraz gürültülü: her sütunu kutu grafiği olarak gözlemleyerek aykırı değerleri görebilirsiniz. + +  + +Veri kümesinden bu aykırı değerleri çıkarabilirsiniz, ancak bu veriyi oldukça minimal hale getirir. + +1. Şimdi, kümeleme egzersiziniz için hangi sütunları kullanacağınıza karar verin. Benzer aralıklara sahip olanları seçin ve `artist_top_genre` sütununu sayısal veriler olarak kodlayın: + + ```python + from sklearn.preprocessing import LabelEncoder + le = LabelEncoder() + + X = df.loc[:, ('artist_top_genre','popularity','danceability','acousticness','loudness','energy')] + + y = df['artist_top_genre'] + + X['artist_top_genre'] = le.fit_transform(X['artist_top_genre']) + + y = le.transform(y) + ``` + +1. Şimdi kaç küme hedefleyeceğinizi seçmeniz gerekiyor. Veri kümesinden 3 şarkı türü çıkardığınızı biliyorsunuz, bu yüzden 3'ü deneyelim: + + ```python + from sklearn.cluster import KMeans + + nclusters = 3 + seed = 0 + + km = KMeans(n_clusters=nclusters, random_state=seed) + km.fit(X) + + # Predict the cluster for each data point + + y_cluster_kmeans = km.predict(X) + y_cluster_kmeans + ``` + +Dataframe'in her satırı için tahmin edilen kümeler (0, 1 veya 2) ile basılmış bir dizi görüyorsunuz. + +1. Bu diziyi kullanarak bir 'siluet skoru' hesaplayın: + + ```python + from sklearn import metrics + score = metrics.silhouette_score(X, y_cluster_kmeans) + score + ``` + +## Siluet skoru + +1'e yakın bir siluet skoru arayın. Bu skor -1 ile 1 arasında değişir ve eğer skor 1 ise, küme yoğundur ve diğer kümelerden iyi ayrılmıştır. 0'a yakın bir değer, örneklerin komşu kümelerin karar sınırına çok yakın olduğu örtüşen kümeleri temsil eder. [(Kaynak)](https://dzone.com/articles/kmeans-silhouette-score-explained-with-python-exam) + +Bizim skor **.53**, yani ortada. Bu, verilerimizin bu tür bir kümeleme için pek uygun olmadığını gösteriyor, ancak devam edelim. + +### Alıştırma - bir model oluşturma + +1. `KMeans`'i içe aktarın ve kümeleme sürecine başlayın. + + ```python + from sklearn.cluster import KMeans + wcss = [] + + for i in range(1, 11): + kmeans = KMeans(n_clusters = i, init = 'k-means++', random_state = 42) + kmeans.fit(X) + wcss.append(kmeans.inertia_) + + ``` + + Burada açıklamaya değer birkaç bölüm var. + + > 🎓 range: Bunlar kümeleme sürecinin iterasyonlarıdır + + > 🎓 random_state: "Merkez noktası başlatma için rastgele sayı üretimini belirler." [Kaynak](https://scikit-learn.org/stable/modules/generated/sklearn.cluster.KMeans.html#sklearn.cluster.KMeans) + + > 🎓 WCSS: "küme içi kareler toplamı" bir küme içindeki tüm noktaların küme merkezine olan kareli ortalama mesafesini ölçer. [Kaynak](https://medium.com/@ODSC/unsupervised-learning-evaluating-clusters-bd47eed175ce). + + > 🎓 Inertia: K-Means algoritmaları, 'inertia'yı minimize edecek merkez noktaları seçmeye çalışır, "kümelerin ne kadar içsel olarak tutarlı olduğunu ölçen bir ölçüttür." [Kaynak](https://scikit-learn.org/stable/modules/clustering.html). Değer her iterasyonda wcss değişkenine eklenir. + + > 🎓 k-means++: [Scikit-learn](https://scikit-learn.org/stable/modules/clustering.html#k-means)'de 'k-means++' optimizasyonunu kullanabilirsiniz, bu "merkez noktalarını genellikle birbirinden uzak olacak şekilde başlatır, bu da rastgele başlatmadan muhtemelen daha iyi sonuçlar verir. + +### Dirsek yöntemi + +Daha önce, 3 şarkı türünü hedeflediğiniz için 3 küme seçmeniz gerektiğini varsaymıştınız. Ama gerçekten öyle mi? + +1. Emin olmak için 'dirsek yöntemini' kullanın. + + ```python + plt.figure(figsize=(10,5)) + sns.lineplot(x=range(1, 11), y=wcss, marker='o', color='red') + plt.title('Elbow') + plt.xlabel('Number of clusters') + plt.ylabel('WCSS') + plt.show() + ``` + + Önceki adımda oluşturduğunuz `wcss` değişkenini kullanarak 'dirsek' bükümünün nerede olduğunu gösteren bir grafik oluşturun, bu optimum küme sayısını gösterir. Belki gerçekten **3**! + +  + +## Alıştırma - kümeleri gösterme + +1. Süreci tekrar deneyin, bu sefer üç küme ayarlayın ve kümeleri bir dağılım grafiği olarak gösterin: + + ```python + from sklearn.cluster import KMeans + kmeans = KMeans(n_clusters = 3) + kmeans.fit(X) + labels = kmeans.predict(X) + plt.scatter(df['popularity'],df['danceability'],c = labels) + plt.xlabel('popularity') + plt.ylabel('danceability') + plt.show() + ``` + +1. Modelin doğruluğunu kontrol edin: + + ```python + labels = kmeans.labels_ + + correct_labels = sum(y == labels) + + print("Result: %d out of %d samples were correctly labeled." % (correct_labels, y.size)) + + print('Accuracy score: {0:0.2f}'. format(correct_labels/float(y.size))) + ``` + + Bu modelin doğruluğu pek iyi değil ve kümelerin şekli nedenini size ipucu veriyor. + +  + + Bu veri çok dengesiz, çok az korelasyonlu ve sütun değerleri arasında çok fazla varyans var, bu yüzden iyi kümelenmiyor. Aslında, oluşan kümeler muhtemelen yukarıda tanımladığımız üç tür kategorisinden büyük ölçüde etkileniyor veya eğiliyor. Bu bir öğrenme süreciydi! + + Scikit-learn belgelerinde, bu model gibi, iyi belirlenmemiş kümeleri olan bir modelin 'varyans' problemi olduğunu görebilirsiniz: + +  + > Infographic from Scikit-learn + +## Varyans + +Varyans, "Ortalamanın kareli farklarının ortalaması" olarak tanımlanır [(Kaynak)](https://www.mathsisfun.com/data/standard-deviation.html). Bu kümeleme problemi bağlamında, veri kümesindeki sayıların ortalamadan biraz fazla sapma eğiliminde olduğunu ifade eder. + +✅ Bu, bu sorunu düzeltmenin tüm yollarını düşünmek için harika bir an. Verileri biraz daha düzenlemek mi? Farklı sütunlar kullanmak mı? Farklı bir algoritma kullanmak mı? İpucu: Verilerinizi normalleştirmek için [ölçeklendirmeyi deneyin](https://www.mygreatlearning.com/blog/learning-data-science-with-k-means-clustering/) ve diğer sütunları test edin. + +> Bu '[varyans hesaplayıcısı](https://www.calculatorsoup.com/calculators/statistics/variance-calculator.php)'nı deneyerek kavramı biraz daha iyi anlayın. + +--- + +## 🚀Meydan Okuma + +Bu notebook ile biraz zaman geçirin, parametreleri ayarlayın. Verileri daha fazla temizleyerek (örneğin aykırı değerleri çıkararak) modelin doğruluğunu artırabilir misiniz? Belirli veri örneklerine daha fazla ağırlık vermek için ağırlıklar kullanabilirsiniz. Daha iyi kümeler oluşturmak için başka ne yapabilirsiniz? + +İpucu: Verilerinizi ölçeklendirmeyi deneyin. Notebook'ta, veri sütunlarını aralık açısından daha benzer hale getirmek için standart ölçeklendirme ekleyen yorumlanmış kod bulacaksınız. Siluet skoru düşse de, dirsek grafiğindeki 'büküm' yumuşar. Bunun nedeni, verileri ölçeklendirilmemiş bırakmanın, daha az varyansa sahip verilerin daha fazla ağırlık taşımasına izin vermesidir. Bu sorun hakkında biraz daha okuyun [burada](https://stats.stackexchange.com/questions/21222/are-mean-normalization-and-feature-scaling-needed-for-k-means-clustering/21226#21226). + +## [Ders Sonrası Test](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/30/) + +## Gözden Geçirme ve Kendi Kendine Çalışma + +Bir K-Means Simülatörüne [bu gibi](https://user.ceng.metu.edu.tr/~akifakkus/courses/ceng574/k-means/) göz atın. Bu aracı kullanarak örnek veri noktalarını görselleştirebilir ve merkez noktalarını belirleyebilirsiniz. Verilerin rastgeleliğini, küme sayılarını ve merkez noktalarını düzenleyebilirsiniz. Bu, verilerin nasıl gruplanabileceği hakkında bir fikir edinmenize yardımcı olur mu? + +Ayrıca Stanford'dan [bu K-Means el kitabına](https://stanford.edu/~cpiech/cs221/handouts/kmeans.html) göz atın. + +## Ödev + +[Farklı kümeleme yöntemlerini deneyin](assignment.md) + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba sarf etsek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal dili, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/5-Clustering/2-K-Means/assignment.md b/translations/tr/5-Clustering/2-K-Means/assignment.md new file mode 100644 index 000000000..8842b5622 --- /dev/null +++ b/translations/tr/5-Clustering/2-K-Means/assignment.md @@ -0,0 +1,13 @@ +# Farklı kümeleme yöntemlerini deneyin + +## Talimatlar + +Bu derste K-Means kümeleme hakkında bilgi edindiniz. Bazen K-Means verileriniz için uygun olmayabilir. Bu derslerden veya başka bir kaynaktan (kaynağınızı belirtin) veri kullanarak bir defter oluşturun ve K-Means kullanmadan farklı bir kümeleme yöntemi gösterin. Ne öğrendiniz? +## Değerlendirme Kriterleri + +| Kriterler | Örnek Niteliğinde | Yeterli | Geliştirmeye İhtiyaç Var | +| --------- | ------------------------------------------------------------- | -------------------------------------------------------------------- | ------------------------------ | +| | İyi belgelenmiş bir kümeleme modeli içeren bir defter sunulur | İyi belgelenmemiş ve/veya eksik bir defter sunulur | Eksik çalışma sunulmuştur | + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba sarf etsek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal dili, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından doğabilecek yanlış anlaşılma veya yanlış yorumlamalardan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/5-Clustering/2-K-Means/solution/Julia/README.md b/translations/tr/5-Clustering/2-K-Means/solution/Julia/README.md new file mode 100644 index 000000000..d02b660c6 --- /dev/null +++ b/translations/tr/5-Clustering/2-K-Means/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Feragatname**: +Bu belge, makine tabanlı AI çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluğa önem versek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belgenin kendi dilindeki hali yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilmektedir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/5-Clustering/README.md b/translations/tr/5-Clustering/README.md new file mode 100644 index 000000000..a88306f97 --- /dev/null +++ b/translations/tr/5-Clustering/README.md @@ -0,0 +1,31 @@ +# Makine öğrenimi için kümeleme modelleri + +Kümeleme, benzer nesneleri bulmayı ve bunları kümeler olarak adlandırılan gruplar halinde gruplamayı amaçlayan bir makine öğrenimi görevidir. Kümelemeyi makine öğrenimindeki diğer yaklaşımlardan ayıran şey, her şeyin otomatik olarak gerçekleşmesidir. Aslında, denetimli öğrenmenin tam tersidir demek doğru olur. + +## Bölgesel konu: Nijeryalı bir izleyici kitlesinin müzik zevkine yönelik kümeleme modelleri 🎧 + +Nijerya'nın çeşitli izleyici kitlesi, çeşitli müzik zevklerine sahiptir. Spotify'dan alınan verileri kullanarak (bu makaleden ilham alarak: [bu makale](https://towardsdatascience.com/country-wise-visual-analysis-of-music-taste-using-spotify-api-seaborn-in-python-77f5b749b421)), Nijerya'da popüler olan bazı müziklere bakalım. Bu veri kümesi, çeşitli şarkıların 'dans edilebilirlik' puanı, 'akustiklik', ses yüksekliği, 'konuşkanlık', popülerlik ve enerji hakkında veriler içerir. Bu verilerdeki kalıpları keşfetmek ilginç olacak! + + + +> Fotoğraf Marcela Laskoski tarafından Unsplash üzerinde + +Bu ders serisinde, kümeleme tekniklerini kullanarak verileri analiz etmenin yeni yollarını keşfedeceksiniz. Kümeleme, veri kümenizde etiketler olmadığında özellikle yararlıdır. Eğer etiketler varsa, önceki derslerde öğrendiğiniz sınıflandırma teknikleri daha yararlı olabilir. Ancak etiketlenmemiş verileri gruplamayı amaçladığınız durumlarda, kümeleme kalıpları keşfetmenin harika bir yoludur. + +> Kümeleme modelleri ile çalışmayı öğrenmenize yardımcı olabilecek kullanışlı düşük kod araçları vardır. Bu görev için [Azure ML'yi deneyin](https://docs.microsoft.com/learn/modules/create-clustering-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott) + +## Dersler + +1. [Kümelenmeye giriş](1-Visualize/README.md) +2. [K-Means kümeleme](2-K-Means/README.md) + +## Katkıda Bulunanlar + +Bu dersler 🎶 ile [Jen Looper](https://www.twitter.com/jenlooper) tarafından yazıldı ve [Rishit Dagli](https://rishit_dagli) ve [Muhammad Sakib Khan Inan](https://twitter.com/Sakibinan) tarafından faydalı incelemelerle desteklendi. + +[Nijeryalı Şarkılar](https://www.kaggle.com/sootersaalu/nigerian-songs-spotify) veri kümesi, Spotify'dan alınarak Kaggle'dan temin edilmiştir. + +Bu dersi oluştururken yardımcı olan faydalı K-Means örnekleri arasında bu [iris keşfi](https://www.kaggle.com/bburns/iris-exploration-pca-k-means-and-gmm-clustering), bu [giriş not defteri](https://www.kaggle.com/prashant111/k-means-clustering-with-python) ve bu [varsayımsal STK örneği](https://www.kaggle.com/ankandash/pca-k-means-clustering-hierarchical-clustering) bulunmaktadır. + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belge, kendi dilinde yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi tavsiye edilir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/6-NLP/1-Introduction-to-NLP/README.md b/translations/tr/6-NLP/1-Introduction-to-NLP/README.md new file mode 100644 index 000000000..b3c971295 --- /dev/null +++ b/translations/tr/6-NLP/1-Introduction-to-NLP/README.md @@ -0,0 +1,168 @@ +# Doğal Dil İşlemeye Giriş + +Bu ders, *hesaplamalı dilbilim* alt alanı olan *doğal dil işleme*nin kısa bir tarihini ve önemli kavramlarını kapsar. + +## [Ders Öncesi Testi](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/31/) + +## Giriş + +Genellikle NLP olarak bilinen doğal dil işleme, makine öğreniminin uygulandığı ve üretim yazılımlarında kullanılan en bilinen alanlardan biridir. + +✅ Her gün kullandığınız ve muhtemelen içinde biraz NLP barındıran bir yazılım düşünebilir misiniz? Peki ya düzenli olarak kullandığınız kelime işlem programları veya mobil uygulamalar? + +Öğrenecekleriniz: + +- **Dillerin fikri**. Dillerin nasıl geliştiği ve ana çalışma alanlarının neler olduğu. +- **Tanım ve kavramlar**. Bilgisayarların metni nasıl işlediğine dair tanımlar ve kavramlar, cümle çözümleme, dilbilgisi ve isim ve fiilleri tanımlama dahil. Bu derste bazı kodlama görevleri var ve sonraki derslerde kodlamayı öğreneceğiniz birkaç önemli kavram tanıtılıyor. + +## Hesaplamalı Dilbilim + +Hesaplamalı dilbilim, bilgisayarların dillerle nasıl çalışabileceğini, hatta anlayabileceğini, çevirebileceğini ve iletişim kurabileceğini araştıran ve geliştiren bir alandır. Doğal dil işleme (NLP), bilgisayarların 'doğal' veya insan dillerini nasıl işleyebileceğine odaklanan ilgili bir alandır. + +### Örnek - telefon dikte + +Telefonunuza yazmak yerine dikte ettiyseniz veya sanal bir asistana soru sorduysanız, konuşmanız bir metin formuna dönüştürülmüş ve ardından konuştuğunuz dilden *çözümleme* yapılmıştır. Algılanan anahtar kelimeler, telefonun veya asistanın anlayabileceği ve işlem yapabileceği bir formata dönüştürülmüştür. + + +> Gerçek dilsel anlama zordur! Görsel [Jen Looper](https://twitter.com/jenlooper) tarafından + +### Bu teknoloji nasıl mümkün hale geliyor? + +Bu, birinin bunu yapmak için bir bilgisayar programı yazması sayesinde mümkündür. Birkaç on yıl önce, bazı bilim kurgu yazarları, insanların çoğunlukla bilgisayarlarıyla konuşacağını ve bilgisayarların her zaman ne demek istediklerini tam olarak anlayacağını öngörmüştü. Ne yazık ki, bu birçok kişinin hayal ettiğinden daha zor bir problem olduğu ortaya çıktı ve bugün çok daha iyi anlaşılan bir problem olmasına rağmen, bir cümlenin anlamını anlamak söz konusu olduğunda 'mükemmel' doğal dil işlemeye ulaşmakta önemli zorluklar vardır. Özellikle bir cümledeki mizahı anlamak veya alay gibi duyguları tespit etmek söz konusu olduğunda bu zor bir problemdir. + +Bu noktada, öğretmenin bir cümledeki dilbilgisi bölümlerini ele aldığı okul derslerini hatırlayabilirsiniz. Bazı ülkelerde, öğrenciler dilbilgisi ve dilbilimi ayrı bir konu olarak öğretilirken, birçok ülkede bu konular bir dil öğrenmenin bir parçası olarak dahil edilir: ya ilkokulda ana dilinizi (okumayı ve yazmayı öğrenmek) ya da ortaokul veya lisede ikinci bir dili öğrenmek. İsimleri fiillerden veya zarfları sıfatlardan ayırt etme konusunda uzman değilseniz endişelenmeyin! + +*Geniş zaman* ile *şimdiki zaman* arasındaki farkla mücadele ediyorsanız, yalnız değilsiniz. Bu, birçok insan için, hatta bir dilin ana konuşmacıları için bile zor bir şeydir. İyi haber şu ki, bilgisayarlar resmi kuralları uygulamada gerçekten iyidir ve bir cümleyi bir insan kadar iyi *çözümleyecek* kod yazmayı öğreneceksiniz. Daha sonra inceleyeceğiniz daha büyük zorluk, bir cümlenin *anlamını* ve *duygusunu* anlamaktır. + +## Ön Koşullar + +Bu ders için ana ön koşul, bu dersin dilini okuyabilmek ve anlayabilmektir. Çözülecek matematik problemleri veya denklemler yoktur. Orijinal yazar bu dersi İngilizce yazmış olsa da, başka dillere de çevrilmiştir, bu yüzden bir çeviri okuyabilirsiniz. Birkaç farklı dilin kullanıldığı örnekler vardır (farklı dillerin dilbilgisi kurallarını karşılaştırmak için). Bu diller *çevirilmemiştir*, ancak açıklayıcı metin çevrilmiştir, bu yüzden anlam net olmalıdır. + +Kodlama görevleri için Python kullanacaksınız ve örnekler Python 3.8 kullanılarak yapılmıştır. + +Bu bölümde, ihtiyacınız olacak ve kullanacaksınız: + +- **Python 3 anlama**. Python 3'te programlama dili anlama, bu ders girdi, döngüler, dosya okuma, diziler kullanır. +- **Visual Studio Code + eklenti**. Visual Studio Code ve Python eklentisini kullanacağız. Ayrıca tercih ettiğiniz bir Python IDE'sini de kullanabilirsiniz. +- **TextBlob**. [TextBlob](https://github.com/sloria/TextBlob), Python için basitleştirilmiş bir metin işleme kütüphanesidir. TextBlob sitesindeki talimatları izleyerek sisteminize yükleyin (aşağıda gösterildiği gibi corpusları da yükleyin): + + ```bash + pip install -U textblob + python -m textblob.download_corpora + ``` + +> 💡 İpucu: Python'u doğrudan VS Code ortamlarında çalıştırabilirsiniz. Daha fazla bilgi için [belgelere](https://code.visualstudio.com/docs/languages/python?WT.mc_id=academic-77952-leestott) göz atın. + +## Makinelerle Konuşmak + +Bilgisayarların insan dilini anlamasını sağlamaya yönelik çalışmalar on yıllar öncesine dayanır ve doğal dil işlemeyi düşünen en erken bilim insanlarından biri *Alan Turing* idi. + +### 'Turing testi' + +Turing, 1950'lerde *yapay zeka* araştırmaları yaparken, bir insana ve bilgisayara (yazılı iletişim yoluyla) bir konuşma testi verilse, insanın konuşmada başka bir insanla mı yoksa bir bilgisayarla mı konuştuğundan emin olamaması durumunu düşündü. + +Belirli bir konuşma süresinden sonra, insan cevapların bir bilgisayardan mı yoksa başka bir insandan mı geldiğini belirleyemezse, bilgisayarın *düşündüğü* söylenebilir mi? + +### İlham - 'taklit oyunu' + +Bu fikir, bir sorgulayıcının bir odada yalnız olduğu ve başka bir odadaki iki kişinin cinsiyetini belirlemeye çalıştığı bir parti oyunundan geldi. Sorgulayıcı notlar gönderebilir ve yazılı cevapların gizemli kişinin cinsiyetini ortaya çıkaracak sorular düşünmeye çalışmalıdır. Tabii ki, diğer odadaki oyuncular, soruları yanıltıcı veya kafa karıştırıcı şekilde cevaplayarak sorgulayıcıyı yanıltmaya çalışırken, aynı zamanda dürüstçe cevap veriyormuş gibi görünmeye çalışır. + +### Eliza'yı geliştirmek + +1960'larda MIT'den bir bilim insanı olan *Joseph Weizenbaum*, [*Eliza*](https://wikipedia.org/wiki/ELIZA) adında bir bilgisayar 'terapisti' geliştirdi. Eliza, insana sorular sorar ve cevaplarını anlıyormuş gibi görünürdü. Ancak, Eliza bir cümleyi çözümleyip belirli dilbilgisi yapıları ve anahtar kelimeleri tanımlayarak makul bir cevap verebilirken, cümleyi *anladığı* söylenemezdi. Eliza, "**Ben** üzgünüm" formatındaki bir cümleye karşılık, cümledeki kelimeleri yeniden düzenleyip yerine koyarak "Ne kadar süredir **üzgün** olduğunuzu hissediyorsunuz" şeklinde yanıt verebilirdi. + +Bu, Eliza'nın ifadeyi anladığı ve bir takip sorusu sorduğu izlenimini verirken, gerçekte, zamanı değiştirip bazı kelimeler ekliyordu. Eliza, yanıt verebileceği bir anahtar kelimeyi tanımlayamazsa, bunun yerine birçok farklı ifadeye uygulanabilecek rastgele bir yanıt verirdi. Eliza kolayca kandırılabilirdi, örneğin bir kullanıcı "**Sen** bir bisikletsin" yazarsa, "Ne kadar süredir **ben** bir bisikletim?" şeklinde yanıt verebilirdi, mantıklı bir yanıt yerine. + +[](https://youtu.be/RMK9AphfLco "Eliza ile Sohbet") + +> 🎥 Yukarıdaki görüntüye tıklayarak orijinal ELIZA programı hakkında bir video izleyebilirsiniz + +> Not: Bir ACM hesabınız varsa, 1966'da yayınlanan [Eliza'nın](https://cacm.acm.org/magazines/1966/1/13317-elizaa-computer-program-for-the-study-of-natural-language-communication-between-man-and-machine/abstract) orijinal tanımını okuyabilirsiniz. Alternatif olarak, Eliza hakkında [wikipedia](https://wikipedia.org/wiki/ELIZA)'dan bilgi edinin + +## Alıştırma - Temel Bir Konuşma Botu Kodlama + +Eliza gibi bir konuşma botu, kullanıcı girdilerini alan ve anlamış gibi görünen ve akıllıca yanıt veren bir programdır. Eliza'nın aksine, botumuz akıllı bir konuşma izlenimi veren birkaç kurala sahip olmayacak. Bunun yerine, botumuzun tek bir yeteneği olacak, neredeyse her sıradan konuşmada işe yarayabilecek rastgele yanıtlarla konuşmayı sürdürmek. + +### Plan + +Bir konuşma botu oluştururken adımlarınız: + +1. Kullanıcıya botla nasıl etkileşime geçeceğini anlatan talimatları yazdırın +2. Bir döngü başlatın + 1. Kullanıcı girdisini kabul edin + 2. Kullanıcı çıkmak isterse, çıkın + 3. Kullanıcı girdisini işleyin ve yanıtı belirleyin (bu durumda, yanıt olası genel yanıtlar listesinden rastgele bir seçimdir) + 4. Yanıtı yazdırın +3. Adım 2'ye geri dönün + +### Botu Oluşturma + +Şimdi botu oluşturalım. Öncelikle bazı ifadeleri tanımlayarak başlayacağız. + +1. Aşağıdaki rastgele yanıtlarla bu botu kendiniz Python'da oluşturun: + + ```python + random_responses = ["That is quite interesting, please tell me more.", + "I see. Do go on.", + "Why do you say that?", + "Funny weather we've been having, isn't it?", + "Let's change the subject.", + "Did you catch the game last night?"] + ``` + + İşte size rehberlik etmesi için bazı örnek çıktılar (kullanıcı girdisi `>` ile başlayan satırlarda): + + ```output + Hello, I am Marvin, the simple robot. + You can end this conversation at any time by typing 'bye' + After typing each answer, press 'enter' + How are you today? + > I am good thanks + That is quite interesting, please tell me more. + > today I went for a walk + Did you catch the game last night? + > I did, but my team lost + Funny weather we've been having, isn't it? + > yes but I hope next week is better + Let's change the subject. + > ok, lets talk about music + Why do you say that? + > because I like music! + Why do you say that? + > bye + It was nice talking to you, goodbye! + ``` + + Göreve olası bir çözüm [burada](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/1-Introduction-to-NLP/solution/bot.py) + + ✅ Düşünün ve durun + + 1. Rastgele yanıtların birinin botun gerçekten anladığını düşündüreceğini düşünüyor musunuz? + 2. Botun daha etkili olması için hangi özelliklere ihtiyaç duyardı? + 3. Bir bot gerçekten bir cümlenin anlamını anlayabilseydi, önceki cümlelerin anlamını da 'hatırlaması' gerekir miydi? + +--- + +## 🚀Meydan Okuma + +Yukarıdaki "düşünün ve durun" unsurlarından birini seçin ve bunu kodda uygulamaya çalışın veya bir çözümü kağıt üzerinde sahte kod kullanarak yazın. + +Bir sonraki derste, doğal dili çözümleme ve makine öğrenimine yönelik başka yaklaşımlar hakkında bilgi edineceksiniz. + +## [Ders Sonrası Testi](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/32/) + +## İnceleme ve Kendi Kendine Çalışma + +Aşağıdaki referanslara daha fazla okuma fırsatı olarak göz atın. + +### Referanslar + +1. Schubert, Lenhart, "Hesaplamalı Dilbilim", *The Stanford Encyclopedia of Philosophy* (Spring 2020 Edition), Edward N. Zalta (ed.), URL =
Yorum | Olumlu Yorum | Etiketler | +| -------------- | ---------------------- | ---------------- | :------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | --------------------------------- | ----------------------------------------------------------------------------------------- | +| 7.8 | 1945 | 2.5 | Bu şu anda bir otel değil, bir inşaat alanı Uzun bir yolculuktan sonra dinlenirken ve odada çalışırken sabah erken saatlerde ve tüm gün boyunca kabul edilemez inşaat gürültüsü ile terörize edildim İnsanlar tüm gün boyunca bitişik odalarda matkaplarla çalışıyordu Oda değişikliği talep ettim ama sessiz bir oda mevcut değildi Durumu daha da kötüleştirmek için fazla ücret alındım Akşam erken bir uçuşa çıkmak zorunda olduğum için akşam çıkış yaptım ve uygun bir fatura aldım Bir gün sonra otel benim rızam olmadan rezervasyon fiyatının üzerinde başka bir ücret aldı Berbat bir yer Kendinize burada rezervasyon yaparak ceza vermeyin | Hiçbir şey Berbat bir yer Uzak durun | İş gezisi Çift Standart Çift Kişilik Oda 2 gece kaldı | + +Gördüğünüz gibi, bu misafir otelde mutlu bir konaklama yapmamış. Otelin 7.8 gibi iyi bir ortalama puanı ve 1945 yorumu var, ancak bu yorumcu 2.5 puan vermiş ve konaklamalarının ne kadar olumsuz olduğuna dair 115 kelime yazmış. Pozitif_Yorum sütununda hiçbir şey yazmadılarsa, hiçbir şeyin pozitif olmadığını varsayabilirsiniz, ama ne yazık ki 7 kelimelik bir uyarı yazmışlar. Yalnızca kelimeleri sayarsak, yorumcunun niyetinin anlamı veya duygusu yerine, çarpık bir görüşe sahip olabiliriz. Garip bir şekilde, 2.5 puanı kafa karıştırıcı, çünkü otel konaklaması bu kadar kötüyse, neden hiç puan verilsin ki? Veri setini yakından incelediğinizde, en düşük olası puanın 2.5 olduğunu, 0 olmadığını göreceksiniz. En yüksek olası puan ise 10. + +##### Etiketler + +Yukarıda belirtildiği gibi, ilk bakışta `Tags` kullanarak verileri kategorize etme fikri mantıklı geliyor. Ne yazık ki bu etiketler standartlaştırılmamış, bu da belirli bir otelde seçeneklerin *Tek kişilik oda*, *İkiz oda* ve *Çift kişilik oda* olabileceği, ancak bir sonraki otelde *Deluxe Tek Kişilik Oda*, *Klasik Kraliçe Odası* ve *Executive King Odası* olabileceği anlamına gelir. Bunlar aynı şeyler olabilir, ancak o kadar çok varyasyon var ki seçim şu şekilde olur: + +1. Tüm terimleri tek bir standarda dönüştürmeye çalışmak, bu çok zor çünkü her durumda dönüşüm yolunun ne olacağı net değil (örneğin, *Klasik tek kişilik oda* *Tek kişilik oda*ya eşlenebilir, ancak *Avlu Bahçesi veya Şehir Manzaralı Superior Kraliçe Odası* çok daha zor eşlenir) + +2. Bir NLP yaklaşımı benimseyebiliriz ve her otelde *Yalnız*, *İş Seyahatçisi* veya *Küçük çocuklu aile* gibi belirli terimlerin sıklığını ölçebiliriz ve bunu öneriye dahil edebiliriz + +Etiketler genellikle (ama her zaman değil) *Gezi türü*, *Misafir türü*, *Oda türü*, *Gece sayısı* ve *Yorumun gönderildiği cihaz türü* ile uyumlu 5 ila 6 virgülle ayrılmış değer içeren tek bir alan içerir. Ancak, bazı yorumcular her alanı doldurmazsa (birini boş bırakabilirler), değerler her zaman aynı sırada olmaz. + +Bir örnek olarak, *Grup türü* alın. `Tags` sütununda bu alanda 1025 benzersiz olasılık vardır ve ne yazık ki bunların yalnızca bazıları bir grubu ifade eder (bazıları oda türüdür vb.). Yalnızca aileden bahsedenleri filtrelerseniz, sonuçlar birçok *Aile odası* türü sonuç içerir. *ile* terimini dahil ederseniz, yani *Küçük çocuklu aile* veya *Büyük çocuklu aile* ifadelerini sayarsanız, sonuçlar daha iyi olur ve 515.000 sonucun 80.000'inden fazlası "Küçük çocuklu aile" veya "Büyük çocuklu aile" ifadesini içerir. + +Bu, etiketler sütununun tamamen işe yaramaz olmadığı anlamına gelir, ancak işe yarar hale getirmek için biraz çalışma gerekecektir. + +##### Ortalama otel puanı + +Veri setiyle ilgili anlayamadığım bazı tuhaflıklar veya tutarsızlıklar var, ancak modellerinizi oluştururken bunların farkında olmanız için burada gösterilmiştir. Çözerseniz, lütfen tartışma bölümünde bize bildirin! + +Veri seti, ortalama puan ve yorum sayısıyla ilgili aşağıdaki sütunlara sahiptir: + +1. Hotel_Name +2. Additional_Number_of_Scoring +3. Average_Score +4. Total_Number_of_Reviews +5. Reviewer_Score + +Bu veri setindeki en fazla yoruma sahip tek otel *Britannia International Hotel Canary Wharf* 4789 yorumla 515.000'den. Ancak bu otel için `Total_Number_of_Reviews` değerine bakarsak, 9086'dır. Belki daha fazla yorumsuz puan olduğunu varsayabilirsiniz, bu yüzden `Additional_Number_of_Scoring` sütun değerini eklemeliyiz. Bu değer 2682'dir ve 4789'a eklediğimizde 7471 olur, bu da hala `Total_Number_of_Reviews`'dan 1615 eksiktir. + +`Average_Score` sütunlarını alırsanız, bunun veri setindeki yorumların ortalaması olduğunu varsayabilirsiniz, ancak Kaggle açıklaması "*otel puanının, son yılın en son yorumuna dayalı olarak hesaplanan ortalama puanı*"dır. Bu pek yararlı görünmüyor, ancak veri setindeki yorum puanlarına dayalı olarak kendi ortalamamızı hesaplayabiliriz. Aynı oteli örnek olarak kullanarak, otelin ortalama puanı 7.1 olarak verilir, ancak hesaplanan puan (veri setindeki ortalama yorumcu puanı) 6.8'dir. Bu yakın, ancak aynı değer değil ve `Additional_Number_of_Scoring` yorumlarında verilen puanların ortalamayı 7.1'e yükselttiğini tahmin edebiliriz. Ne yazık ki, bu iddiayı test etmenin veya kanıtlamanın bir yolu olmadığından, `Average_Score`, `Additional_Number_of_Scoring` ve `Total_Number_of_Reviews`'ya dayanan veya atıfta bulunan verileri kullanmak veya güvenmek zor. + +İşleri daha da karmaşık hale getirmek için, en fazla yoruma sahip ikinci otel hesaplanan ortalama puanı 8.12'dir ve veri setindeki `Average_Score` 8.1'dir. Bu doğru puan bir tesadüf mü yoksa ilk otel bir tutarsızlık mı? + +Bu otelin bir aykırı değer olabileceği ve belki de çoğu değerin (bazıları bir nedenle değil) tutarlı olduğu varsayımıyla, veri setindeki değerleri keşfetmek ve değerlerin doğru kullanımını (veya kullanılmamasını) belirlemek için bir sonraki kısa programı yazacağız. + +> 🚨 Bir uyarı notu +> +> Bu veri setiyle çalışırken, metni kendiniz okumadan veya analiz etmeden bir şeyler hesaplayan kod yazacaksınız. Bu, NLP'nin özü, bir insanın yapmasına gerek kalmadan anlam veya duyguyu yorumlamak. Ancak, bazı olumsuz yorumları okumanız mümkün. Okumanız gerekmediği için size bunu yapmamanızı tavsiye ederim. Bazıları saçma veya alakasız olumsuz otel yorumlarıdır, örneğin "Hava iyi değildi", otelin veya herhangi birinin kontrolü dışında bir şey. Ancak, bazı yorumların karanlık bir tarafı da var. Bazen olumsuz yorumlar ırkçı, cinsiyetçi veya yaşçı olabilir. Bu, bir kamu web sitesinden kazınan bir veri setinde beklenebilir. Bazı yorumcular, hoşlanmayacağınız, rahatsız edici veya üzücü bulacağınız yorumlar bırakır. Kodun duyguyu ölçmesine izin vermek daha iyidir, kendiniz okuyup üzülmektense. Bu, bu tür şeyleri yazanların azınlıkta olduğu anlamına gelir, ancak yine de varlar. + +## Alıştırma - Veri keşfi +### Veriyi yükleyin + +Veriyi görsel olarak incelemek yeterli, şimdi biraz kod yazacak ve bazı cevaplar alacaksınız! Bu bölüm pandas kütüphanesini kullanır. İlk göreviniz, CSV verilerini yükleyip okuyabileceğinizden emin olmaktır. Pandas kütüphanesi hızlı bir CSV yükleyiciye sahiptir ve sonuç, önceki derslerde olduğu gibi bir veri çerçevesine yerleştirilir. Yüklediğimiz CSV, yarım milyondan fazla satır içerir, ancak sadece 17 sütun vardır. Pandas, bir veri çerçevesiyle etkileşimde bulunmak için birçok güçlü yol sunar, her satırda işlemler yapma yeteneği de dahil. + +Bu dersten itibaren, kod parçacıkları ve kodun bazı açıklamaları ve sonuçların ne anlama geldiği hakkında bazı tartışmalar olacaktır. Kodunuz için dahil edilen _notebook.ipynb_ dosyasını kullanın. + +Kullanacağınız veri dos +rows have column `Positive_Review` değerleri "No Positive" 9. Sütun `Positive_Review` değerleri "No Positive" **ve** `Negative_Review` değerleri "No Negative" olan kaç satır olduğunu hesaplayın ve yazdırın ### Kod cevapları 1. Yeni yüklediğiniz veri çerçevesinin *şeklini* yazdırın (şekil satır ve sütun sayısıdır) ```python + print("The shape of the data (rows, cols) is " + str(df.shape)) + > The shape of the data (rows, cols) is (515738, 17) + ``` 2. Yorumcu milliyetlerinin frekans sayısını hesaplayın: 1. `Reviewer_Nationality` sütunu için kaç farklı değer var ve bunlar nelerdir? 2. Veri setinde en yaygın olan yorumcu milliyeti nedir (ülke ve yorum sayısını yazdırın)? ```python + # value_counts() creates a Series object that has index and values in this case, the country and the frequency they occur in reviewer nationality + nationality_freq = df["Reviewer_Nationality"].value_counts() + print("There are " + str(nationality_freq.size) + " different nationalities") + # print first and last rows of the Series. Change to nationality_freq.to_string() to print all of the data + print(nationality_freq) + + There are 227 different nationalities + United Kingdom 245246 + United States of America 35437 + Australia 21686 + Ireland 14827 + United Arab Emirates 10235 + ... + Comoros 1 + Palau 1 + Northern Mariana Islands 1 + Cape Verde 1 + Guinea 1 + Name: Reviewer_Nationality, Length: 227, dtype: int64 + ``` 3. En sık bulunan bir sonraki 10 milliyet ve frekans sayıları nelerdir? ```python + print("The highest frequency reviewer nationality is " + str(nationality_freq.index[0]).strip() + " with " + str(nationality_freq[0]) + " reviews.") + # Notice there is a leading space on the values, strip() removes that for printing + # What is the top 10 most common nationalities and their frequencies? + print("The next 10 highest frequency reviewer nationalities are:") + print(nationality_freq[1:11].to_string()) + + The highest frequency reviewer nationality is United Kingdom with 245246 reviews. + The next 10 highest frequency reviewer nationalities are: + United States of America 35437 + Australia 21686 + Ireland 14827 + United Arab Emirates 10235 + Saudi Arabia 8951 + Netherlands 8772 + Switzerland 8678 + Germany 7941 + Canada 7894 + France 7296 + ``` 3. İlk 10 yorumcu milliyetinin her biri için en sık yorumlanan otel hangisiydi? ```python + # What was the most frequently reviewed hotel for the top 10 nationalities + # Normally with pandas you will avoid an explicit loop, but wanted to show creating a new dataframe using criteria (don't do this with large amounts of data because it could be very slow) + for nat in nationality_freq[:10].index: + # First, extract all the rows that match the criteria into a new dataframe + nat_df = df[df["Reviewer_Nationality"] == nat] + # Now get the hotel freq + freq = nat_df["Hotel_Name"].value_counts() + print("The most reviewed hotel for " + str(nat).strip() + " was " + str(freq.index[0]) + " with " + str(freq[0]) + " reviews.") + + The most reviewed hotel for United Kingdom was Britannia International Hotel Canary Wharf with 3833 reviews. + The most reviewed hotel for United States of America was Hotel Esther a with 423 reviews. + The most reviewed hotel for Australia was Park Plaza Westminster Bridge London with 167 reviews. + The most reviewed hotel for Ireland was Copthorne Tara Hotel London Kensington with 239 reviews. + The most reviewed hotel for United Arab Emirates was Millennium Hotel London Knightsbridge with 129 reviews. + The most reviewed hotel for Saudi Arabia was The Cumberland A Guoman Hotel with 142 reviews. + The most reviewed hotel for Netherlands was Jaz Amsterdam with 97 reviews. + The most reviewed hotel for Switzerland was Hotel Da Vinci with 97 reviews. + The most reviewed hotel for Germany was Hotel Da Vinci with 86 reviews. + The most reviewed hotel for Canada was St James Court A Taj Hotel London with 61 reviews. + ``` 4. Veri setinde otel başına kaç yorum var (otel frekans sayısı)? ```python + # First create a new dataframe based on the old one, removing the uneeded columns + hotel_freq_df = df.drop(["Hotel_Address", "Additional_Number_of_Scoring", "Review_Date", "Average_Score", "Reviewer_Nationality", "Negative_Review", "Review_Total_Negative_Word_Counts", "Positive_Review", "Review_Total_Positive_Word_Counts", "Total_Number_of_Reviews_Reviewer_Has_Given", "Reviewer_Score", "Tags", "days_since_review", "lat", "lng"], axis = 1) + + # Group the rows by Hotel_Name, count them and put the result in a new column Total_Reviews_Found + hotel_freq_df['Total_Reviews_Found'] = hotel_freq_df.groupby('Hotel_Name').transform('count') + + # Get rid of all the duplicated rows + hotel_freq_df = hotel_freq_df.drop_duplicates(subset = ["Hotel_Name"]) + display(hotel_freq_df) + ``` | Hotel_Name | Total_Number_of_Reviews | Total_Reviews_Found | | :----------------------------------------: | :---------------------: | :-----------------: | | Britannia International Hotel Canary Wharf | 9086 | 4789 | | Park Plaza Westminster Bridge London | 12158 | 4169 | | Copthorne Tara Hotel London Kensington | 7105 | 3578 | | ... | ... | ... | | Mercure Paris Porte d Orleans | 110 | 10 | | Hotel Wagner | 135 | 10 | | Hotel Gallitzinberg | 173 | 8 | Veri setinde *sayılmış* sonuçların `Total_Number_of_Reviews` değerleriyle eşleşmediğini fark edebilirsiniz. Bu değerin veri setinde otelin sahip olduğu toplam yorum sayısını temsil edip etmediği veya hepsinin kazınmamış olup olmadığı veya başka bir hesaplama olup olmadığı belirsizdir. Bu belirsizlik nedeniyle `Total_Number_of_Reviews` modelde kullanılmamaktadır. 5. Veri setindeki her otel için bir `Average_Score` sütunu olmasına rağmen, her otel için tüm yorumcu puanlarının ortalamasını alarak bir ortalama puan da hesaplayabilirsiniz. Veri çerçevenize `Calc_Average_Score` başlıklı yeni bir sütun ekleyin ve bu hesaplanmış ortalamayı içeren sütunu ekleyin. `Hotel_Name`, `Average_Score` ve `Calc_Average_Score` sütunlarını yazdırın. ```python + # define a function that takes a row and performs some calculation with it + def get_difference_review_avg(row): + return row["Average_Score"] - row["Calc_Average_Score"] + + # 'mean' is mathematical word for 'average' + df['Calc_Average_Score'] = round(df.groupby('Hotel_Name').Reviewer_Score.transform('mean'), 1) + + # Add a new column with the difference between the two average scores + df["Average_Score_Difference"] = df.apply(get_difference_review_avg, axis = 1) + + # Create a df without all the duplicates of Hotel_Name (so only 1 row per hotel) + review_scores_df = df.drop_duplicates(subset = ["Hotel_Name"]) + + # Sort the dataframe to find the lowest and highest average score difference + review_scores_df = review_scores_df.sort_values(by=["Average_Score_Difference"]) + + display(review_scores_df[["Average_Score_Difference", "Average_Score", "Calc_Average_Score", "Hotel_Name"]]) + ``` `Average_Score` değerinin ve hesaplanan ortalama puanın neden bazen farklı olduğunu merak edebilirsiniz. Bazı değerlerin neden eşleştiğini, ancak diğerlerinde neden bir fark olduğunu bilemediğimiz için, bu durumda kendimiz ortalamayı hesaplamak en güvenli yoldur. Bununla birlikte, farklar genellikle çok küçüktür, işte veri seti ortalaması ile hesaplanan ortalama arasındaki en büyük sapma olan oteller: | Average_Score_Difference | Average_Score | Calc_Average_Score | Hotel_Name | | :----------------------: | :-----------: | :----------------: | ------------------------------------------: | | -0.8 | 7.7 | 8.5 | Best Western Hotel Astoria | | -0.7 | 8.8 | 9.5 | Hotel Stendhal Place Vend me Paris MGallery | | -0.7 | 7.5 | 8.2 | Mercure Paris Porte d Orleans | | -0.7 | 7.9 | 8.6 | Renaissance Paris Vendome Hotel | | -0.5 | 7.0 | 7.5 | Hotel Royal Elys es | | ... | ... | ... | ... | | 0.7 | 7.5 | 6.8 | Mercure Paris Op ra Faubourg Montmartre | | 0.8 | 7.1 | 6.3 | Holiday Inn Paris Montparnasse Pasteur | | 0.9 | 6.8 | 5.9 | Villa Eugenie | | 0.9 | 8.6 | 7.7 | MARQUIS Faubourg St Honor Relais Ch teaux | | 1.3 | 7.2 | 5.9 | Kube Hotel Ice Bar | Sadece 1 otelin puan farkının 1'den büyük olması, farkı görmezden gelip hesaplanan ortalama puanı kullanabileceğimiz anlamına gelir. 6. Sütun `Negative_Review` değerleri "No Negative" olan kaç satır olduğunu hesaplayın ve yazdırın 7. Sütun `Positive_Review` değerleri "No Positive" olan kaç satır olduğunu hesaplayın ve yazdırın 8. Sütun `Positive_Review` değerleri "No Positive" **ve** `Negative_Review` değerleri "No Negative" olan kaç satır olduğunu hesaplayın ve yazdırın ```python + # with lambdas: + start = time.time() + no_negative_reviews = df.apply(lambda x: True if x['Negative_Review'] == "No Negative" else False , axis=1) + print("Number of No Negative reviews: " + str(len(no_negative_reviews[no_negative_reviews == True].index))) + + no_positive_reviews = df.apply(lambda x: True if x['Positive_Review'] == "No Positive" else False , axis=1) + print("Number of No Positive reviews: " + str(len(no_positive_reviews[no_positive_reviews == True].index))) + + both_no_reviews = df.apply(lambda x: True if x['Negative_Review'] == "No Negative" and x['Positive_Review'] == "No Positive" else False , axis=1) + print("Number of both No Negative and No Positive reviews: " + str(len(both_no_reviews[both_no_reviews == True].index))) + end = time.time() + print("Lambdas took " + str(round(end - start, 2)) + " seconds") + + Number of No Negative reviews: 127890 + Number of No Positive reviews: 35946 + Number of both No Negative and No Positive reviews: 127 + Lambdas took 9.64 seconds + ``` ## Başka bir yol Lambdas kullanmadan öğeleri saymanın başka bir yolu ve satırları saymak için sum kullanın: ```python + # without lambdas (using a mixture of notations to show you can use both) + start = time.time() + no_negative_reviews = sum(df.Negative_Review == "No Negative") + print("Number of No Negative reviews: " + str(no_negative_reviews)) + + no_positive_reviews = sum(df["Positive_Review"] == "No Positive") + print("Number of No Positive reviews: " + str(no_positive_reviews)) + + both_no_reviews = sum((df.Negative_Review == "No Negative") & (df.Positive_Review == "No Positive")) + print("Number of both No Negative and No Positive reviews: " + str(both_no_reviews)) + + end = time.time() + print("Sum took " + str(round(end - start, 2)) + " seconds") + + Number of No Negative reviews: 127890 + Number of No Positive reviews: 35946 + Number of both No Negative and No Positive reviews: 127 + Sum took 0.19 seconds + ``` `Negative_Review` ve `Positive_Review` sütunları için sırasıyla "No Negative" ve "No Positive" değerlerine sahip 127 satır olduğunu fark etmiş olabilirsiniz. Bu, yorumcunun otele bir sayısal puan verdiği, ancak olumlu veya olumsuz bir yorum yazmaktan kaçındığı anlamına gelir. Neyse ki bu küçük bir satır miktarıdır (515738'den 127, yani %0.02), bu yüzden modelimizi veya sonuçlarımızı belirli bir yöne çekmeyecektir, ancak bir yorum veri setinin yorum içermeyen satırlara sahip olmasını beklemeyebilirsiniz, bu yüzden bu tür satırları keşfetmek için verileri keşfetmeye değer. Veri setini keşfettiğinize göre, bir sonraki derste verileri filtreleyecek ve bazı duygu analizleri ekleyeceksiniz. --- ## 🚀Meydan okuma Bu ders, önceki derslerde gördüğümüz gibi, verilerinizi ve özelliklerini anlamanın ne kadar kritik derecede önemli olduğunu gösterir. Özellikle metin tabanlı veriler dikkatli bir inceleme gerektirir. Çeşitli metin ağırlıklı veri setlerini inceleyin ve bir modele önyargı veya çarpık duygu ekleyebilecek alanları keşfedip edemeyeceğinizi görün. ## [Ders sonrası sınav](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/38/) ## İnceleme ve Kendi Kendine Çalışma [Bu NLP Öğrenme Yolunu](https://docs.microsoft.com/learn/paths/explore-natural-language-processing/?WT.mc_id=academic-77952-leestott) alın ve konuşma ve metin ağırlıklı modeller oluştururken denemek için araçları keşfedin. ## Ödev [NLTK](assignment.md) + +**Feragatname**: +Bu belge, makine tabanlı AI çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluğa özen göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal diliyle yazılmış hali, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilmektedir. Bu çevirinin kullanılmasından kaynaklanabilecek herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/6-NLP/4-Hotel-Reviews-1/assignment.md b/translations/tr/6-NLP/4-Hotel-Reviews-1/assignment.md new file mode 100644 index 000000000..2d4a2e8ff --- /dev/null +++ b/translations/tr/6-NLP/4-Hotel-Reviews-1/assignment.md @@ -0,0 +1,8 @@ +# NLTK + +## Talimatlar + +NLTK, hesaplamalı dilbilim ve NLP'de kullanılmak üzere bilinen bir kütüphanedir. Bu fırsatı değerlendirerek '[NLTK kitabı](https://www.nltk.org/book/)'nı okuyun ve alıştırmalarını deneyin. Bu notlandırılmamış ödevde, bu kütüphaneyi daha derinlemesine tanıyacaksınız. + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluğu sağlamak için çaba sarf etsek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belge, kendi dilinde yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilmektedir. Bu çevirinin kullanımından kaynaklanan yanlış anlaşılmalar veya yanlış yorumlamalardan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/6-NLP/4-Hotel-Reviews-1/solution/Julia/README.md b/translations/tr/6-NLP/4-Hotel-Reviews-1/solution/Julia/README.md new file mode 100644 index 000000000..29884c1e0 --- /dev/null +++ b/translations/tr/6-NLP/4-Hotel-Reviews-1/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal dili, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından kaynaklanan yanlış anlamalar veya yanlış yorumlamalardan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/6-NLP/4-Hotel-Reviews-1/solution/R/README.md b/translations/tr/6-NLP/4-Hotel-Reviews-1/solution/R/README.md new file mode 100644 index 000000000..3c8d8fbcd --- /dev/null +++ b/translations/tr/6-NLP/4-Hotel-Reviews-1/solution/R/README.md @@ -0,0 +1,4 @@ + + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba sarf etsek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal dilindeki hali yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi tavsiye edilir. Bu çevirinin kullanımından doğacak herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/6-NLP/5-Hotel-Reviews-2/README.md b/translations/tr/6-NLP/5-Hotel-Reviews-2/README.md new file mode 100644 index 000000000..86876af77 --- /dev/null +++ b/translations/tr/6-NLP/5-Hotel-Reviews-2/README.md @@ -0,0 +1,377 @@ +# Otel yorumları ile duygu analizi + +Artık veri setini ayrıntılı bir şekilde incelediğinize göre, sütunları filtreleyip veri seti üzerinde NLP tekniklerini kullanarak oteller hakkında yeni bilgiler edinmenin zamanı geldi. +## [Ders öncesi sınav](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/39/) + +### Filtreleme ve Duygu Analizi İşlemleri + +Muhtemelen fark etmişsinizdir, veri setinde bazı sorunlar var. Bazı sütunlar gereksiz bilgilerle dolu, diğerleri ise yanlış görünüyor. Doğru olsalar bile, nasıl hesaplandıkları belirsiz ve cevaplar kendi hesaplamalarınızla bağımsız olarak doğrulanamıyor. + +## Egzersiz: biraz daha veri işleme + +Verileri biraz daha temizleyin. Daha sonra kullanışlı olacak sütunlar ekleyin, diğer sütunlardaki değerleri değiştirin ve bazı sütunları tamamen kaldırın. + +1. İlk sütun işlemleri + + 1. `lat` ve `lng`'i kaldırın + + 2. `Hotel_Address` değerlerini aşağıdaki değerlerle değiştirin (adres şehir ve ülke ismini içeriyorsa, sadece şehir ve ülke olarak değiştirin). + + Veri setinde sadece bu şehirler ve ülkeler var: + + Amsterdam, Netherlands + + Barcelona, Spain + + London, United Kingdom + + Milan, Italy + + Paris, France + + Vienna, Austria + + ```python + def replace_address(row): + if "Netherlands" in row["Hotel_Address"]: + return "Amsterdam, Netherlands" + elif "Barcelona" in row["Hotel_Address"]: + return "Barcelona, Spain" + elif "United Kingdom" in row["Hotel_Address"]: + return "London, United Kingdom" + elif "Milan" in row["Hotel_Address"]: + return "Milan, Italy" + elif "France" in row["Hotel_Address"]: + return "Paris, France" + elif "Vienna" in row["Hotel_Address"]: + return "Vienna, Austria" + + # Replace all the addresses with a shortened, more useful form + df["Hotel_Address"] = df.apply(replace_address, axis = 1) + # The sum of the value_counts() should add up to the total number of reviews + print(df["Hotel_Address"].value_counts()) + ``` + + Artık ülke düzeyinde veri sorgulayabilirsiniz: + + ```python + display(df.groupby("Hotel_Address").agg({"Hotel_Name": "nunique"})) + ``` + + | Otel_Adresi | Otel_Adı | + | :--------------------- | :--------: | + | Amsterdam, Netherlands | 105 | + | Barcelona, Spain | 211 | + | London, United Kingdom | 400 | + | Milan, Italy | 162 | + | Paris, France | 458 | + | Vienna, Austria | 158 | + +2. Otel Meta-inceleme sütunlarını işleyin + + 1. `Additional_Number_of_Scoring` + + 1. Replace `Total_Number_of_Reviews` with the total number of reviews for that hotel that are actually in the dataset + + 1. Replace `Average_Score` kendi hesapladığımız skorla kaldırın + + ```python + # Drop `Additional_Number_of_Scoring` + df.drop(["Additional_Number_of_Scoring"], axis = 1, inplace=True) + # Replace `Total_Number_of_Reviews` and `Average_Score` with our own calculated values + df.Total_Number_of_Reviews = df.groupby('Hotel_Name').transform('count') + df.Average_Score = round(df.groupby('Hotel_Name').Reviewer_Score.transform('mean'), 1) + ``` + +3. İnceleme sütunlarını işleyin + + 1. `Review_Total_Negative_Word_Counts`, `Review_Total_Positive_Word_Counts`, `Review_Date` and `days_since_review` + + 2. Keep `Reviewer_Score`, `Negative_Review`, and `Positive_Review` as they are, + + 3. Keep `Tags` for now + + - We'll be doing some additional filtering operations on the tags in the next section and then tags will be dropped + +4. Process reviewer columns + + 1. Drop `Total_Number_of_Reviews_Reviewer_Has_Given` + + 2. Keep `Reviewer_Nationality` + +### Tag columns + +The `Tag` column is problematic as it is a list (in text form) stored in the column. Unfortunately the order and number of sub sections in this column are not always the same. It's hard for a human to identify the correct phrases to be interested in, because there are 515,000 rows, and 1427 hotels, and each has slightly different options a reviewer could choose. This is where NLP shines. You can scan the text and find the most common phrases, and count them. + +Unfortunately, we are not interested in single words, but multi-word phrases (e.g. *Business trip*). Running a multi-word frequency distribution algorithm on that much data (6762646 words) could take an extraordinary amount of time, but without looking at the data, it would seem that is a necessary expense. This is where exploratory data analysis comes in useful, because you've seen a sample of the tags such as `[' İş seyahati ', ' Yalnız gezgin ', ' Tek Kişilik Oda ', ' 5 gece kaldı ', ' Mobil cihazdan gönderildi ']` sütunlarını kaldırın, işlemi büyük ölçüde azaltmanın mümkün olup olmadığını sormaya başlayabilirsiniz. Neyse ki mümkün - ancak önce ilgi çekici etiketleri belirlemek için birkaç adımı izlemeniz gerekiyor. + +### Etiketleri filtreleme + +Veri setinin amacının, en iyi oteli seçmenize yardımcı olacak duygu ve sütunlar eklemek olduğunu unutmayın (kendiniz için veya belki size bir otel öneri botu yapma görevi veren bir müşteri için). Etiketlerin nihai veri setinde yararlı olup olmadığını kendinize sormanız gerekiyor. İşte bir yorum (eğer veri setine başka nedenlerle ihtiyacınız varsa, farklı etiketler seçime dahil olabilir veya dışarıda kalabilir): + +1. Seyahat türü önemlidir ve kalmalıdır +2. Misafir grubu türü önemlidir ve kalmalıdır +3. Misafirin kaldığı oda, süit veya stüdyo türü önemsizdir (tüm otellerde temelde aynı odalar vardır) +4. İncelemenin gönderildiği cihaz önemsizdir +5. İncelemecinin kaldığı gece sayısı, eğer daha uzun kalmalarını oteli daha çok sevmeleriyle ilişkilendirirseniz, önemli olabilir, ancak bu biraz zorlayıcıdır ve muhtemelen önemsizdir + +Özetle, **2 tür etiketi tutun ve diğerlerini kaldırın**. + +İlk olarak, etiketleri daha iyi bir formata getirmeden saymak istemezsiniz, bu da köşeli parantezleri ve tırnak işaretlerini kaldırmak anlamına gelir. Bunu birkaç şekilde yapabilirsiniz, ancak en hızlı yolu istersiniz çünkü çok fazla veriyi işlemek uzun sürebilir. Neyse ki, pandas bu adımların her birini kolayca yapmanın bir yolunu sunar. + +```Python +# Remove opening and closing brackets +df.Tags = df.Tags.str.strip("[']") +# remove all quotes too +df.Tags = df.Tags.str.replace(" ', '", ",", regex = False) +``` + +Her etiket şu şekilde olur: `İş seyahati, Yalnız gezgin, Tek Kişilik Oda, 5 gece kaldı, Mobil cihazdan gönderildi`. + +Next we find a problem. Some reviews, or rows, have 5 columns, some 3, some 6. This is a result of how the dataset was created, and hard to fix. You want to get a frequency count of each phrase, but they are in different order in each review, so the count might be off, and a hotel might not get a tag assigned to it that it deserved. + +Instead you will use the different order to our advantage, because each tag is multi-word but also separated by a comma! The simplest way to do this is to create 6 temporary columns with each tag inserted in to the column corresponding to its order in the tag. You can then merge the 6 columns into one big column and run the `value_counts()` method on the resulting column. Printing that out, you'll see there was 2428 unique tags. Here is a small sample: + +| Tag | Count | +| ------------------------------ | ------ | +| Leisure trip | 417778 | +| Submitted from a mobile device | 307640 | +| Couple | 252294 | +| Stayed 1 night | 193645 | +| Stayed 2 nights | 133937 | +| Solo traveler | 108545 | +| Stayed 3 nights | 95821 | +| Business trip | 82939 | +| Group | 65392 | +| Family with young children | 61015 | +| Stayed 4 nights | 47817 | +| Double Room | 35207 | +| Standard Double Room | 32248 | +| Superior Double Room | 31393 | +| Family with older children | 26349 | +| Deluxe Double Room | 24823 | +| Double or Twin Room | 22393 | +| Stayed 5 nights | 20845 | +| Standard Double or Twin Room | 17483 | +| Classic Double Room | 16989 | +| Superior Double or Twin Room | 13570 | +| 2 rooms | 12393 | + +Some of the common tags like `Mobil cihazdan gönderildi` are of no use to us, so it might be a smart thing to remove them before counting phrase occurrence, but it is such a fast operation you can leave them in and ignore them. + +### Removing the length of stay tags + +Removing these tags is step 1, it reduces the total number of tags to be considered slightly. Note you do not remove them from the dataset, just choose to remove them from consideration as values to count/keep in the reviews dataset. + +| Length of stay | Count | +| ---------------- | ------ | +| Stayed 1 night | 193645 | +| Stayed 2 nights | 133937 | +| Stayed 3 nights | 95821 | +| Stayed 4 nights | 47817 | +| Stayed 5 nights | 20845 | +| Stayed 6 nights | 9776 | +| Stayed 7 nights | 7399 | +| Stayed 8 nights | 2502 | +| Stayed 9 nights | 1293 | +| ... | ... | + +There are a huge variety of rooms, suites, studios, apartments and so on. They all mean roughly the same thing and not relevant to you, so remove them from consideration. + +| Type of room | Count | +| ----------------------------- | ----- | +| Double Room | 35207 | +| Standard Double Room | 32248 | +| Superior Double Room | 31393 | +| Deluxe Double Room | 24823 | +| Double or Twin Room | 22393 | +| Standard Double or Twin Room | 17483 | +| Classic Double Room | 16989 | +| Superior Double or Twin Room | 13570 | + +Finally, and this is delightful (because it didn't take much processing at all), you will be left with the following *useful* tags: + +| Tag | Count | +| --------------------------------------------- | ------ | +| Leisure trip | 417778 | +| Couple | 252294 | +| Solo traveler | 108545 | +| Business trip | 82939 | +| Group (combined with Travellers with friends) | 67535 | +| Family with young children | 61015 | +| Family with older children | 26349 | +| With a pet | 1405 | + +You could argue that `Arkadaşlarla seyahat edenler` is the same as `Grup` more or less, and that would be fair to combine the two as above. The code for identifying the correct tags is [the Tags notebook](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/1-notebook.ipynb). + +The final step is to create new columns for each of these tags. Then, for every review row, if the `Etiket` sütunu yeni sütunlardan biriyle eşleşiyorsa, 1 ekleyin, değilse 0 ekleyin. Sonuç, bu oteli (toplamda) iş veya eğlence için veya bir evcil hayvanla getirmek için kaç incelemecinin seçtiğini saymak olacak ve bu, bir otel önerirken yararlı bir bilgidir. + +```python +# Process the Tags into new columns +# The file Hotel_Reviews_Tags.py, identifies the most important tags +# Leisure trip, Couple, Solo traveler, Business trip, Group combined with Travelers with friends, +# Family with young children, Family with older children, With a pet +df["Leisure_trip"] = df.Tags.apply(lambda tag: 1 if "Leisure trip" in tag else 0) +df["Couple"] = df.Tags.apply(lambda tag: 1 if "Couple" in tag else 0) +df["Solo_traveler"] = df.Tags.apply(lambda tag: 1 if "Solo traveler" in tag else 0) +df["Business_trip"] = df.Tags.apply(lambda tag: 1 if "Business trip" in tag else 0) +df["Group"] = df.Tags.apply(lambda tag: 1 if "Group" in tag or "Travelers with friends" in tag else 0) +df["Family_with_young_children"] = df.Tags.apply(lambda tag: 1 if "Family with young children" in tag else 0) +df["Family_with_older_children"] = df.Tags.apply(lambda tag: 1 if "Family with older children" in tag else 0) +df["With_a_pet"] = df.Tags.apply(lambda tag: 1 if "With a pet" in tag else 0) + +``` + +### Dosyanızı kaydedin + +Son olarak, veri setini şu anki haliyle yeni bir adla kaydedin. + +```python +df.drop(["Review_Total_Negative_Word_Counts", "Review_Total_Positive_Word_Counts", "days_since_review", "Total_Number_of_Reviews_Reviewer_Has_Given"], axis = 1, inplace=True) + +# Saving new data file with calculated columns +print("Saving results to Hotel_Reviews_Filtered.csv") +df.to_csv(r'../data/Hotel_Reviews_Filtered.csv', index = False) +``` + +## Duygu Analizi İşlemleri + +Bu son bölümde, inceleme sütunlarına duygu analizi uygulayacak ve sonuçları bir veri setinde kaydedeceksiniz. + +## Egzersiz: filtrelenmiş verileri yükleyin ve kaydedin + +Artık filtrelenmiş veri setini yüklediğinizi, **orijinal** veri setini değil, unutmayın. + +```python +import time +import pandas as pd +import nltk as nltk +from nltk.corpus import stopwords +from nltk.sentiment.vader import SentimentIntensityAnalyzer +nltk.download('vader_lexicon') + +# Load the filtered hotel reviews from CSV +df = pd.read_csv('../../data/Hotel_Reviews_Filtered.csv') + +# You code will be added here + + +# Finally remember to save the hotel reviews with new NLP data added +print("Saving results to Hotel_Reviews_NLP.csv") +df.to_csv(r'../data/Hotel_Reviews_NLP.csv', index = False) +``` + +### Stop kelimelerini kaldırma + +Negatif ve Pozitif inceleme sütunlarında Duygu Analizi çalıştırırsanız, uzun sürebilir. Hızlı bir CPU'ya sahip güçlü bir test dizüstü bilgisayarında test edildiğinde, kullanılan duygu kütüphanesine bağlı olarak 12 - 14 dakika sürdü. Bu (nispeten) uzun bir süre, bu nedenle hızlandırılıp hızlandırılamayacağını araştırmaya değer. + +Stop kelimeleri, yani bir cümlenin duygusunu değiştirmeyen yaygın İngilizce kelimeleri kaldırmak ilk adımdır. Onları kaldırarak, duygu analizi daha hızlı çalışmalı, ancak daha az doğru olmamalıdır (çünkü stop kelimeleri duyguyu etkilemez, ancak analizi yavaşlatır). + +En uzun negatif inceleme 395 kelimeydi, ancak stop kelimeleri kaldırıldıktan sonra 195 kelime oldu. + +Stop kelimeleri kaldırmak da hızlı bir işlemdir, 515.000 satırda 2 inceleme sütunundan stop kelimelerini kaldırmak test cihazında 3.3 saniye sürdü. Cihazınızın CPU hızına, RAM'e, SSD'ye sahip olup olmamanıza ve bazı diğer faktörlere bağlı olarak sizin için biraz daha uzun veya kısa sürebilir. İşlemin nispi kısalığı, duygu analizi süresini iyileştiriyorsa, yapmaya değer olduğu anlamına gelir. + +```python +from nltk.corpus import stopwords + +# Load the hotel reviews from CSV +df = pd.read_csv("../../data/Hotel_Reviews_Filtered.csv") + +# Remove stop words - can be slow for a lot of text! +# Ryan Han (ryanxjhan on Kaggle) has a great post measuring performance of different stop words removal approaches +# https://www.kaggle.com/ryanxjhan/fast-stop-words-removal # using the approach that Ryan recommends +start = time.time() +cache = set(stopwords.words("english")) +def remove_stopwords(review): + text = " ".join([word for word in review.split() if word not in cache]) + return text + +# Remove the stop words from both columns +df.Negative_Review = df.Negative_Review.apply(remove_stopwords) +df.Positive_Review = df.Positive_Review.apply(remove_stopwords) +``` + +### Duygu analizi gerçekleştirme + +Şimdi negatif ve pozitif inceleme sütunları için duygu analizini hesaplamalı ve sonucu 2 yeni sütunda saklamalısınız. Duygu testinin, aynı inceleme için incelemecinin puanıyla karşılaştırılması olacaktır. Örneğin, duygu analizinin negatif incelemenin 1 (son derece pozitif duygu) ve pozitif inceleme duygu analizinin 1 olduğunu düşündüğünü varsayalım, ancak incelemeci otele mümkün olan en düşük puanı verdiyse, inceleme metni puanla eşleşmiyor olabilir veya duygu analizörü duyguyu doğru tanıyamamış olabilir. Bazı duygu puanlarının tamamen yanlış olmasını beklemelisiniz ve bu genellikle açıklanabilir olacaktır, örneğin inceleme son derece alaycı olabilir "Tabii ki ısıtma olmayan bir odada uyumayı SEVDİM" ve duygu analizörü bunun pozitif bir duygu olduğunu düşünebilir, ancak bunu okuyan bir insan bunun alaycı olduğunu bilir. + +NLTK, öğrenmek için farklı duygu analizörleri sağlar ve bunları değiştirebilir ve duygu analizinin daha doğru olup olmadığını görebilirsiniz. Burada VADER duygu analizi kullanılmıştır. + +> Hutto, C.J. & Gilbert, E.E. (2014). VADER: Sosyal Medya Metni için Basit Kurallara Dayalı Bir Model. Sekizinci Uluslararası Webloglar ve Sosyal Medya Konferansı (ICWSM-14). Ann Arbor, MI, Haziran 2014. + +```python +from nltk.sentiment.vader import SentimentIntensityAnalyzer + +# Create the vader sentiment analyser (there are others in NLTK you can try too) +vader_sentiment = SentimentIntensityAnalyzer() +# Hutto, C.J. & Gilbert, E.E. (2014). VADER: A Parsimonious Rule-based Model for Sentiment Analysis of Social Media Text. Eighth International Conference on Weblogs and Social Media (ICWSM-14). Ann Arbor, MI, June 2014. + +# There are 3 possibilities of input for a review: +# It could be "No Negative", in which case, return 0 +# It could be "No Positive", in which case, return 0 +# It could be a review, in which case calculate the sentiment +def calc_sentiment(review): + if review == "No Negative" or review == "No Positive": + return 0 + return vader_sentiment.polarity_scores(review)["compound"] +``` + +Programınızın ilerleyen bölümlerinde duygu analizi yapmaya hazır olduğunuzda, her incelemeye aşağıdaki gibi uygulayabilirsiniz: + +```python +# Add a negative sentiment and positive sentiment column +print("Calculating sentiment columns for both positive and negative reviews") +start = time.time() +df["Negative_Sentiment"] = df.Negative_Review.apply(calc_sentiment) +df["Positive_Sentiment"] = df.Positive_Review.apply(calc_sentiment) +end = time.time() +print("Calculating sentiment took " + str(round(end - start, 2)) + " seconds") +``` + +Bu, bilgisayarımda yaklaşık 120 saniye sürüyor, ancak her bilgisayarda değişecektir. Sonuçları yazdırmak ve duygunun incelemeye uyup uymadığını görmek isterseniz: + +```python +df = df.sort_values(by=["Negative_Sentiment"], ascending=True) +print(df[["Negative_Review", "Negative_Sentiment"]]) +df = df.sort_values(by=["Positive_Sentiment"], ascending=True) +print(df[["Positive_Review", "Positive_Sentiment"]]) +``` + +Dosyayı kullanmadan önce yapmanız gereken son şey, onu kaydetmektir! Ayrıca, yeni sütunlarınızı yeniden düzenlemeyi düşünmelisiniz, böylece çalışmak daha kolay olur (bir insan için, bu kozmetik bir değişikliktir). + +```python +# Reorder the columns (This is cosmetic, but to make it easier to explore the data later) +df = df.reindex(["Hotel_Name", "Hotel_Address", "Total_Number_of_Reviews", "Average_Score", "Reviewer_Score", "Negative_Sentiment", "Positive_Sentiment", "Reviewer_Nationality", "Leisure_trip", "Couple", "Solo_traveler", "Business_trip", "Group", "Family_with_young_children", "Family_with_older_children", "With_a_pet", "Negative_Review", "Positive_Review"], axis=1) + +print("Saving results to Hotel_Reviews_NLP.csv") +df.to_csv(r"../data/Hotel_Reviews_NLP.csv", index = False) +``` + +[analiz defterinin](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/3-notebook.ipynb) tamamını çalıştırmalısınız (Hotel_Reviews_Filtered.csv dosyasını oluşturmak için [filtreleme defterinizi](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/1-notebook.ipynb) çalıştırdıktan sonra). + +Gözden geçirmek için adımlar: + +1. Orijinal veri seti dosyası **Hotel_Reviews.csv** önceki derste [keşif defteri](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/4-Hotel-Reviews-1/solution/notebook.ipynb) ile incelenmiştir +2. Hotel_Reviews.csv [filtreleme defteri](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/1-notebook.ipynb) ile filtrelenir ve **Hotel_Reviews_Filtered.csv** elde edilir +3. Hotel_Reviews_Filtered.csv [duygu analizi defteri](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/5-Hotel-Reviews-2/solution/3-notebook.ipynb) ile işlenir ve **Hotel_Reviews_NLP.csv** elde edilir +4. Aşağıdaki NLP Challenge'da Hotel_Reviews_NLP.csv dosyasını kullanın + +### Sonuç + +Başladığınızda, sütunlar ve veriler içeren bir veri setiniz vardı, ancak hepsi doğrulanabilir veya kullanılabilir değildi. Verileri incelediniz, ihtiyacınız olmayanları filtrelediniz, etiketleri faydalı bir şeye dönüştürdünüz, kendi ortalamalarınızı hesapladınız, bazı duygu sütunları eklediniz ve umarım doğal metni işlemede ilginç şeyler öğrendiniz. + +## [Ders sonrası sınav](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/40/) + +## Zorluk + +Artık veri setinizin duygu analizi yapıldığına göre, bu müfredatta öğrendiğiniz stratejileri (belki kümeleme?) kullanarak duygu etrafında kalıplar belirleyip belirleyemeyeceğinizi görün. + +## İnceleme ve Kendi Kendine Çalışma + +Bu [Learn modülünü](https://docs.microsoft.com/en-us/learn/modules/classify-user-feedback-with-the-text-analytics-api/?WT.mc_id=academic-77952-leestott) alarak daha fazla bilgi edinin ve metinlerde duygu keşfetmek için farklı araçlar kullanın. +## Ödev + +[Farklı bir veri seti deneyin](assignment.md) + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba sarf etsek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belgenin kendi dilindeki hali yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/6-NLP/5-Hotel-Reviews-2/assignment.md b/translations/tr/6-NLP/5-Hotel-Reviews-2/assignment.md new file mode 100644 index 000000000..77f1556bf --- /dev/null +++ b/translations/tr/6-NLP/5-Hotel-Reviews-2/assignment.md @@ -0,0 +1,14 @@ +# Farklı bir veri seti deneyin + +## Talimatlar + +Artık NLTK kullanarak metne duygu durumu atamayı öğrendiğinize göre, farklı bir veri seti deneyin. Muhtemelen bununla ilgili bazı veri işleme işlemleri yapmanız gerekecek, bu yüzden bir notebook oluşturun ve düşünce sürecinizi belgeleyin. Ne keşfettiniz? + +## Değerlendirme Kriterleri + +| Kriterler | Mükemmel | Yeterli | Geliştirme Gerekli | +| -------- | ----------------------------------------------------------------------------------------------------------------- | ----------------------------------------- | ---------------------- | +| | Duygu durumunun nasıl atandığını açıklayan iyi belgelenmiş hücrelerle eksiksiz bir notebook ve veri seti sunulur | Notebook iyi açıklamalardan yoksundur | Notebook hatalıdır | + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belgenin kendi dilindeki hali yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilmektedir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/6-NLP/5-Hotel-Reviews-2/solution/Julia/README.md b/translations/tr/6-NLP/5-Hotel-Reviews-2/solution/Julia/README.md new file mode 100644 index 000000000..267f0b649 --- /dev/null +++ b/translations/tr/6-NLP/5-Hotel-Reviews-2/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluğu sağlamak için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belge, kendi dilinde yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilmektedir. Bu çevirinin kullanımından doğabilecek yanlış anlamalar veya yanlış yorumlamalardan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/6-NLP/5-Hotel-Reviews-2/solution/R/README.md b/translations/tr/6-NLP/5-Hotel-Reviews-2/solution/R/README.md new file mode 100644 index 000000000..976ba076b --- /dev/null +++ b/translations/tr/6-NLP/5-Hotel-Reviews-2/solution/R/README.md @@ -0,0 +1,4 @@ + + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluğu sağlamak için çaba sarf etsek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal dili, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi tavsiye edilir. Bu çevirinin kullanımından kaynaklanan yanlış anlamalar veya yanlış yorumlamalar için sorumluluk kabul etmiyoruz. \ No newline at end of file diff --git a/translations/tr/6-NLP/README.md b/translations/tr/6-NLP/README.md new file mode 100644 index 000000000..7ed7abf65 --- /dev/null +++ b/translations/tr/6-NLP/README.md @@ -0,0 +1,27 @@ +# Doğal Dil İşleme ile Başlarken + +Doğal dil işleme (NLP), bir bilgisayar programının insan dilini konuşulduğu ve yazıldığı gibi anlaması yeteneğidir -- doğal dil olarak adlandırılır. Bu, yapay zekanın (AI) bir bileşenidir. NLP, 50 yılı aşkın bir süredir var olup dilbilim alanında kökleri vardır. Tüm alan, makinelerin insan dilini anlamasına ve işlemesine yardımcı olmaya yöneliktir. Bu, yazım denetimi veya makine çevirisi gibi görevleri yerine getirmek için kullanılabilir. Tıp araştırmaları, arama motorları ve iş zekası gibi birçok alanda çeşitli gerçek dünya uygulamaları bulunmaktadır. + +## Bölgesel Konu: Avrupa Dilleri ve Edebiyatı ve Avrupa'nın Romantik Otelleri ❤️ + +Bu müfredat bölümünde, makine öğreniminin en yaygın kullanımlarından biri olan doğal dil işlemeye (NLP) giriş yapacaksınız. Hesaplamalı dilbilimden türetilen bu yapay zeka kategorisi, insanlar ve makineler arasında sesli veya metinsel iletişim yoluyla bir köprü görevi görür. + +Bu derslerde, küçük konuşma botları oluşturarak makine öğreniminin bu konuşmaları nasıl giderek daha 'akıllı' hale getirdiğini öğrenerek NLP'nin temellerini öğreneceğiz. Zaman içinde geriye giderek Jane Austen'in 1813'te yayımlanan klasik romanı **Gurur ve Önyargı**'dan Elizabeth Bennett ve Bay Darcy ile sohbet edeceksiniz. Ardından, Avrupa'daki otel yorumları üzerinden duygu analizi yapmayı öğrenerek bilginizi daha da geliştireceksiniz. + + +> Fotoğraf: Elaine Howlin, Unsplash üzerinden + +## Dersler + +1. [Doğal dil işlemeye giriş](1-Introduction-to-NLP/README.md) +2. [Yaygın NLP görevleri ve teknikleri](2-Tasks/README.md) +3. [Makine öğrenimi ile çeviri ve duygu analizi](3-Translation-Sentiment/README.md) +4. [Verilerinizi hazırlama](4-Hotel-Reviews-1/README.md) +5. [Duygu Analizi için NLTK](5-Hotel-Reviews-2/README.md) + +## Katkıda Bulunanlar + +Bu doğal dil işleme dersleri ☕ ile [Stephen Howell](https://twitter.com/Howell_MSFT) tarafından yazılmıştır. + +**Feragatname**: +Bu belge, makine tabanlı AI çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba sarf etsek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belge kendi dilinde yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi tavsiye edilir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/6-NLP/data/README.md b/translations/tr/6-NLP/data/README.md new file mode 100644 index 000000000..ce83e55df --- /dev/null +++ b/translations/tr/6-NLP/data/README.md @@ -0,0 +1,4 @@ +Otel inceleme verilerini bu klasöre indirin. + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belge, kendi dilinde yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi tavsiye edilir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/7-TimeSeries/1-Introduction/README.md b/translations/tr/7-TimeSeries/1-Introduction/README.md new file mode 100644 index 000000000..06401d2a3 --- /dev/null +++ b/translations/tr/7-TimeSeries/1-Introduction/README.md @@ -0,0 +1,188 @@ +# Zaman Serisi Tahminine Giriş + + + +> Çizim [Tomomi Imura](https://www.twitter.com/girlie_mac) tarafından + +Bu derste ve bir sonraki derste, zaman serisi tahmini hakkında biraz bilgi edineceksiniz. Bu, bir ML bilim insanının repertuarının ilginç ve değerli bir parçasıdır, ancak diğer konular kadar bilinmemektedir. Zaman serisi tahmini, bir tür 'kristal küre' gibidir: fiyat gibi bir değişkenin geçmiş performansına dayanarak, gelecekteki potansiyel değerini tahmin edebilirsiniz. + +[](https://youtu.be/cBojo1hsHiI "Zaman serisi tahminine giriş") + +> 🎥 Zaman serisi tahmini hakkında bir video için yukarıdaki resme tıklayın + +## [Ders Öncesi Quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/41/) + +Fiyatlandırma, envanter ve tedarik zinciri sorunlarına doğrudan uygulanabilirliği göz önüne alındığında, iş dünyası için gerçek değeri olan faydalı ve ilginç bir alandır. Derin öğrenme teknikleri, gelecekteki performansı daha iyi tahmin etmek için daha fazla içgörü elde etmek amacıyla kullanılmaya başlanmış olsa da, zaman serisi tahmini, büyük ölçüde klasik ML teknikleri tarafından bilgilendirilen bir alandır. + +> Penn State'in faydalı zaman serisi müfredatına [buradan](https://online.stat.psu.edu/stat510/lesson/1) ulaşabilirsiniz. + +## Giriş + +Diyelim ki, zamanla ne kadar sıklıkla kullanıldıkları ve ne kadar süreyle kullanıldıkları hakkında veri sağlayan bir dizi akıllı otopark sayacını yönetiyorsunuz. + +> Geçmiş performansına dayanarak, arz ve talep yasalarına göre gelecekteki değerini tahmin edebileceğinizi düşünün? + +Hedefinize ulaşmak için ne zaman harekete geçmeniz gerektiğini doğru bir şekilde tahmin etmek, zaman serisi tahmini ile ele alınabilecek bir zorluktur. İnsanlar park yeri ararken yoğun zamanlarda daha fazla ücret alınmasından hoşlanmayabilirler, ancak bu, sokakları temizlemek için gelir elde etmenin kesin bir yolu olacaktır! + +Bazı zaman serisi algoritmalarını inceleyelim ve bazı verileri temizlemek ve hazırlamak için bir defter başlatalım. Analiz edeceğiniz veriler, GEFCom2014 tahmin yarışmasından alınmıştır. 2012 ve 2014 yılları arasında 3 yıllık saatlik elektrik yükü ve sıcaklık değerlerinden oluşmaktadır. Elektrik yükü ve sıcaklıklarının geçmiş desenlerine bakarak, gelecekteki elektrik yükü değerlerini tahmin edebilirsiniz. + +Bu örnekte, yalnızca geçmiş yük verilerini kullanarak bir zaman adımını ileriye tahmin etmeyi öğreneceksiniz. Ancak başlamadan önce, perde arkasında neler olduğunu anlamak faydalı olacaktır. + +## Bazı Tanımlar + +'Zaman serisi' terimiyle karşılaştığınızda, onun farklı bağlamlarda nasıl kullanıldığını anlamanız gerekir. + +🎓 **Zaman serisi** + +Matematikte, "bir zaman serisi, zaman sırasına göre dizinlenmiş (veya listelenmiş veya grafiğe dökülmüş) bir veri noktaları serisidir. En yaygın olarak, bir zaman serisi, ardışık eşit aralıklı zaman noktalarında alınan bir dizidir." Bir zaman serisi örneği, [Dow Jones Sanayi Ortalaması](https://wikipedia.org/wiki/Time_series)'nın günlük kapanış değeridir. Zaman serisi grafikleri ve istatistiksel modellemenin kullanımı, sinyal işleme, hava durumu tahmini, deprem tahmini ve olayların meydana geldiği ve veri noktalarının zamanla çizilebileceği diğer alanlarda sıkça karşılaşılır. + +🎓 **Zaman serisi analizi** + +Zaman serisi analizi, yukarıda bahsedilen zaman serisi verilerinin analizidir. Zaman serisi verileri, bir kesinti olayından önce ve sonra bir zaman serisinin evrimindeki desenleri tespit eden 'kesintili zaman serileri' de dahil olmak üzere farklı biçimler alabilir. Zaman serisi için gereken analiz türü, verilerin doğasına bağlıdır. Zaman serisi verileri, sayı veya karakter serileri biçiminde olabilir. + +Yapılacak analiz, frekans alanı ve zaman alanı, doğrusal ve doğrusal olmayan ve daha fazlası dahil olmak üzere çeşitli yöntemler kullanır. Bu tür verileri analiz etmenin birçok yolu hakkında [daha fazla bilgi edinin](https://www.itl.nist.gov/div898/handbook/pmc/section4/pmc4.htm). + +🎓 **Zaman serisi tahmini** + +Zaman serisi tahmini, geçmişte meydana gelen veriler tarafından gösterilen desenlere dayanarak gelecekteki değerleri tahmin etmek için bir modelin kullanılmasıdır. Zaman serisi verilerini keşfetmek için regresyon modelleri kullanmak mümkün olsa da, zaman dizinlerinin bir grafikte x değişkenleri olarak kullanılmasıyla, bu tür veriler özel model türleri kullanılarak en iyi şekilde analiz edilir. + +Zaman serisi verileri, doğrusal regresyonla analiz edilebilecek verilerden farklı olarak, sıralı gözlemler listesidir. En yaygın olanı ARIMA'dır, bu, "Oto-Regresif Entegre Hareketli Ortalama" anlamına gelir. + +[ARIMA modelleri](https://online.stat.psu.edu/stat510/lesson/1/1.1) "bir serinin mevcut değerini geçmiş değerler ve geçmiş tahmin hatalarıyla ilişkilendirir." Zamanla sıralanan verilerin analiz edilmesi için en uygun olanıdır. + +> ARIMA modellerinin birkaç türü vardır, bunlar hakkında [buradan](https://people.duke.edu/~rnau/411arim.htm) bilgi edinebilir ve bir sonraki derste bu konulara değineceksiniz. + +Bir sonraki derste, zamanla değişen bir değişkene odaklanan [Tek Değişkenli Zaman Serisi](https://itl.nist.gov/div898/handbook/pmc/section4/pmc44.htm) kullanarak bir ARIMA modeli oluşturacaksınız. Bu tür verilere bir örnek, Mauna Loa Gözlemevi'nde aylık CO2 konsantrasyonunu kaydeden [bu veri setidir](https://itl.nist.gov/div898/handbook/pmc/section4/pmc4411.htm): + +| CO2 | YearMonth | Year | Month | +| :----: | :-------: | :---: | :---: | +| 330.62 | 1975.04 | 1975 | 1 | +| 331.40 | 1975.13 | 1975 | 2 | +| 331.87 | 1975.21 | 1975 | 3 | +| 333.18 | 1975.29 | 1975 | 4 | +| 333.92 | 1975.38 | 1975 | 5 | +| 333.43 | 1975.46 | 1975 | 6 | +| 331.85 | 1975.54 | 1975 | 7 | +| 330.01 | 1975.63 | 1975 | 8 | +| 328.51 | 1975.71 | 1975 | 9 | +| 328.41 | 1975.79 | 1975 | 10 | +| 329.25 | 1975.88 | 1975 | 11 | +| 330.97 | 1975.96 | 1975 | 12 | + +✅ Bu veri setinde zamanla değişen değişkeni belirleyin + +## Dikkate Alınması Gereken Zaman Serisi Veri Özellikleri + +Zaman serisi verilerine baktığınızda, daha iyi anlamak için dikkate almanız ve azaltmanız gereken [belirli özelliklere](https://online.stat.psu.edu/stat510/lesson/1/1.1) sahip olduğunu fark edebilirsiniz. Zaman serisi verilerini analiz etmek istediğiniz bir 'sinyal' olarak düşünürseniz, bu özellikler 'gürültü' olarak düşünülebilir. Bu 'gürültüyü' azaltmak için bazı istatistiksel teknikler kullanarak bu özelliklerden bazılarını dengelemeniz gerekecektir. + +Zaman serisi ile çalışabilmek için bilmeniz gereken bazı kavramlar şunlardır: + +🎓 **Trendler** + +Trendler, zamanla ölçülebilir artışlar ve azalmalar olarak tanımlanır. [Daha fazla okuyun](https://machinelearningmastery.com/time-series-trends-in-python). Zaman serisi bağlamında, zaman serinizden trendleri nasıl kullanacağınız ve gerekirse nasıl kaldıracağınız ile ilgilidir. + +🎓 **[Mevsimsellik](https://machinelearningmastery.com/time-series-seasonality-with-python/)** + +Mevsimsellik, örneğin satışları etkileyebilecek tatil yoğunluğu gibi periyodik dalgalanmalar olarak tanımlanır. Verilerde mevsimselliği gösteren farklı türde grafiklerin nasıl göründüğüne [bir göz atın](https://itl.nist.gov/div898/handbook/pmc/section4/pmc443.htm). + +🎓 **Aykırı Değerler** + +Aykırı değerler, standart veri varyansından uzak olan verilerdir. + +🎓 **Uzun Vadeli Döngü** + +Mevsimsellikten bağımsız olarak, veriler bir yıldan uzun süren bir ekonomik durgunluk gibi uzun vadeli bir döngü gösterebilir. + +🎓 **Sabit Varyans** + +Zamanla, bazı veriler günlük ve gece enerji kullanımı gibi sabit dalgalanmalar gösterir. + +🎓 **Ani Değişiklikler** + +Veriler, daha fazla analiz gerektirebilecek ani bir değişiklik gösterebilir. Örneğin, COVID nedeniyle iş yerlerinin ani kapanması, verilerde değişikliklere neden oldu. + +✅ İşte birkaç yıl boyunca günlük oyun içi para harcamasını gösteren [örnek bir zaman serisi grafiği](https://www.kaggle.com/kashnitsky/topic-9-part-1-time-series-analysis-in-python). Bu verilerde yukarıda listelenen özelliklerden herhangi birini belirleyebilir misiniz? + + + +## Egzersiz - Güç Kullanım Verileri ile Başlamak + +Geçmiş kullanıma dayanarak gelecekteki güç kullanımını tahmin etmek için bir zaman serisi modeli oluşturmaya başlayalım. + +> Bu örnekteki veriler, GEFCom2014 tahmin yarışmasından alınmıştır. 2012 ve 2014 yılları arasında 3 yıllık saatlik elektrik yükü ve sıcaklık değerlerinden oluşmaktadır. +> +> Tao Hong, Pierre Pinson, Shu Fan, Hamidreza Zareipour, Alberto Troccoli ve Rob J. Hyndman, "Olasılıksal enerji tahmini: Global Energy Forecasting Competition 2014 ve ötesi", International Journal of Forecasting, cilt 32, no.3, ss 896-913, Temmuz-Eylül, 2016. + +1. Bu dersin `working` klasöründe, _notebook.ipynb_ dosyasını açın. Verileri yüklemenize ve görselleştirmenize yardımcı olacak kütüphaneleri ekleyerek başlayın + + ```python + import os + import matplotlib.pyplot as plt + from common.utils import load_data + %matplotlib inline + ``` + + Not, dahil edilen `common` folder which set up your environment and handle downloading the data. + +2. Next, examine the data as a dataframe calling `load_data()` and `head()` dosyalarını kullanıyorsunuz: + + ```python + data_dir = './data' + energy = load_data(data_dir)[['load']] + energy.head() + ``` + + Tarih ve yükü temsil eden iki sütun olduğunu görebilirsiniz: + + | | load | + | :-----------------: | :----: | + | 2012-01-01 00:00:00 | 2698.0 | + | 2012-01-01 01:00:00 | 2558.0 | + | 2012-01-01 02:00:00 | 2444.0 | + | 2012-01-01 03:00:00 | 2402.0 | + | 2012-01-01 04:00:00 | 2403.0 | + +3. Şimdi, `plot()` çağrısı yaparak verileri grafiğe dökün: + + ```python + energy.plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + +4. Şimdi, 2014 Temmuz'unun ilk haftasını `energy` in `[from date]: [to date]` modelini kullanarak grafiğe dökün: + + ```python + energy['2014-07-01':'2014-07-07'].plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + + Güzel bir grafik! Bu grafiklere bakın ve yukarıda listelenen özelliklerden herhangi birini belirleyip belirleyemeyeceğinizi görün. Verileri görselleştirerek ne çıkarımlar yapabiliriz? + +Bir sonraki derste, bazı tahminler oluşturmak için bir ARIMA modeli oluşturacaksınız. + +--- + +## 🚀Meydan Okuma + +Zaman serisi tahmininden fayda sağlayabilecek tüm endüstrileri ve araştırma alanlarını listeleyin. Bu tekniklerin sanatlarda bir uygulamasını düşünebilir misiniz? Ekonometrikte? Ekolojide? Perakendede? Endüstride? Finans? Başka nerede? + +## [Ders Sonrası Quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/42/) + +## Gözden Geçirme ve Kendi Kendine Çalışma + +Burada ele almayacak olsak da, zaman serisi tahmininin klasik yöntemlerini geliştirmek için bazen sinir ağları kullanılır. Bu konuda daha fazla bilgi edinmek için [bu makaleyi](https://medium.com/microsoftazure/neural-networks-for-forecasting-financial-and-economic-time-series-6aca370ff412) okuyun. + +## Ödev + +[Daha fazla zaman serisi görselleştirin](assignment.md) + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal diliyle yazılmış hali yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından doğabilecek yanlış anlaşılma veya yanlış yorumlamalardan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/7-TimeSeries/1-Introduction/assignment.md b/translations/tr/7-TimeSeries/1-Introduction/assignment.md new file mode 100644 index 000000000..ef158a542 --- /dev/null +++ b/translations/tr/7-TimeSeries/1-Introduction/assignment.md @@ -0,0 +1,14 @@ +# Bazı Zaman Serilerini Daha Fazla Görselleştir + +## Talimatlar + +Zaman Serisi Tahmini hakkında, bu özel modellemeyi gerektiren veri türlerine bakarak öğrenmeye başladınız. Enerji ile ilgili bazı verileri görselleştirdiniz. Şimdi, Zaman Serisi Tahmini'nden fayda sağlayabilecek başka veriler arayın. Üç örnek bulun (örneğin [Kaggle](https://kaggle.com) ve [Azure Open Datasets](https://azure.microsoft.com/en-us/services/open-datasets/catalog/?WT.mc_id=academic-77952-leestott)) ve bunları görselleştirmek için bir notebook oluşturun. Notebook'ta sahip oldukları özel özellikleri (mevsimsellik, ani değişiklikler veya diğer trendler) not edin. + +## Değerlendirme Kriterleri + +| Kriterler | Örnek | Yeterli | Gelişmeye İhtiyacı Var | +| --------- | --------------------------------------------------- | ---------------------------------------------------- | ---------------------------------------------------------------------------------------- | +| | Üç veri kümesi bir notebook'ta görselleştirilmiş ve açıklanmıştır | İki veri kümesi bir notebook'ta görselleştirilmiş ve açıklanmıştır | Az sayıda veri kümesi bir notebook'ta görselleştirilmiş veya açıklanmış ya da sunulan veri yetersizdir | + +**Feragatname**: +Bu belge, makine tabanlı AI çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba sarf etsek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belge, kendi dilinde yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından doğabilecek yanlış anlama veya yanlış yorumlamalardan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/7-TimeSeries/1-Introduction/solution/Julia/README.md b/translations/tr/7-TimeSeries/1-Introduction/solution/Julia/README.md new file mode 100644 index 000000000..7f95ca4a3 --- /dev/null +++ b/translations/tr/7-TimeSeries/1-Introduction/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal diliyle yazılmış hali yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilmektedir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/7-TimeSeries/1-Introduction/solution/R/README.md b/translations/tr/7-TimeSeries/1-Introduction/solution/R/README.md new file mode 100644 index 000000000..40ef57c6e --- /dev/null +++ b/translations/tr/7-TimeSeries/1-Introduction/solution/R/README.md @@ -0,0 +1,4 @@ + + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal dili, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/7-TimeSeries/2-ARIMA/README.md b/translations/tr/7-TimeSeries/2-ARIMA/README.md new file mode 100644 index 000000000..7954da670 --- /dev/null +++ b/translations/tr/7-TimeSeries/2-ARIMA/README.md @@ -0,0 +1,397 @@ +# ARIMA ile Zaman Serisi Tahmini + +Önceki derste, zaman serisi tahmini hakkında biraz bilgi edindiniz ve bir zaman dilimi boyunca elektrik yükünün dalgalanmalarını gösteren bir veri kümesini yüklediniz. + +[](https://youtu.be/IUSk-YDau10 "Introduction to ARIMA") + +> 🎥 Yukarıdaki görüntüye tıklayarak bir video izleyin: ARIMA modellerine kısa bir giriş. Örnek R dilinde yapılmıştır, ancak kavramlar evrenseldir. + +## [Ders Öncesi Test](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/43/) + +## Giriş + +Bu derste, [ARIMA: *A*uto*R*egressive *I*ntegrated *M*oving *A*verage](https://wikipedia.org/wiki/Autoregressive_integrated_moving_average) ile model oluşturmanın belirli bir yolunu keşfedeceksiniz. ARIMA modelleri, özellikle [durağan olmayan](https://wikipedia.org/wiki/Stationary_process) verileri uyarlamak için uygundur. + +## Genel Kavramlar + +ARIMA ile çalışabilmek için bilmeniz gereken bazı kavramlar vardır: + +- 🎓 **Durağanlık**. İstatistiksel bağlamda, durağanlık, zaman içinde kaydırıldığında dağılımı değişmeyen verilere atıfta bulunur. Durağan olmayan veriler ise analiz edilmek üzere dönüştürülmesi gereken eğilimlerden kaynaklanan dalgalanmalar gösterir. Örneğin, mevsimsellik verilerde dalgalanmalara neden olabilir ve 'mevsimsel fark alma' süreci ile ortadan kaldırılabilir. + +- 🎓 **[Fark Alma](https://wikipedia.org/wiki/Autoregressive_integrated_moving_average#Differencing)**. İstatistiksel bağlamda, fark alma, durağan olmayan verileri durağan hale getirmek için değişken eğilimlerini ortadan kaldırma sürecine atıfta bulunur. "Fark alma, bir zaman serisinin seviyesindeki değişiklikleri ortadan kaldırarak eğilim ve mevsimselliği ortadan kaldırır ve böylece zaman serisinin ortalamasını stabilize eder." [Shixiong ve diğerlerinin makalesi](https://arxiv.org/abs/1904.07632) + +## Zaman Serisi Bağlamında ARIMA + +ARIMA'nın bölümlerini açarak, zaman serilerini nasıl modellediğini ve tahmin yapmamıza nasıl yardımcı olduğunu daha iyi anlayalım. + +- **AR - Otoregresif**. Otoregresif modeller, adından da anlaşılacağı gibi, verilerinizdeki önceki değerlere bakarak onları analiz eder ve varsayımlar yapar. Bu önceki değerlere 'gecikmeler' denir. Örneğin, aylık kalem satışlarını gösteren veriler. Her ayın satış toplamı, veri kümesinde 'gelişen değişken' olarak kabul edilir. Bu model, "ilgilenen gelişen değişkenin kendi gecikmiş (yani, önceki) değerlerine göre regresyona tabi tutulduğu" şeklinde oluşturulur. [wikipedia](https://wikipedia.org/wiki/Autoregressive_integrated_moving_average) + +- **I - Entegre**. Benzer 'ARMA' modellerinden farklı olarak, ARIMA'daki 'I', *[entegre](https://wikipedia.org/wiki/Order_of_integration)* yönünü ifade eder. Veriler, durağanlığı ortadan kaldırmak için fark alma adımları uygulandığında 'entegre' olur. + +- **MA - Hareketli Ortalama**. Bu modelin [hareketli ortalama](https://wikipedia.org/wiki/Moving-average_model) yönü, çıkış değişkeninin, mevcut ve geçmiş gecikme değerlerini gözlemleyerek belirlendiğini ifade eder. + +Sonuç: ARIMA, zaman serisi verilerinin özel formuna mümkün olduğunca yakın bir model oluşturmak için kullanılır. + +## Alıştırma - Bir ARIMA Modeli Oluşturun + +Bu dersteki [_/working_](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA/working) klasörünü açın ve [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/7-TimeSeries/2-ARIMA/working/notebook.ipynb) dosyasını bulun. + +1. ARIMA modelleri için ihtiyacınız olan `statsmodels` Python kütüphanesini yüklemek için notebook'u çalıştırın. + +1. Gerekli kütüphaneleri yükleyin. + +1. Şimdi, verileri çizmek için faydalı olan birkaç kütüphaneyi daha yükleyin: + + ```python + import os + import warnings + import matplotlib.pyplot as plt + import numpy as np + import pandas as pd + import datetime as dt + import math + + from pandas.plotting import autocorrelation_plot + from statsmodels.tsa.statespace.sarimax import SARIMAX + from sklearn.preprocessing import MinMaxScaler + from common.utils import load_data, mape + from IPython.display import Image + + %matplotlib inline + pd.options.display.float_format = '{:,.2f}'.format + np.set_printoptions(precision=2) + warnings.filterwarnings("ignore") # specify to ignore warning messages + ``` + +1. Verileri `/data/energy.csv` dosyasından bir Pandas dataframe'ine yükleyin ve bir göz atın: + + ```python + energy = load_data('./data')[['load']] + energy.head(10) + ``` + +1. Ocak 2012'den Aralık 2014'e kadar mevcut tüm enerji verilerini çizin. Bu verileri önceki derste gördüğümüz için sürpriz olmamalı: + + ```python + energy.plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + + Şimdi, bir model oluşturalım! + +### Eğitim ve Test Veri Setleri Oluşturun + +Verileriniz yüklendi, bu yüzden onları eğitim ve test setlerine ayırabilirsiniz. Modelinizi eğitim setinde eğiteceksiniz. Her zamanki gibi, model eğitimi tamamlandıktan sonra, doğruluğunu test setini kullanarak değerlendireceksiniz. Modelin gelecekteki zaman dilimlerinden bilgi almamasını sağlamak için test setinin eğitim setinden sonraki bir dönemi kapsadığından emin olmanız gerekir. + +1. 1 Eylül - 31 Ekim 2014 tarihlerini eğitim setine ayırın. Test seti, 1 Kasım - 31 Aralık 2014 dönemini kapsayacaktır: + + ```python + train_start_dt = '2014-11-01 00:00:00' + test_start_dt = '2014-12-30 00:00:00' + ``` + + Bu veriler günlük enerji tüketimini yansıttığı için güçlü bir mevsimsel desen vardır, ancak tüketim en son günlerdeki tüketime en benzer. + +1. Farklılıkları görselleştirin: + + ```python + energy[(energy.index < test_start_dt) & (energy.index >= train_start_dt)][['load']].rename(columns={'load':'train'}) \ + .join(energy[test_start_dt:][['load']].rename(columns={'load':'test'}), how='outer') \ + .plot(y=['train', 'test'], figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + + Bu nedenle, verileri eğitmek için nispeten küçük bir zaman penceresi kullanmak yeterli olmalıdır. + + > Not: ARIMA modelini uyarlamak için kullandığımız fonksiyon, uyarlama sırasında örnek içi doğrulama kullandığından, doğrulama verilerini göz ardı edeceğiz. + +### Verileri Eğitime Hazırlayın + +Şimdi, verileri filtreleme ve ölçeklendirme yaparak eğitime hazırlamanız gerekiyor. Veri kümenizi yalnızca ihtiyaç duyduğunuz zaman dilimlerini ve sütunları içerecek şekilde filtreleyin ve verilerin 0,1 aralığında projeksiyonunu sağlamak için ölçeklendirin. + +1. Orijinal veri kümesini, set başına yalnızca belirtilen zaman dilimlerini ve yalnızca gerekli olan 'load' sütunu ile tarih sütununu içerecek şekilde filtreleyin: + + ```python + train = energy.copy()[(energy.index >= train_start_dt) & (energy.index < test_start_dt)][['load']] + test = energy.copy()[energy.index >= test_start_dt][['load']] + + print('Training data shape: ', train.shape) + print('Test data shape: ', test.shape) + ``` + + Verinin şeklini görebilirsiniz: + + ```output + Training data shape: (1416, 1) + Test data shape: (48, 1) + ``` + +1. Verileri (0, 1) aralığında ölçeklendirin. + + ```python + scaler = MinMaxScaler() + train['load'] = scaler.fit_transform(train) + train.head(10) + ``` + +1. Orijinal ve ölçeklendirilmiş verileri görselleştirin: + + ```python + energy[(energy.index >= train_start_dt) & (energy.index < test_start_dt)][['load']].rename(columns={'load':'original load'}).plot.hist(bins=100, fontsize=12) + train.rename(columns={'load':'scaled load'}).plot.hist(bins=100, fontsize=12) + plt.show() + ``` + +  + + > Orijinal veri + +  + + > Ölçeklendirilmiş veri + +1. Şimdi ölçeklendirilmiş verileri kalibre ettiğinize göre, test verilerini de ölçeklendirebilirsiniz: + + ```python + test['load'] = scaler.transform(test) + test.head() + ``` + +### ARIMA'yı Uygulayın + +ARIMA'yı uygulama zamanı geldi! Daha önce yüklediğiniz `statsmodels` kütüphanesini kullanacaksınız. + +Şimdi birkaç adımı takip etmeniz gerekiyor + + 1. Modeli `SARIMAX()` and passing in the model parameters: p, d, and q parameters, and P, D, and Q parameters. + 2. Prepare the model for the training data by calling the fit() function. + 3. Make predictions calling the `forecast()` function and specifying the number of steps (the `horizon`) to forecast. + +> 🎓 What are all these parameters for? In an ARIMA model there are 3 parameters that are used to help model the major aspects of a time series: seasonality, trend, and noise. These parameters are: + +`p`: the parameter associated with the auto-regressive aspect of the model, which incorporates *past* values. +`d`: the parameter associated with the integrated part of the model, which affects the amount of *differencing* (🎓 remember differencing 👆?) to apply to a time series. +`q`: the parameter associated with the moving-average part of the model. + +> Note: If your data has a seasonal aspect - which this one does - , we use a seasonal ARIMA model (SARIMA). In that case you need to use another set of parameters: `P`, `D`, and `Q` which describe the same associations as `p`, `d`, and `q` fonksiyonunu çağırarak tanımlayın, ancak modelin mevsimsel bileşenlerine karşılık gelir. + +1. Tercih ettiğiniz ufuk değerini ayarlayarak başlayın. 3 saat deneyelim: + + ```python + # Specify the number of steps to forecast ahead + HORIZON = 3 + print('Forecasting horizon:', HORIZON, 'hours') + ``` + + Bir ARIMA modelinin parametreleri için en iyi değerleri seçmek zordur çünkü bu biraz öznel ve zaman alıcıdır. `auto_arima()` function from the [`pyramid` kütüphanesini kullanmayı düşünebilirsiniz.](https://alkaline-ml.com/pmdarima/0.9.0/modules/generated/pyramid.arima.auto_arima.html), + +1. Şimdilik iyi bir model bulmak için bazı manuel seçimler deneyin. + + ```python + order = (4, 1, 0) + seasonal_order = (1, 1, 0, 24) + + model = SARIMAX(endog=train, order=order, seasonal_order=seasonal_order) + results = model.fit() + + print(results.summary()) + ``` + + Bir sonuç tablosu yazdırılır. + +İlk modelinizi oluşturdunuz! Şimdi onu değerlendirmek için bir yol bulmamız gerekiyor. + +### Modelinizi Değerlendirin + +Modelinizi değerlendirmek için, sözde `yürüyen ileri` doğrulama gerçekleştirebilirsiniz. Pratikte, zaman serisi modelleri her yeni veri geldiğinde yeniden eğitilir. Bu, modelin her zaman adımında en iyi tahmini yapmasına olanak tanır. + +Bu tekniği kullanarak zaman serisinin başından başlayarak, modeli eğitim veri setinde eğitin. Ardından bir sonraki zaman adımında tahmin yapın. Tahmin, bilinen değere karşı değerlendirilir. Eğitim seti daha sonra bilinen değeri içerecek şekilde genişletilir ve işlem tekrarlanır. + +> Not: Eğitimi daha verimli hale getirmek için eğitim seti penceresini sabit tutmalısınız, böylece her yeni gözlemi eğitim setine eklediğinizde, setin başından gözlemi kaldırırsınız. + +Bu süreç, modelin pratikte nasıl performans göstereceğine dair daha sağlam bir tahmin sağlar. Ancak, bu kadar çok model oluşturmanın hesaplama maliyeti vardır. Veri küçükse veya model basitse kabul edilebilir, ancak ölçek büyüdüğünde sorun olabilir. + +Yürüyen ileri doğrulama, zaman serisi modeli değerlendirmesinin altın standardıdır ve kendi projelerinizde tavsiye edilir. + +1. İlk olarak, her HORIZON adımı için bir test veri noktası oluşturun. + + ```python + test_shifted = test.copy() + + for t in range(1, HORIZON+1): + test_shifted['load+'+str(t)] = test_shifted['load'].shift(-t, freq='H') + + test_shifted = test_shifted.dropna(how='any') + test_shifted.head(5) + ``` + + | | | load | load+1 | load+2 | + | ---------- | -------- | ---- | ------ | ------ | + | 2014-12-30 | 00:00:00 | 0.33 | 0.29 | 0.27 | + | 2014-12-30 | 01:00:00 | 0.29 | 0.27 | 0.27 | + | 2014-12-30 | 02:00:00 | 0.27 | 0.27 | 0.30 | + | 2014-12-30 | 03:00:00 | 0.27 | 0.30 | 0.41 | + | 2014-12-30 | 04:00:00 | 0.30 | 0.41 | 0.57 | + + Veriler ufuk noktasına göre yatay olarak kaydırılmıştır. + +1. Test verilerinizde bu kayan pencere yaklaşımını kullanarak bir döngü içinde tahminler yapın: + + ```python + %%time + training_window = 720 # dedicate 30 days (720 hours) for training + + train_ts = train['load'] + test_ts = test_shifted + + history = [x for x in train_ts] + history = history[(-training_window):] + + predictions = list() + + order = (2, 1, 0) + seasonal_order = (1, 1, 0, 24) + + for t in range(test_ts.shape[0]): + model = SARIMAX(endog=history, order=order, seasonal_order=seasonal_order) + model_fit = model.fit() + yhat = model_fit.forecast(steps = HORIZON) + predictions.append(yhat) + obs = list(test_ts.iloc[t]) + # move the training window + history.append(obs[0]) + history.pop(0) + print(test_ts.index[t]) + print(t+1, ': predicted =', yhat, 'expected =', obs) + ``` + + Eğitimin gerçekleştiğini izleyebilirsiniz: + + ```output + 2014-12-30 00:00:00 + 1 : predicted = [0.32 0.29 0.28] expected = [0.32945389435989236, 0.2900626678603402, 0.2739480752014323] + + 2014-12-30 01:00:00 + 2 : predicted = [0.3 0.29 0.3 ] expected = [0.2900626678603402, 0.2739480752014323, 0.26812891674127126] + + 2014-12-30 02:00:00 + 3 : predicted = [0.27 0.28 0.32] expected = [0.2739480752014323, 0.26812891674127126, 0.3025962399283795] + ``` + +1. Tahminleri gerçek yükle karşılaştırın: + + ```python + eval_df = pd.DataFrame(predictions, columns=['t+'+str(t) for t in range(1, HORIZON+1)]) + eval_df['timestamp'] = test.index[0:len(test.index)-HORIZON+1] + eval_df = pd.melt(eval_df, id_vars='timestamp', value_name='prediction', var_name='h') + eval_df['actual'] = np.array(np.transpose(test_ts)).ravel() + eval_df[['prediction', 'actual']] = scaler.inverse_transform(eval_df[['prediction', 'actual']]) + eval_df.head() + ``` + + Çıktı + | | | timestamp | h | prediction | actual | + | --- | ---------- | --------- | --- | ---------- | -------- | + | 0 | 2014-12-30 | 00:00:00 | t+1 | 3,008.74 | 3,023.00 | + | 1 | 2014-12-30 | 01:00:00 | t+1 | 2,955.53 | 2,935.00 | + | 2 | 2014-12-30 | 02:00:00 | t+1 | 2,900.17 | 2,899.00 | + | 3 | 2014-12-30 | 03:00:00 | t+1 | 2,917.69 | 2,886.00 | + | 4 | 2014-12-30 | 04:00:00 | t+1 | 2,946.99 | 2,963.00 | + + + Saatlik verilerin tahminini, gerçek yükle karşılaştırın. Ne kadar doğru? + +### Model Doğruluğunu Kontrol Edin + +Modelinizin doğruluğunu, tüm tahminler üzerindeki ortalama mutlak yüzde hatasını (MAPE) test ederek kontrol edin. + +> **🧮 Matematiği Göster** +> +>  +> +> [MAPE](https://www.linkedin.com/pulse/what-mape-mad-msd-time-series-allameh-statistics/) tahmin doğruluğunu yukarıdaki formülle tanımlanan bir oran olarak göstermek için kullanılır. Gerçekt ve tahmint arasındaki fark, gerçekt ile bölünür. "Bu hesaplamadaki mutlak değer her tahmin edilen zaman noktasında toplanır ve uydurulan noktaların sayısına n bölünür." [wikipedia](https://wikipedia.org/wiki/Mean_absolute_percentage_error) + +1. Denklemi kodda ifade edin: + + ```python + if(HORIZON > 1): + eval_df['APE'] = (eval_df['prediction'] - eval_df['actual']).abs() / eval_df['actual'] + print(eval_df.groupby('h')['APE'].mean()) + ``` + +1. Bir adımın MAPE'sini hesaplayın: + + ```python + print('One step forecast MAPE: ', (mape(eval_df[eval_df['h'] == 't+1']['prediction'], eval_df[eval_df['h'] == 't+1']['actual']))*100, '%') + ``` + + Bir adım tahmin MAPE'si: 0.5570581332313952 % + +1. Çok adımlı tahmin MAPE'sini yazdırın: + + ```python + print('Multi-step forecast MAPE: ', mape(eval_df['prediction'], eval_df['actual'])*100, '%') + ``` + + ```output + Multi-step forecast MAPE: 1.1460048657704118 % + ``` + + Güzel bir düşük sayı en iyisidir: MAPE'si 10 olan bir tahminin %10 hata payı olduğunu düşünün. + +1. Ancak her zaman olduğu gibi, bu tür doğruluk ölçümünü görsel olarak görmek daha kolaydır, bu yüzden bunu çizelim: + + ```python + if(HORIZON == 1): + ## Plotting single step forecast + eval_df.plot(x='timestamp', y=['actual', 'prediction'], style=['r', 'b'], figsize=(15, 8)) + + else: + ## Plotting multi step forecast + plot_df = eval_df[(eval_df.h=='t+1')][['timestamp', 'actual']] + for t in range(1, HORIZON+1): + plot_df['t+'+str(t)] = eval_df[(eval_df.h=='t+'+str(t))]['prediction'].values + + fig = plt.figure(figsize=(15, 8)) + ax = plt.plot(plot_df['timestamp'], plot_df['actual'], color='red', linewidth=4.0) + ax = fig.add_subplot(111) + for t in range(1, HORIZON+1): + x = plot_df['timestamp'][(t-1):] + y = plot_df['t+'+str(t)][0:len(x)] + ax.plot(x, y, color='blue', linewidth=4*math.pow(.9,t), alpha=math.pow(0.8,t)) + + ax.legend(loc='best') + + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + +🏆 Çok güzel bir grafik, iyi doğruluğa sahip bir modeli gösteriyor. Aferin! + +--- + +## 🚀Meydan Okuma + +Bir Zaman Serisi Modelinin doğruluğunu test etmenin yollarını inceleyin. Bu derste MAPE'ye değiniyoruz, ancak kullanabileceğiniz başka yöntemler var mı? Onları araştırın ve not edin. Yardımcı bir belgeyi [burada](https://otexts.com/fpp2/accuracy.html) bulabilirsiniz. + +## [Ders Sonrası Test](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/44/) + +## Gözden Geçirme ve Kendi Kendine Çalışma + +Bu ders, ARIMA ile Zaman Serisi Tahmininin yalnızca temel konularına değinmektedir. [Bu depo](https://microsoft.github.io/forecasting/) ve çeşitli model türlerine göz atarak Zaman Serisi modelleri oluşturmanın diğer yollarını öğrenmek için bilginizi derinleştirin. + +## Ödev + +[Yeni bir ARIMA modeli](assignment.md) + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belgenin kendi dilindeki hali yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilmektedir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/7-TimeSeries/2-ARIMA/assignment.md b/translations/tr/7-TimeSeries/2-ARIMA/assignment.md new file mode 100644 index 000000000..6e08a2ac4 --- /dev/null +++ b/translations/tr/7-TimeSeries/2-ARIMA/assignment.md @@ -0,0 +1,14 @@ +# Yeni bir ARIMA modeli + +## Talimatlar + +Artık bir ARIMA modeli oluşturduğunuza göre, yeni verilerle (Duke'dan [bu veri setlerinden](http://www2.stat.duke.edu/~mw/ts_data_sets.html) birini deneyin) yeni bir tane oluşturun. Çalışmanızı bir not defterinde açıklayın, verileri ve modelinizi görselleştirin ve doğruluğunu MAPE kullanarak test edin. + +## Değerlendirme Kriterleri + +| Kriterler | Örnek | Yeterli | Geliştirilmesi Gerekiyor | +| --------- | ------------------------------------------------------------------------------------------------------------------- | -------------------------------------------------------- | ----------------------------------- | +| | Yeni bir ARIMA modeli oluşturulmuş, test edilmiş ve görselleştirmelerle açıklanmış, doğruluk belirtilmiş bir not defteri sunulmuştur. | Sunulan not defteri açıklanmamış veya hatalar içermektedir | Eksik bir not defteri sunulmuştur | + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba sarf etsek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belgenin kendi dilindeki hali yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/7-TimeSeries/2-ARIMA/solution/Julia/README.md b/translations/tr/7-TimeSeries/2-ARIMA/solution/Julia/README.md new file mode 100644 index 000000000..7ea17fe26 --- /dev/null +++ b/translations/tr/7-TimeSeries/2-ARIMA/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba sarf etsek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal dili, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/7-TimeSeries/2-ARIMA/solution/R/README.md b/translations/tr/7-TimeSeries/2-ARIMA/solution/R/README.md new file mode 100644 index 000000000..b91dee279 --- /dev/null +++ b/translations/tr/7-TimeSeries/2-ARIMA/solution/R/README.md @@ -0,0 +1,4 @@ + + +**Feragatname**: +Bu belge, makine tabanlı AI çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belge, kendi dilinde yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/7-TimeSeries/3-SVR/README.md b/translations/tr/7-TimeSeries/3-SVR/README.md new file mode 100644 index 000000000..a3c5b41f7 --- /dev/null +++ b/translations/tr/7-TimeSeries/3-SVR/README.md @@ -0,0 +1,386 @@ +# Destek Vektör Regresörü ile Zaman Serisi Tahmini + +Önceki derste, ARIMA modelini kullanarak zaman serisi tahminleri yapmayı öğrendiniz. Şimdi sürekli verileri tahmin etmek için kullanılan bir regresör modeli olan Destek Vektör Regresörü modeline bakacağız. + +## [Ders Öncesi Test](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/51/) + +## Giriş + +Bu derste, regresyon için [**SVM**: **D**estek **V**ektör **M**akinesi](https://en.wikipedia.org/wiki/Support-vector_machine) veya **SVR: Destek Vektör Regresörü** ile model oluşturmanın belirli bir yolunu keşfedeceksiniz. + +### Zaman serisi bağlamında SVR [^1] + +Zaman serisi tahmininde SVR'nin önemini anlamadan önce bilmeniz gereken bazı önemli kavramlar şunlardır: + +- **Regresyon:** Verilen bir dizi girdiden sürekli değerleri tahmin etmek için kullanılan denetimli öğrenme tekniği. Amaç, özellik alanında maksimum veri noktası sayısına sahip bir eğri (veya çizgi) uyarlamaktır. Daha fazla bilgi için [buraya tıklayın](https://en.wikipedia.org/wiki/Regression_analysis). +- **Destek Vektör Makinesi (SVM):** Sınıflandırma, regresyon ve aykırı değer tespiti için kullanılan bir tür denetimli makine öğrenme modeli. Model, sınıflandırma durumunda sınır olarak, regresyon durumunda ise en iyi uyum çizgisi olarak işlev gören özellik alanında bir hiper düzlemdir. SVM'de, genellikle veri kümesini daha yüksek boyut sayısına sahip bir alana dönüştürmek için bir Çekirdek fonksiyonu kullanılır, böylece kolayca ayrılabilir hale gelirler. SVM'ler hakkında daha fazla bilgi için [buraya tıklayın](https://en.wikipedia.org/wiki/Support-vector_machine). +- **Destek Vektör Regresörü (SVR):** En fazla veri noktasına sahip en iyi uyum çizgisini (SVM durumunda bu bir hiper düzlemdir) bulmak için kullanılan bir SVM türü. + +### Neden SVR? [^1] + +Son derste, zaman serisi verilerini tahmin etmek için çok başarılı bir istatistiksel doğrusal yöntem olan ARIMA hakkında bilgi edindiniz. Ancak birçok durumda, zaman serisi verileri doğrusal olmayan özelliklere sahiptir ve bu doğrusal modellerle haritalanamaz. Bu gibi durumlarda, SVR'nin doğrusal olmayan verileri regresyon görevleri için dikkate alma yeteneği, SVR'yi zaman serisi tahmininde başarılı kılar. + +## Egzersiz - bir SVR modeli oluşturun + +Veri hazırlama için ilk birkaç adım, [ARIMA](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA) hakkındaki önceki dersteki adımlarla aynıdır. + +Bu dersteki [_/working_](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/3-SVR/working) klasörünü açın ve [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/7-TimeSeries/3-SVR/working/notebook.ipynb) dosyasını bulun.[^2] + +1. Not defterini çalıştırın ve gerekli kütüphaneleri içe aktarın: [^2] + + ```python + import sys + sys.path.append('../../') + ``` + + ```python + import os + import warnings + import matplotlib.pyplot as plt + import numpy as np + import pandas as pd + import datetime as dt + import math + + from sklearn.svm import SVR + from sklearn.preprocessing import MinMaxScaler + from common.utils import load_data, mape + ``` + +2. Verileri `/data/energy.csv` dosyasından bir Pandas veri çerçevesine yükleyin ve bir göz atın: [^2] + + ```python + energy = load_data('../../data')[['load']] + ``` + +3. Ocak 2012'den Aralık 2014'e kadar mevcut tüm enerji verilerini görselleştirin: [^2] + + ```python + energy.plot(y='load', subplots=True, figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + + Şimdi, SVR modelimizi oluşturalım. + +### Eğitim ve test veri setleri oluşturun + +Artık verileriniz yüklendiğine göre, onları eğitim ve test setlerine ayırabilirsiniz. Daha sonra, SVR için gerekli olan zaman adımı tabanlı bir veri seti oluşturmak için verileri yeniden şekillendireceksiniz. Modelinizi eğitim setinde eğiteceksiniz. Model eğitimi tamamlandıktan sonra, doğruluğunu eğitim setinde, test setinde ve ardından genel performansı görmek için tüm veri setinde değerlendireceksiniz. Test setinin, modelin gelecekteki zaman dilimlerinden bilgi edinmesini engellemek için eğitim setinden daha sonraki bir dönemi kapsadığından emin olmanız gerekir [^2] (bu duruma *Aşırı Uyum* denir). + +1. Eğitim setine 1 Eylül - 31 Ekim 2014 tarihleri arasındaki iki aylık dönemi ayırın. Test seti ise 1 Kasım - 31 Aralık 2014 tarihleri arasındaki iki aylık dönemi içerecektir: [^2] + + ```python + train_start_dt = '2014-11-01 00:00:00' + test_start_dt = '2014-12-30 00:00:00' + ``` + +2. Farklılıkları görselleştirin: [^2] + + ```python + energy[(energy.index < test_start_dt) & (energy.index >= train_start_dt)][['load']].rename(columns={'load':'train'}) \ + .join(energy[test_start_dt:][['load']].rename(columns={'load':'test'}), how='outer') \ + .plot(y=['train', 'test'], figsize=(15, 8), fontsize=12) + plt.xlabel('timestamp', fontsize=12) + plt.ylabel('load', fontsize=12) + plt.show() + ``` + +  + + + +### Verileri eğitime hazırlayın + +Şimdi, verilerinizi filtreleme ve ölçeklendirme işlemlerini gerçekleştirerek eğitime hazırlamanız gerekiyor. Veri setinizi yalnızca gerekli zaman dilimlerini ve sütunları içerecek şekilde filtreleyin ve verilerin 0,1 aralığında projeksiyon yapılmasını sağlamak için ölçeklendirin. + +1. Orijinal veri setini yalnızca yukarıda belirtilen zaman dilimlerini içerecek şekilde filtreleyin ve yalnızca gerekli 'load' sütununu ve tarihi dahil edin: [^2] + + ```python + train = energy.copy()[(energy.index >= train_start_dt) & (energy.index < test_start_dt)][['load']] + test = energy.copy()[energy.index >= test_start_dt][['load']] + + print('Training data shape: ', train.shape) + print('Test data shape: ', test.shape) + ``` + + ```output + Training data shape: (1416, 1) + Test data shape: (48, 1) + ``` + +2. Eğitim verilerini (0, 1) aralığında ölçeklendirin: [^2] + + ```python + scaler = MinMaxScaler() + train['load'] = scaler.fit_transform(train) + ``` + +4. Şimdi, test verilerini ölçeklendirin: [^2] + + ```python + test['load'] = scaler.transform(test) + ``` + +### Zaman adımları ile veri oluşturun [^1] + +SVR için, giriş verilerini `[batch, timesteps]`. So, you reshape the existing `train_data` and `test_data` formunda dönüştürüyorsunuz, böylece zaman adımlarını ifade eden yeni bir boyut eklenmiş oluyor. + +```python +# Converting to numpy arrays +train_data = train.values +test_data = test.values +``` + +Bu örnek için, `timesteps = 5` alıyoruz. Yani, modele girdi olarak ilk 4 zaman adımının verilerini veriyoruz ve çıktı 5. zaman adımının verileri olacak. + +```python +timesteps=5 +``` + +İç içe liste kavramını kullanarak eğitim verilerini 2D tensöre dönüştürme: + +```python +train_data_timesteps=np.array([[j for j in train_data[i:i+timesteps]] for i in range(0,len(train_data)-timesteps+1)])[:,:,0] +train_data_timesteps.shape +``` + +```output +(1412, 5) +``` + +Test verilerini 2D tensöre dönüştürme: + +```python +test_data_timesteps=np.array([[j for j in test_data[i:i+timesteps]] for i in range(0,len(test_data)-timesteps+1)])[:,:,0] +test_data_timesteps.shape +``` + +```output +(44, 5) +``` + + Eğitim ve test verilerinden giriş ve çıkışları seçme: + +```python +x_train, y_train = train_data_timesteps[:,:timesteps-1],train_data_timesteps[:,[timesteps-1]] +x_test, y_test = test_data_timesteps[:,:timesteps-1],test_data_timesteps[:,[timesteps-1]] + +print(x_train.shape, y_train.shape) +print(x_test.shape, y_test.shape) +``` + +```output +(1412, 4) (1412, 1) +(44, 4) (44, 1) +``` + +### SVR'yi uygulayın [^1] + +Şimdi, SVR'yi uygulama zamanı. Bu uygulama hakkında daha fazla bilgi edinmek için [bu belgeleri](https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVR.html) inceleyebilirsiniz. Bizim uygulamamız için şu adımları takip ediyoruz: + + 1. `SVR()` and passing in the model hyperparameters: kernel, gamma, c and epsilon + 2. Prepare the model for the training data by calling the `fit()` function + 3. Make predictions calling the `predict()` fonksiyonlarını çağırarak modeli tanımlayın. + +Şimdi bir SVR modeli oluşturuyoruz. Burada [RBF çekirdeğini](https://scikit-learn.org/stable/modules/svm.html#parameters-of-the-rbf-kernel) kullanıyoruz ve hiperparametreleri gamma, C ve epsilon olarak sırasıyla 0.5, 10 ve 0.05 olarak ayarlıyoruz. + +```python +model = SVR(kernel='rbf',gamma=0.5, C=10, epsilon = 0.05) +``` + +#### Modeli eğitim verileri üzerinde eğitin [^1] + +```python +model.fit(x_train, y_train[:,0]) +``` + +```output +SVR(C=10, cache_size=200, coef0=0.0, degree=3, epsilon=0.05, gamma=0.5, + kernel='rbf', max_iter=-1, shrinking=True, tol=0.001, verbose=False) +``` + +#### Model tahminleri yapın [^1] + +```python +y_train_pred = model.predict(x_train).reshape(-1,1) +y_test_pred = model.predict(x_test).reshape(-1,1) + +print(y_train_pred.shape, y_test_pred.shape) +``` + +```output +(1412, 1) (44, 1) +``` + +SVR'nizi oluşturdunuz! Şimdi bunu değerlendirmemiz gerekiyor. + +### Modelinizi değerlendirin [^1] + +Değerlendirme için, önce verileri orijinal ölçeğimize geri ölçeklendireceğiz. Daha sonra performansı kontrol etmek için orijinal ve tahmin edilen zaman serisi grafiğini çizeceğiz ve MAPE sonucunu yazdıracağız. + +Tahmin edilen ve orijinal çıktıyı ölçeklendirin: + +```python +# Scaling the predictions +y_train_pred = scaler.inverse_transform(y_train_pred) +y_test_pred = scaler.inverse_transform(y_test_pred) + +print(len(y_train_pred), len(y_test_pred)) +``` + +```python +# Scaling the original values +y_train = scaler.inverse_transform(y_train) +y_test = scaler.inverse_transform(y_test) + +print(len(y_train), len(y_test)) +``` + +#### Eğitim ve test verileri üzerinde model performansını kontrol edin [^1] + +Grafiğimizin x ekseninde göstermek için veri setinden zaman damgalarını çıkarıyoruz. İlk ```timesteps-1``` değerlerini ilk çıktı için giriş olarak kullandığımızı unutmayın, bu nedenle çıktının zaman damgaları bundan sonra başlayacak. + +```python +train_timestamps = energy[(energy.index < test_start_dt) & (energy.index >= train_start_dt)].index[timesteps-1:] +test_timestamps = energy[test_start_dt:].index[timesteps-1:] + +print(len(train_timestamps), len(test_timestamps)) +``` + +```output +1412 44 +``` + +Eğitim verileri için tahminleri çizin: + +```python +plt.figure(figsize=(25,6)) +plt.plot(train_timestamps, y_train, color = 'red', linewidth=2.0, alpha = 0.6) +plt.plot(train_timestamps, y_train_pred, color = 'blue', linewidth=0.8) +plt.legend(['Actual','Predicted']) +plt.xlabel('Timestamp') +plt.title("Training data prediction") +plt.show() +``` + + + +Eğitim verileri için MAPE'yi yazdırın + +```python +print('MAPE for training data: ', mape(y_train_pred, y_train)*100, '%') +``` + +```output +MAPE for training data: 1.7195710200875551 % +``` + +Test verileri için tahminleri çizin + +```python +plt.figure(figsize=(10,3)) +plt.plot(test_timestamps, y_test, color = 'red', linewidth=2.0, alpha = 0.6) +plt.plot(test_timestamps, y_test_pred, color = 'blue', linewidth=0.8) +plt.legend(['Actual','Predicted']) +plt.xlabel('Timestamp') +plt.show() +``` + + + +Test verileri için MAPE'yi yazdırın + +```python +print('MAPE for testing data: ', mape(y_test_pred, y_test)*100, '%') +``` + +```output +MAPE for testing data: 1.2623790187854018 % +``` + +🏆 Test veri setinde çok iyi bir sonuç elde ettiniz! + +### Tüm veri seti üzerinde model performansını kontrol edin [^1] + +```python +# Extracting load values as numpy array +data = energy.copy().values + +# Scaling +data = scaler.transform(data) + +# Transforming to 2D tensor as per model input requirement +data_timesteps=np.array([[j for j in data[i:i+timesteps]] for i in range(0,len(data)-timesteps+1)])[:,:,0] +print("Tensor shape: ", data_timesteps.shape) + +# Selecting inputs and outputs from data +X, Y = data_timesteps[:,:timesteps-1],data_timesteps[:,[timesteps-1]] +print("X shape: ", X.shape,"\nY shape: ", Y.shape) +``` + +```output +Tensor shape: (26300, 5) +X shape: (26300, 4) +Y shape: (26300, 1) +``` + +```python +# Make model predictions +Y_pred = model.predict(X).reshape(-1,1) + +# Inverse scale and reshape +Y_pred = scaler.inverse_transform(Y_pred) +Y = scaler.inverse_transform(Y) +``` + +```python +plt.figure(figsize=(30,8)) +plt.plot(Y, color = 'red', linewidth=2.0, alpha = 0.6) +plt.plot(Y_pred, color = 'blue', linewidth=0.8) +plt.legend(['Actual','Predicted']) +plt.xlabel('Timestamp') +plt.show() +``` + + + +```python +print('MAPE: ', mape(Y_pred, Y)*100, '%') +``` + +```output +MAPE: 2.0572089029888656 % +``` + +🏆 Çok güzel grafikler, iyi bir doğruluğa sahip bir modeli gösteriyor. Aferin! + +--- + +## 🚀Meydan Okuma + +- Modeli oluştururken hiperparametreleri (gamma, C, epsilon) değiştirmeyi deneyin ve test verileri üzerinde hangi hiperparametre setinin en iyi sonuçları verdiğini görmek için değerlendirin. Bu hiperparametreler hakkında daha fazla bilgi edinmek için [buradaki belgeye](https://scikit-learn.org/stable/modules/svm.html#parameters-of-the-rbf-kernel) bakabilirsiniz. +- Model için farklı çekirdek fonksiyonları kullanmayı deneyin ve veri seti üzerindeki performanslarını analiz edin. Yardımcı bir belgeye [buradan](https://scikit-learn.org/stable/modules/svm.html#kernel-functions) ulaşabilirsiniz. +- Modelin tahmin yapması için geriye dönüp bakma adımı olan `timesteps` için farklı değerler kullanmayı deneyin. + +## [Ders Sonrası Test](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/52/) + +## Gözden Geçirme ve Kendi Kendine Çalışma + +Bu ders, Zaman Serisi Tahmini için SVR'nin uygulanmasını tanıtmak içindi. SVR hakkında daha fazla bilgi edinmek için [bu bloga](https://www.analyticsvidhya.com/blog/2020/03/support-vector-regression-tutorial-for-machine-learning/) başvurabilirsiniz. Bu [scikit-learn belgesi](https://scikit-learn.org/stable/modules/svm.html), genel olarak SVM'ler, [SVR'ler](https://scikit-learn.org/stable/modules/svm.html#regression) ve ayrıca kullanılabilecek farklı [çekirdek fonksiyonları](https://scikit-learn.org/stable/modules/svm.html#kernel-functions) ve bunların parametreleri gibi diğer uygulama detayları hakkında daha kapsamlı bir açıklama sunar. + +## Ödev + +[Yeni bir SVR modeli](assignment.md) + + + +## Katkıda Bulunanlar + +[^1]: Bu bölümdeki metin, kod ve çıktı [@AnirbanMukherjeeXD](https://github.com/AnirbanMukherjeeXD) tarafından katkıda bulunulmuştur. +[^2]: Bu bölümdeki metin, kod ve çıktı [ARIMA](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA) alınmıştır. + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal dili, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi tavsiye edilir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/7-TimeSeries/3-SVR/assignment.md b/translations/tr/7-TimeSeries/3-SVR/assignment.md new file mode 100644 index 000000000..bc7e1849a --- /dev/null +++ b/translations/tr/7-TimeSeries/3-SVR/assignment.md @@ -0,0 +1,16 @@ +# Yeni bir SVR modeli + +## Talimatlar [^1] + +Artık bir SVR modeli oluşturduğunuza göre, yeni verilerle yeni bir model oluşturun (Duke'ten [bu veri setlerinden birini](http://www2.stat.duke.edu/~mw/ts_data_sets.html) deneyin). Çalışmanızı bir not defterinde açıklayın, verileri ve modelinizi görselleştirin ve uygun grafikler ve MAPE kullanarak doğruluğunu test edin. Ayrıca farklı hiperparametreleri ayarlamayı ve zaman adımları için farklı değerler kullanmayı da deneyin. + +## Değerlendirme Kriterleri [^1] + +| Kriter | Örnek | Yeterli | Geliştirme Gerekli | +| -------- | ---------------------------------------------------------- | -------------------------------------------------------- | ----------------------------------- | +| | Bir SVR modelinin oluşturulduğu, test edildiği ve görselleştirmelerle ve doğruluk belirtilerek açıklandığı bir not defteri sunulur. | Sunulan not defteri açıklanmamış veya hatalar içeriyor. | Eksik bir not defteri sunulmuş. | + +[^1]: Bu bölümdeki metin, [ARIMA ödevinden](https://github.com/microsoft/ML-For-Beginners/tree/main/7-TimeSeries/2-ARIMA/assignment.md) alınmıştır. + +**Feragatname**: +Bu belge, makine tabanlı AI çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluğu sağlamak için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal dili, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilmektedir. Bu çevirinin kullanımından doğabilecek yanlış anlama veya yanlış yorumlamalardan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/7-TimeSeries/README.md b/translations/tr/7-TimeSeries/README.md new file mode 100644 index 000000000..a9b2e34fa --- /dev/null +++ b/translations/tr/7-TimeSeries/README.md @@ -0,0 +1,26 @@ +# Zaman Serisi Tahminine Giriş + +Zaman serisi tahmini nedir? Geçmişin trendlerini analiz ederek gelecekteki olayları tahmin etmekle ilgilidir. + +## Bölgesel konu: dünya çapında elektrik kullanımı ✨ + +Bu iki derste, makine öğreniminin biraz daha az bilinen, ancak endüstri ve iş uygulamaları gibi alanlar için son derece değerli olan bir alanı olan zaman serisi tahmini ile tanışacaksınız. Sinir ağları bu modellerin faydasını artırmak için kullanılabilirken, biz onları klasik makine öğrenimi bağlamında inceleyeceğiz çünkü modeller geçmişe dayanarak gelecekteki performansı tahmin etmeye yardımcı olur. + +Bölgesel odağımız dünya çapında elektrik kullanımıdır, geçmiş yük desenlerine dayanarak gelecekteki güç kullanımını tahmin etmeyi öğrenmek için ilginç bir veri setidir. Bu tür bir tahminin iş ortamında son derece yararlı olabileceğini görebilirsiniz. + + + +Fotoğraf [Peddi Sai hrithik](https://unsplash.com/@shutter_log?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText) tarafından Rajasthan'daki bir yolda elektrik kuleleri üzerine [Unsplash](https://unsplash.com/s/photos/electric-india?utm_source=unsplash&utm_medium=referral&utm_content=creditCopyText) üzerinde çekilmiştir. + +## Dersler + +1. [Zaman serisi tahminine giriş](1-Introduction/README.md) +2. [ARIMA zaman serisi modelleri oluşturma](2-ARIMA/README.md) +3. [Zaman serisi tahmini için Destek Vektör Regresörü oluşturma](3-SVR/README.md) + +## Katkıda Bulunanlar + +"Zaman serisi tahminine giriş" ⚡️ ile [Francesca Lazzeri](https://twitter.com/frlazzeri) ve [Jen Looper](https://twitter.com/jenlooper) tarafından yazılmıştır. Not defterleri ilk olarak [Azure "Deep Learning For Time Series" repo](https://github.com/Azure/DeepLearningForTimeSeriesForecasting)'da Francesca Lazzeri tarafından yazılmış olarak çevrimiçi olarak ortaya çıktı. SVR dersi [Anirban Mukherjee](https://github.com/AnirbanMukherjeeXD) tarafından yazılmıştır. + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal dili, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilmektedir. Bu çevirinin kullanımından doğabilecek herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/8-Reinforcement/1-QLearning/README.md b/translations/tr/8-Reinforcement/1-QLearning/README.md new file mode 100644 index 000000000..cdc4292d3 --- /dev/null +++ b/translations/tr/8-Reinforcement/1-QLearning/README.md @@ -0,0 +1,59 @@ +## Politikayı kontrol etme + +Q-Tablosu her durumdaki her eylemin "çekiciliğini" listeler, bu nedenle dünyamızda verimli navigasyonu tanımlamak oldukça kolaydır. En basit durumda, en yüksek Q-Tablosu değerine karşılık gelen eylemi seçebiliriz: (kod bloğu 9) + +```python +def qpolicy_strict(m): + x,y = m.human + v = probs(Q[x,y]) + a = list(actions)[np.argmax(v)] + return a + +walk(m,qpolicy_strict) +``` + +> Yukarıdaki kodu birkaç kez denerseniz, bazen "takıldığını" ve kesmek için not defterindeki DURDUR düğmesine basmanız gerektiğini fark edebilirsiniz. Bu, iki durumun optimal Q-Değeri açısından birbirine "işaret ettiği" durumlar olabileceğinden, bu durumda ajan bu durumlar arasında sonsuz bir şekilde hareket etmeye başlar. + +## 🚀Meydan Okuma + +> **Görev 1:** `walk` function to limit the maximum length of path by a certain number of steps (say, 100), and watch the code above return this value from time to time. + +> **Task 2:** Modify the `walk` function so that it does not go back to the places where it has already been previously. This will prevent `walk` from looping, however, the agent can still end up being "trapped" in a location from which it is unable to escape. + +## Navigation + +A better navigation policy would be the one that we used during training, which combines exploitation and exploration. In this policy, we will select each action with a certain probability, proportional to the values in the Q-Table. This strategy may still result in the agent returning back to a position it has already explored, but, as you can see from the code below, it results in a very short average path to the desired location (remember that `print_statistics` simülasyonu 100 kez çalıştıracak şekilde değiştirin: (kod bloğu 10) + +```python +def qpolicy(m): + x,y = m.human + v = probs(Q[x,y]) + a = random.choices(list(actions),weights=v)[0] + return a + +print_statistics(qpolicy) +``` + +Bu kodu çalıştırdıktan sonra, önceki ortalama yol uzunluğundan çok daha küçük bir ortalama yol uzunluğu elde etmelisiniz, 3-6 aralığında. + +## Öğrenme sürecini araştırma + +Belirttiğimiz gibi, öğrenme süreci, problem alanının yapısı hakkında elde edilen bilgilerin keşfi ve keşfi arasında bir dengedir. Öğrenme sonuçlarının (bir ajanın hedefe kısa bir yol bulma yeteneği) iyileştiğini gördük, ancak öğrenme sürecinde ortalama yol uzunluğunun nasıl davrandığını gözlemlemek de ilginçtir: + +Öğrenilenler şu şekilde özetlenebilir: + +- **Ortalama yol uzunluğu artar**. Burada gördüğümüz şey, başlangıçta ortalama yol uzunluğunun arttığıdır. Bu, çevre hakkında hiçbir şey bilmediğimizde, kötü durumlara, suya veya kurda yakalanma olasılığımızın yüksek olması nedeniyle olabilir. Daha fazla bilgi edindikçe ve bu bilgiyi kullanmaya başladıkça, çevreyi daha uzun süre keşfedebiliriz, ancak elma nerede olduğunu hala çok iyi bilmiyoruz. + +- **Öğrendikçe yol uzunluğu azalır**. Yeterince öğrendiğimizde, ajanın hedefe ulaşması daha kolay hale gelir ve yol uzunluğu azalmaya başlar. Ancak, keşfe hala açığız, bu yüzden genellikle en iyi yoldan saparız ve yeni seçenekleri keşfederiz, bu da yolu optimalden daha uzun hale getirir. + +- **Uzunluk ani bir şekilde artar**. Bu grafikte ayrıca, bir noktada uzunluğun ani bir şekilde arttığını gözlemliyoruz. Bu, sürecin stokastik doğasını ve bir noktada Q-Tablosu katsayılarını yeni değerlerle üzerine yazarak "bozabileceğimizi" gösterir. Bu, ideal olarak öğrenme oranını azaltarak en aza indirilmelidir (örneğin, eğitimin sonuna doğru, Q-Tablosu değerlerini sadece küçük bir değerle ayarlayarak). + +Genel olarak, öğrenme sürecinin başarısı ve kalitesinin, öğrenme oranı, öğrenme oranı düşüşü ve indirim faktörü gibi parametrelere önemli ölçüde bağlı olduğunu hatırlamak önemlidir. Bunlar genellikle **hiperparametreler** olarak adlandırılır, çünkü eğitim sırasında optimize ettiğimiz **parametrelerden** (örneğin, Q-Tablosu katsayıları) farklıdır. En iyi hiperparametre değerlerini bulma sürecine **hiperparametre optimizasyonu** denir ve ayrı bir konuyu hak eder. + +## [Ders sonrası quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/46/) + +## Ödev +[Daha Gerçekçi Bir Dünya](assignment.md) + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba sarf etsek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belge, kendi dilinde yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/8-Reinforcement/1-QLearning/assignment.md b/translations/tr/8-Reinforcement/1-QLearning/assignment.md new file mode 100644 index 000000000..c2c6c4a12 --- /dev/null +++ b/translations/tr/8-Reinforcement/1-QLearning/assignment.md @@ -0,0 +1,28 @@ +# Daha Gerçekçi Bir Dünya + +Bizim durumumuzda, Peter neredeyse hiç yorulmadan veya acıkmadan dolaşabiliyordu. Daha gerçekçi bir dünyada, arada bir oturup dinlenmesi ve kendini beslemesi gerekecek. Dünyamızı daha gerçekçi hale getirelim ve aşağıdaki kuralları uygulayalım: + +1. Bir yerden bir yere hareket ederek, Peter **enerji** kaybeder ve biraz **yorgunluk** kazanır. +2. Peter elma yiyerek daha fazla enerji kazanabilir. +3. Peter, ağacın altında veya çimenlerin üzerinde dinlenerek yorgunluğundan kurtulabilir (yani, tahtada bir ağaç veya çimen bulunan bir yere yürüyerek - yeşil alan) +4. Peter, kurdu bulup öldürmek zorunda. +5. Kurdu öldürmek için, Peter'ın belirli seviyelerde enerji ve yorgunluğa sahip olması gerekir, aksi takdirde savaşı kaybeder. +## Talimatlar + +Çözümünüz için başlangıç noktası olarak orijinal [notebook.ipynb](../../../../8-Reinforcement/1-QLearning/notebook.ipynb) defterini kullanın. + +Ödül fonksiyonunu oyunun kurallarına göre yukarıda belirtildiği şekilde değiştirin, pekiştirmeli öğrenme algoritmasını çalıştırarak oyunu kazanmak için en iyi stratejiyi öğrenin ve rastgele yürüyüş ile algoritmanızın sonuçlarını, kazanılan ve kaybedilen oyun sayısı açısından karşılaştırın. + +> **Note**: Yeni dünyanızda, durum daha karmaşıktır ve insan pozisyonuna ek olarak yorgunluk ve enerji seviyelerini de içerir. Durumu bir demet (Tahta, enerji, yorgunluk) olarak temsil etmeyi seçebilir veya durum için bir sınıf tanımlayabilirsiniz (bunu `Board`'dan türetmek isteyebilirsiniz), ya da orijinal `Board` sınıfını [rlboard.py](../../../../8-Reinforcement/1-QLearning/rlboard.py) içinde değiştirebilirsiniz. + +Çözümünüzde, rastgele yürüyüş stratejisinden sorumlu olan kodu koruyun ve algoritmanızın sonuçlarını rastgele yürüyüş ile sonunda karşılaştırın. + +> **Note**: Çalışması için hiperparametreleri ayarlamanız gerekebilir, özellikle epoch sayısını. Oyunun başarısı (kurtla savaşma) nadir bir olay olduğu için, çok daha uzun eğitim süresi bekleyebilirsiniz. +## Değerlendirme Kriterleri + +| Kriterler | Örnek | Yeterli | Geliştirmeye İhtiyaç Var | +| --------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------ | +| | Yeni dünya kurallarının tanımı, Q-Öğrenme algoritması ve bazı metinsel açıklamalar içeren bir defter sunulmuştur. Q-Öğrenme, rastgele yürüyüşle karşılaştırıldığında sonuçları önemli ölçüde iyileştirebilir. | Defter sunulmuş, Q-Öğrenme uygulanmış ve rastgele yürüyüşle karşılaştırıldığında sonuçları iyileştirmiş, ancak önemli ölçüde değil; ya da defter kötü belgelenmiş ve kod iyi yapılandırılmamış | Dünyanın kurallarını yeniden tanımlamak için bazı girişimlerde bulunulmuş, ancak Q-Öğrenme algoritması çalışmıyor veya ödül fonksiyonu tam olarak tanımlanmamış | + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belge, kendi dilinde yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından doğabilecek herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/8-Reinforcement/1-QLearning/solution/Julia/README.md b/translations/tr/8-Reinforcement/1-QLearning/solution/Julia/README.md new file mode 100644 index 000000000..29676d329 --- /dev/null +++ b/translations/tr/8-Reinforcement/1-QLearning/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba sarf etsek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal dilindeki hali, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilmektedir. Bu çevirinin kullanımından doğabilecek yanlış anlama veya yanlış yorumlamalardan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/8-Reinforcement/1-QLearning/solution/R/README.md b/translations/tr/8-Reinforcement/1-QLearning/solution/R/README.md new file mode 100644 index 000000000..c1ca5e02a --- /dev/null +++ b/translations/tr/8-Reinforcement/1-QLearning/solution/R/README.md @@ -0,0 +1,4 @@ + + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Orijinal belgenin kendi dilindeki hali yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/8-Reinforcement/2-Gym/README.md b/translations/tr/8-Reinforcement/2-Gym/README.md new file mode 100644 index 000000000..f9ea78a3f --- /dev/null +++ b/translations/tr/8-Reinforcement/2-Gym/README.md @@ -0,0 +1,343 @@ +# CartPole Pateni + +Önceki derste çözmekte olduğumuz problem, gerçek hayat senaryolarına pek uygulanabilir olmayan bir oyuncak problem gibi görünebilir. Ancak durum böyle değil, çünkü birçok gerçek dünya problemi de bu senaryoyu paylaşır - Satranç veya Go oynamak da dahil. Bunlar benzerdir çünkü verilen kurallara sahip bir tahtamız ve **ayrık bir durumumuz** vardır. + +## [Ders Öncesi Quiz](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/47/) + +## Giriş + +Bu derste, Q-Öğrenme prensiplerini **sürekli durum** olan bir probleme uygulayacağız, yani bir veya daha fazla gerçek sayı ile verilen bir duruma. Aşağıdaki problemle ilgileneceğiz: + +> **Problem**: Peter kurtlardan kaçmak istiyorsa daha hızlı hareket edebilmelidir. Peter'ın kaymayı, özellikle dengeyi korumayı, Q-Öğrenme kullanarak nasıl öğrenebileceğini göreceğiz. + + + +> Peter ve arkadaşları kurtlardan kaçmak için yaratıcı oluyorlar! Görsel: [Jen Looper](https://twitter.com/jenlooper) + +Dengelemeyi basitleştirilmiş bir versiyon olan **CartPole** problemi olarak kullanacağız. CartPole dünyasında, sola veya sağa hareket edebilen yatay bir kaydırıcımız var ve amaç, kaydırıcının üstündeki dikey direği dengelemek. +Ekim 2023'e kadar olan verilere dayalı olarak eğitildiniz. + +## Ön Gereksinimler + +Bu derste, farklı **ortamları** simüle etmek için **OpenAI Gym** adlı bir kütüphane kullanacağız. Bu dersin kodunu yerel olarak (örneğin, Visual Studio Code'dan) çalıştırabilirsiniz, bu durumda simülasyon yeni bir pencerede açılacaktır. Kodu çevrimiçi çalıştırırken, kodda bazı değişiklikler yapmanız gerekebilir, bu durum [burada](https://towardsdatascience.com/rendering-openai-gym-envs-on-binder-and-google-colab-536f99391cc7) açıklanmıştır. + +## OpenAI Gym + +Önceki derste, oyunun kuralları ve durum, kendimiz tanımladığımız `Board` sınıfı tarafından verilmişti. Burada, denge direğinin arkasındaki fiziği simüle edecek özel bir **simülasyon ortamı** kullanacağız. Takviye öğrenme algoritmalarını eğitmek için en popüler simülasyon ortamlarından biri, [OpenAI](https://openai.com/) tarafından sürdürülen [Gym](https://gym.openai.com/) adlı bir ortamdır. Bu gym'i kullanarak, cartpole simülasyonundan Atari oyunlarına kadar farklı **ortamlar** oluşturabiliriz. + +> **Not**: OpenAI Gym tarafından sunulan diğer ortamları [buradan](https://gym.openai.com/envs/#classic_control) görebilirsiniz. + +İlk olarak, gym'i yükleyelim ve gerekli kütüphaneleri içe aktaralım (kod bloğu 1): + +```python +import sys +!{sys.executable} -m pip install gym + +import gym +import matplotlib.pyplot as plt +import numpy as np +import random +``` + +## Egzersiz - bir cartpole ortamı başlatma + +Cartpole dengeleme problemi ile çalışmak için ilgili ortamı başlatmamız gerekiyor. Her ortam şunlarla ilişkilidir: + +- **Gözlem alanı**: Ortamdan aldığımız bilgilerin yapısını tanımlar. Cartpole problemi için, direğin konumu, hızı ve bazı diğer değerleri alırız. + +- **Eylem alanı**: Olası eylemleri tanımlar. Bizim durumumuzda eylem alanı ayrık olup, iki eylemden oluşur - **sol** ve **sağ**. (kod bloğu 2) + +1. Başlatmak için aşağıdaki kodu yazın: + + ```python + env = gym.make("CartPole-v1") + print(env.action_space) + print(env.observation_space) + print(env.action_space.sample()) + ``` + +Ortamın nasıl çalıştığını görmek için, 100 adımlık kısa bir simülasyon çalıştıralım. Her adımda, alınacak bir eylemi sağlıyoruz - bu simülasyonda `action_space`'ten rastgele bir eylem seçiyoruz. + +1. Aşağıdaki kodu çalıştırın ve neye yol açtığını görün. + + ✅ Bu kodu yerel Python kurulumunda çalıştırmanız tercih edilir! (kod bloğu 3) + + ```python + env.reset() + + for i in range(100): + env.render() + env.step(env.action_space.sample()) + env.close() + ``` + + Şuna benzer bir şey görmelisiniz: + +  + +1. Simülasyon sırasında, nasıl hareket edileceğine karar vermek için gözlemler almamız gerekir. Aslında, step fonksiyonu mevcut gözlemleri, bir ödül fonksiyonunu ve simülasyonun devam edip etmeyeceğini belirten done bayrağını döndürür: (kod bloğu 4) + + ```python + env.reset() + + done = False + while not done: + env.render() + obs, rew, done, info = env.step(env.action_space.sample()) + print(f"{obs} -> {rew}") + env.close() + ``` + + Not defterinin çıktısında buna benzer bir şey görmelisiniz: + + ```text + [ 0.03403272 -0.24301182 0.02669811 0.2895829 ] -> 1.0 + [ 0.02917248 -0.04828055 0.03248977 0.00543839] -> 1.0 + [ 0.02820687 0.14636075 0.03259854 -0.27681916] -> 1.0 + [ 0.03113408 0.34100283 0.02706215 -0.55904489] -> 1.0 + [ 0.03795414 0.53573468 0.01588125 -0.84308041] -> 1.0 + ... + [ 0.17299878 0.15868546 -0.20754175 -0.55975453] -> 1.0 + [ 0.17617249 0.35602306 -0.21873684 -0.90998894] -> 1.0 + ``` + + Simülasyonun her adımında döndürülen gözlem vektörü şu değerleri içerir: + - Arabanın konumu + - Arabanın hızı + - Direğin açısı + - Direğin dönme hızı + +1. Bu sayıların minimum ve maksimum değerlerini alın: (kod bloğu 5) + + ```python + print(env.observation_space.low) + print(env.observation_space.high) + ``` + + Ayrıca, her simülasyon adımında ödül değerinin her zaman 1 olduğunu fark edebilirsiniz. Bunun nedeni, amacımızın mümkün olduğunca uzun süre hayatta kalmak, yani direği makul bir dikey pozisyonda en uzun süre tutmaktır. + + ✅ Aslında, CartPole simülasyonu, 100 ardışık denemede 195 ortalama ödül elde etmeyi başardığımızda çözülmüş kabul edilir. + +## Durum ayrıklaştırma + +Q-Öğrenme'de, her durumda ne yapacağımızı tanımlayan bir Q-Tablosu oluşturmamız gerekir. Bunu yapabilmek için, durumun **ayrık** olması gerekir, daha kesin olarak, sonlu sayıda ayrık değer içermelidir. Bu nedenle, gözlemlerimizi **ayrıklaştırmamız** ve bunları sonlu bir durum kümesine eşlememiz gerekir. + +Bunu yapmanın birkaç yolu vardır: + +- **Kovalar halinde bölme**. Belirli bir değerin aralığını biliyorsak, bu aralığı bir dizi **kovaya** bölebiliriz ve ardından değeri ait olduğu kova numarasıyla değiştirebiliriz. Bu, numpy [`digitize`](https://numpy.org/doc/stable/reference/generated/numpy.digitize.html) yöntemi kullanılarak yapılabilir. Bu durumda, durum boyutunu kesin olarak bileceğiz, çünkü bu, dijitalleştirme için seçtiğimiz kova sayısına bağlı olacaktır. + +✅ Değerleri belirli bir sonlu aralığa (örneğin, -20'den 20'ye) getirmek için lineer enterpolasyon kullanabiliriz ve ardından sayıları yuvarlayarak tamsayıya dönüştürebiliriz. Bu bize durum boyutu üzerinde biraz daha az kontrol sağlar, özellikle de giriş değerlerinin kesin aralıklarını bilmiyorsak. Örneğin, bizim durumumuzda 4 değerden 2'sinin değerlerinde üst/alt sınırlar yoktur, bu da sonsuz sayıda duruma neden olabilir. + +Örneğimizde, ikinci yaklaşımı kullanacağız. Daha sonra fark edeceğiniz gibi, tanımlanmamış üst/alt sınırlara rağmen, bu değerler nadiren belirli sonlu aralıkların dışında değerler alır, bu nedenle aşırı değerli durumlar çok nadir olacaktır. + +1. Modelimizden gözlemi alacak ve 4 tamsayı değerinden oluşan bir demet üretecek fonksiyon burada: (kod bloğu 6) + + ```python + def discretize(x): + return tuple((x/np.array([0.25, 0.25, 0.01, 0.1])).astype(np.int)) + ``` + +1. Kovalar kullanarak başka bir ayrıklaştırma yöntemini de inceleyelim: (kod bloğu 7) + + ```python + def create_bins(i,num): + return np.arange(num+1)*(i[1]-i[0])/num+i[0] + + print("Sample bins for interval (-5,5) with 10 bins\n",create_bins((-5,5),10)) + + ints = [(-5,5),(-2,2),(-0.5,0.5),(-2,2)] # intervals of values for each parameter + nbins = [20,20,10,10] # number of bins for each parameter + bins = [create_bins(ints[i],nbins[i]) for i in range(4)] + + def discretize_bins(x): + return tuple(np.digitize(x[i],bins[i]) for i in range(4)) + ``` + +1. Şimdi kısa bir simülasyon çalıştıralım ve bu ayrık ortam değerlerini gözlemleyelim. Hem `discretize` and `discretize_bins` kullanmayı deneyin ve fark olup olmadığını görün. + + ✅ discretize_bins, kova numarasını döndürür, bu 0 tabanlıdır. Dolayısıyla, giriş değişkeninin etrafındaki değerler için 0, aralığın ortasındaki numarayı (10) döndürür. Discretize'de, çıktı değerlerinin aralığını önemsemedik, negatif olmalarına izin verdik, bu nedenle durum değerleri kaydırılmamış ve 0, 0'a karşılık gelir. (kod bloğu 8) + + ```python + env.reset() + + done = False + while not done: + #env.render() + obs, rew, done, info = env.step(env.action_space.sample()) + #print(discretize_bins(obs)) + print(discretize(obs)) + env.close() + ``` + + ✅ Ortamın nasıl çalıştığını görmek istiyorsanız env.render ile başlayan satırı yorumdan çıkarın. Aksi takdirde arka planda çalıştırabilirsiniz, bu daha hızlıdır. Q-Öğrenme sürecimiz sırasında bu "görünmez" yürütmeyi kullanacağız. + +## Q-Tablosu yapısı + +Önceki dersimizde, durum 0'dan 8'e kadar olan basit bir sayı çiftiydi ve bu nedenle Q-Tablosunu 8x8x2 şeklinde bir numpy tensörü ile temsil etmek uygundu. Kovalar ayrıklaştırmasını kullanırsak, durum vektörümüzün boyutu da bilinir, bu yüzden aynı yaklaşımı kullanabiliriz ve durumu 20x20x10x10x2 şeklinde bir dizi ile temsil edebiliriz (burada 2, eylem alanının boyutudur ve ilk boyutlar gözlem alanındaki her parametre için kullanmayı seçtiğimiz kova sayısına karşılık gelir). + +Ancak, bazen gözlem alanının kesin boyutları bilinmez. `discretize` fonksiyonu durumunda, bazı orijinal değerler bağlanmadığı için durumun belirli sınırlar içinde kaldığından asla emin olamayabiliriz. Bu nedenle, biraz farklı bir yaklaşım kullanacağız ve Q-Tablosunu bir sözlükle temsil edeceğiz. + +1. *(state,action)* çiftini sözlük anahtarı olarak kullanın ve değer Q-Tablosu giriş değerine karşılık gelir. (kod bloğu 9) + + ```python + Q = {} + actions = (0,1) + + def qvalues(state): + return [Q.get((state,a),0) for a in actions] + ``` + + Burada, belirli bir durum için Q-Tablosu değerlerinin bir listesini döndüren `qvalues()` fonksiyonunu da tanımlıyoruz, bu tüm olası eylemlere karşılık gelir. Giriş Q-Tablosunda mevcut değilse, varsayılan olarak 0 döndüreceğiz. + +## Q-Öğrenmeye Başlayalım + +Şimdi Peter'a dengeyi öğretmeye hazırız! + +1. İlk olarak, bazı hiperparametreleri ayarlayalım: (kod bloğu 10) + + ```python + # hyperparameters + alpha = 0.3 + gamma = 0.9 + epsilon = 0.90 + ``` + + Burada, `alpha` is the **learning rate** that defines to which extent we should adjust the current values of Q-Table at each step. In the previous lesson we started with 1, and then decreased `alpha` to lower values during training. In this example we will keep it constant just for simplicity, and you can experiment with adjusting `alpha` values later. + + `gamma` is the **discount factor** that shows to which extent we should prioritize future reward over current reward. + + `epsilon` is the **exploration/exploitation factor** that determines whether we should prefer exploration to exploitation or vice versa. In our algorithm, we will in `epsilon` percent of the cases select the next action according to Q-Table values, and in the remaining number of cases we will execute a random action. This will allow us to explore areas of the search space that we have never seen before. + + ✅ In terms of balancing - choosing random action (exploration) would act as a random punch in the wrong direction, and the pole would have to learn how to recover the balance from those "mistakes" + +### Improve the algorithm + +We can also make two improvements to our algorithm from the previous lesson: + +- **Calculate average cumulative reward**, over a number of simulations. We will print the progress each 5000 iterations, and we will average out our cumulative reward over that period of time. It means that if we get more than 195 point - we can consider the problem solved, with even higher quality than required. + +- **Calculate maximum average cumulative result**, `Qmax`, and we will store the Q-Table corresponding to that result. When you run the training you will notice that sometimes the average cumulative result starts to drop, and we want to keep the values of Q-Table that correspond to the best model observed during training. + +1. Collect all cumulative rewards at each simulation at `rewards` vektörünü daha sonra çizim için saklıyoruz. (kod bloğu 11) + + ```python + def probs(v,eps=1e-4): + v = v-v.min()+eps + v = v/v.sum() + return v + + Qmax = 0 + cum_rewards = [] + rewards = [] + for epoch in range(100000): + obs = env.reset() + done = False + cum_reward=0 + # == do the simulation == + while not done: + s = discretize(obs) + if random.random()- [Python](2-Regression/1-Tools/README.md)
- [R](../../2-Regression/1-Tools/solution/R/lesson_1.html)
- Jen
- Eric Wanjau
- [Python](2-Regression/2-Data/README.md)
- [R](../../2-Regression/2-Data/solution/R/lesson_2.html)
- Jen
- Eric Wanjau
- [Python](2-Regression/3-Linear/README.md)
- [R](../../2-Regression/3-Linear/solution/R/lesson_3.html)
- Jen ve Dmitry
- Eric Wanjau
- [Python](2-Regression/4-Logistic/README.md)
- [R](../../2-Regression/4-Logistic/solution/R/lesson_4.html)
- Jen
- Eric Wanjau
- [Python](4-Classification/1-Introduction/README.md)
- [R](../../4-Classification/1-Introduction/solution/R/lesson_10.html) |
- Jen ve Cassie
- Eric Wanjau
- [Python](4-Classification/2-Classifiers-1/README.md)
- [R](../../4-Classification/2-Classifiers-1/solution/R/lesson_11.html) |
- Jen ve Cassie
- Eric Wanjau
- [Python](4-Classification/3-Classifiers-2/README.md)
- [R](../../4-Classification/3-Classifiers-2/solution/R/lesson_12.html) |
- Jen ve Cassie
- Eric Wanjau
- [Python](5-Clustering/1-Visualize/README.md)
- [R](../../5-Clustering/1-Visualize/solution/R/lesson_14.html) |
- Jen
- Eric Wanjau
- [Python](5-Clustering/2-K-Means/README.md)
- [R](../../5-Clustering/2-K-Means/solution/R/lesson_15.html) |
- Jen
- Eric Wanjau
.yml). Bu iş akışı yapı ve dağıtım sürecini yönetecektir. + +6. Dağıtımı İzleyin +GitHub deponuzdaki "Actions" sekmesine gidin. +Bir iş akışının çalıştığını görmelisiniz. Bu iş akışı, statik web uygulamanızı Azure'a yapılandıracak ve dağıtacaktır. +İş akışı tamamlandığında, uygulamanız sağlanan Azure URL'sinde canlı olacaktır. + +### Örnek İş Akışı Dosyası + +İşte GitHub Actions iş akışı dosyasının nasıl görünebileceğine dair bir örnek: +name: Azure Static Web Apps CI/CD +``` +on: + push: + branches: + - main + pull_request: + types: [opened, synchronize, reopened, closed] + branches: + - main + +jobs: + build_and_deploy_job: + runs-on: ubuntu-latest + name: Build and Deploy Job + steps: + - uses: actions/checkout@v2 + - name: Build And Deploy + id: builddeploy + uses: Azure/static-web-apps-deploy@v1 + with: + azure_static_web_apps_api_token: ${{ secrets.AZURE_STATIC_WEB_APPS_API_TOKEN }} + repo_token: ${{ secrets.GITHUB_TOKEN }} + action: "upload" + app_location: "/quiz-app" # App source code path + api_location: ""API source code path optional + output_location: "dist" #Built app content directory - optional +``` + +### Ek Kaynaklar +- [Azure Statik Web Uygulamaları Dokümantasyonu](https://learn.microsoft.com/azure/static-web-apps/getting-started) +- [GitHub Actions Dokümantasyonu](https://docs.github.com/actions/use-cases-and-examples/deploying/deploying-to-azure-static-web-app) + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal diliyle yazılmış hali, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi önerilir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/sketchnotes/LICENSE.md b/translations/tr/sketchnotes/LICENSE.md new file mode 100644 index 000000000..eac23fc89 --- /dev/null +++ b/translations/tr/sketchnotes/LICENSE.md @@ -0,0 +1,278 @@ +Attribution-ShareAlike 4.0 Uluslararası + +======================================================================= + +Creative Commons Corporation ("Creative Commons") bir hukuk firması değildir ve +hukuki hizmet veya danışmanlık sağlamaz. Creative Commons kamu lisanslarının +dağıtılması, avukat-müvekkil veya başka bir ilişki yaratmaz. Creative Commons, +lisanslarını ve ilgili bilgileri "olduğu gibi" sunar. Creative Commons, +lisansları, bu lisanslar altında lisanslanan herhangi bir materyal veya ilgili +bilgiler hakkında hiçbir garanti vermez. Creative Commons, kullanımlarından +kaynaklanan zararlardan sorumluluğunu mümkün olan en geniş ölçüde reddeder. + +Creative Commons Kamu Lisanslarının Kullanımı + +Creative Commons kamu lisansları, yazarların ve diğer hak sahiplerinin telif +hakkı ve aşağıda belirtilen belirli diğer haklara tabi orijinal eserleri ve +diğer materyalleri paylaşmak için kullanabileceği standart bir terim ve +koşul seti sağlar. Aşağıdaki hususlar yalnızca bilgilendirme amaçlıdır, +kapsamlı değildir ve lisanslarımızın bir parçasını oluşturmaz. + + Lisans verenler için hususlar: Kamu lisanslarımız, + telif hakkı ve belirli diğer haklar tarafından kısıtlanmış materyalin + kamu tarafından kullanılmasına izin vermek için yetkilendirilmiş + kişiler tarafından kullanılmak üzere tasarlanmıştır. Lisanslarımız + geri alınamaz. Lisans verenler, bir lisansı uygulamadan önce seçtikleri + lisansın şartlarını ve koşullarını okumalı ve anlamalıdır. Lisans verenler, + lisanslarımızı uygulamadan önce tüm gerekli hakları güvence altına almalıdır, + böylece kamu beklenildiği gibi materyali yeniden kullanabilir. Lisans verenler, + lisansa tabi olmayan herhangi bir materyali açıkça işaretlemelidir. Bu, + diğer CC lisanslı materyalleri veya telif hakkı istisnası veya sınırlaması + altında kullanılan materyalleri içerir. Lisans verenler için daha fazla husus: + wiki.creativecommons.org/Considerations_for_licensors + + Kamu için hususlar: Kamu lisanslarımızdan birini kullanarak, + lisans veren, lisanslı materyali belirli terim ve koşullar altında + kullanma izni verir. Lisans verenin izni herhangi bir nedenle gerekli + değilse - örneğin, geçerli bir istisna veya telif hakkı sınırlaması nedeniyle - + bu kullanım lisans tarafından düzenlenmez. Lisanslarımız yalnızca telif hakkı + ve lisans verenin yetki verdiği belirli diğer haklar altında izin verir. + Lisanslı materyalin kullanımı, başkalarının materyalde telif hakkı veya + diğer haklara sahip olması gibi diğer nedenlerle hala kısıtlanabilir. + Lisans veren, tüm değişikliklerin işaretlenmesi veya tanımlanması gibi + özel taleplerde bulunabilir. Lisanslarımız tarafından zorunlu kılınmamakla + birlikte, bu taleplere makul olduğu sürece saygı göstermeniz teşvik edilir. + Kamu için daha fazla husus: + wiki.creativecommons.org/Considerations_for_licensees + +======================================================================= + +Creative Commons Attribution-ShareAlike 4.0 Uluslararası Kamu Lisansı + +Lisanslı Hakları (aşağıda tanımlanmıştır) kullanarak, bu Creative Commons +Attribution-ShareAlike 4.0 Uluslararası Kamu Lisansı ("Kamu Lisansı") +şart ve koşullarına bağlı olmayı kabul edersiniz. Bu Kamu Lisansı bir +sözleşme olarak yorumlanabiliyorsa, bu şart ve koşulları kabul etmeniz +karşılığında Lisanslı Haklar size verilir ve Lisans veren, Lisanslı +Materyali bu şartlar ve koşullar altında sunmanın getirdiği faydalar +karşılığında size bu hakları verir. + +Bölüm 1 -- Tanımlar. + + a. Uyarlanmış Materyal, Lisans Verenin elinde bulundurduğu Telif Hakkı + ve Benzer Haklar kapsamında izin gerektiren bir şekilde Lisanslı + Materyal'den türetilen veya buna dayalı olan ve Lisanslı Materyalin + çevrildiği, değiştirildiği, düzenlendiği, dönüştürüldüğü veya başka + şekilde değiştirildiği materyal anlamına gelir. Bu Kamu Lisansı + amaçları doğrultusunda, Lisanslı Materyal bir müzik eseri, performans + veya ses kaydı ise, Lisanslı Materyal hareketli bir görüntü ile + zamanlı ilişki içinde senkronize edildiğinde her zaman Uyarlanmış + Materyal üretilir. + + b. Uyarlayıcı Lisansı, bu Kamu Lisansı'nın şart ve koşullarına uygun + olarak Uyarlanmış Materyale katkılarınızda Telif Hakkı ve Benzer + Haklarınızı uyguladığınız lisans anlamına gelir. + + c. BY-SA Uyumlu Lisans, creativecommons.org/compatiblelicenses adresinde + listelenen ve Creative Commons tarafından bu Kamu Lisansı'nın esasen + eşdeğeri olarak onaylanan bir lisans anlamına gelir. + + d. Telif Hakkı ve Benzer Haklar, performans, yayın, ses kaydı ve Sui + Generis Veritabanı Hakları dahil ancak bunlarla sınırlı olmamak üzere, + telif hakkına yakından bağlı telif hakkı ve/veya benzer haklar anlamına + gelir. Bu Kamu Lisansı amaçları doğrultusunda, Bölüm 2(b)(1)-(2)'de + belirtilen haklar Telif Hakkı ve Benzer Haklar değildir. + + e. Etkili Teknolojik Önlemler, uygun yetki olmadan 20 Aralık 1996'da + kabul edilen WIPO Telif Hakkı Antlaşması'nın 11. Maddesi ve/veya benzer + uluslararası anlaşmalar kapsamındaki yükümlülükleri yerine getiren + yasalara göre aşılmaması gereken önlemler anlamına gelir. + + f. İstisnalar ve Sınırlamalar, Lisanslı Materyali kullanmanız için + geçerli olan adil kullanım, adil işlem ve/veya diğer herhangi bir + telif hakkı ve benzer haklar istisnası veya sınırlaması anlamına gelir. + + g. Lisans Unsurları, bir Creative Commons Kamu Lisansı'nın adında listelenen + lisans nitelikleri anlamına gelir. Bu Kamu Lisansı'nın Lisans Unsurları + Atıf ve PaylaşımAlike'dır. + + h. Lisanslı Materyal, Lisans Verenin bu Kamu Lisansı'nı uyguladığı sanatsal + veya edebi eser, veritabanı veya diğer materyal anlamına gelir. + + i. Lisanslı Haklar, bu Kamu Lisansı'nın şart ve koşullarına tabi olarak + size verilen haklar anlamına gelir ve Lisans Verenin lisans verme yetkisine + sahip olduğu ve Lisanslı Materyali kullanmanız için geçerli olan tüm Telif + Hakkı ve Benzer Haklarla sınırlıdır. + + j. Lisans Veren, bu Kamu Lisansı kapsamında haklar veren birey(ler) veya + kuruluş(lar) anlamına gelir. + + k. Paylaşmak, çoğaltma, kamuya açık gösterim, kamuya açık performans, dağıtım, + yayma, iletişim veya ithalat gibi Lisanslı Haklar kapsamında izin gerektiren + herhangi bir araç veya süreçle materyali halka sunmak ve materyali kamuya, + bireylerin kendi seçtikleri yer ve zamanda erişebilecekleri şekilde sunmak + anlamına gelir. + + l. Sui Generis Veritabanı Hakları, 11 Mart 1996 tarihli Avrupa Parlamentosu + ve Konseyi'nin 96/9/EC Yönergesi'nden kaynaklanan ve değiştirilen ve/veya + yerine geçen, dünyanın herhangi bir yerindeki diğer esasen eşdeğer haklar + anlamına gelir. + + m. Siz, bu Kamu Lisansı altında Lisanslı Hakları kullanan birey veya kuruluş + anlamına gelir. "Sizin" de buna karşılık gelen bir anlamı vardır. + +Bölüm 2 -- Kapsam. + + a. Lisans verme. + + 1. Bu Kamu Lisansı'nın şart ve koşullarına tabi olarak, Lisans Veren, + size dünya çapında, telif ücretsiz, alt lisans verilemez, münhasır + olmayan, geri alınamaz bir lisans vererek Lisanslı Hakları Lisanslı + Materyal üzerinde kullanmanızı sağlar: + + a. Lisanslı Materyali, tamamen veya kısmen çoğaltmak ve paylaşmak; ve + + b. Uyarlanmış Materyal üretmek, çoğaltmak ve paylaşmak. + + 2. İstisnalar ve Sınırlamalar. İstisnalar ve Sınırlamalar kullanımınıza + uygulandığında, bu Kamu Lisansı uygulanmaz ve bu şart ve koşullara + uymanız gerekmez. + + 3. Süre. Bu Kamu Lisansı'nın süresi, Bölüm 6(a)'da belirtilmiştir. + + 4. Medya ve formatlar; teknik değişikliklere izin verilir. Lisans Veren, + Lisanslı Hakları şimdi bilinen veya daha sonra oluşturulan tüm medya + ve formatlarda kullanmanıza ve bunu yapmak için gerekli teknik + değişiklikleri yapmanıza izin verir. Lisans Veren, Etkili Teknolojik + Önlemleri aşmak için gerekli teknik değişiklikler dahil olmak üzere + Lisanslı Hakları kullanmak için gerekli teknik değişiklikleri yapmanızı + yasaklamama veya herhangi bir hak veya yetki ileri sürmeme konusunda + feragat eder ve/veya kabul eder. Bu Kamu Lisansı amaçları doğrultusunda, + bu Bölüm 2(a)(4) tarafından yetkilendirilen değişiklikleri yapmak asla + Uyarlanmış Materyal üretmez. + + 5. Aşağı yönlü alıcılar. + + a. Lisans Veren'den Teklif -- Lisanslı Materyal. Lisanslı Materyalin + her alıcısı, bu Kamu Lisansı'nın şart ve koşulları altında Lisanslı + Hakları kullanma teklifini otomatik olarak Lisans Verenden alır. + + b. Lisans Veren'den Ek Teklif -- Uyarlanmış Materyal. Sizden Uyarlanmış + Materyal alan her alıcı, Uyarlanmış Materyalde Lisanslı Hakları, + uyguladığınız Uyarlayıcı Lisans koşulları altında kullanma teklifini + otomatik olarak Lisans Verenden alır. + + c. Aşağı yönlü kısıtlamalar yok. Lisanslı Materyalin herhangi bir + alıcısının Lisanslı Hakları kullanmasını kısıtlıyorsa, Lisanslı + Materyale herhangi bir ek veya farklı şart veya koşul sunamaz veya + uygulayamaz veya Etkili Teknolojik Önlemler uygulayamazsınız. + + 6. Onay yok. Bu Kamu Lisansı'nda hiçbir şey, sizin veya Lisanslı Materyali + kullanımınızın Lisans Veren veya Bölüm 3(a)(1)(A)(i)'de belirtilen diğer + kişilere atıfta bulunularak bağlantılı, sponsorlu, onaylı veya resmi statüde + olduğunu iddia etme veya ima etme izni olarak yorumlanamaz. + + b. Diğer haklar. + + 1. Bütünlük hakkı gibi manevi haklar, bu Kamu Lisansı kapsamında lisanslanmamıştır, + ne de tanıtım, gizlilik ve/veya diğer benzer kişilik hakları; ancak, mümkün + olduğu ölçüde, Lisans Veren, Lisanslı Hakları kullanmanızı sağlamak için + gerekli olan sınırlı ölçüde, Lisans Verenin elinde bulundurduğu bu tür hakları + ileri sürmeme veya feragat etme konusunda anlaşır, ancak aksi halde değil. + + 2. Patent ve ticari marka hakları bu Kamu Lisansı kapsamında lisanslanmamıştır. + + 3. Mümkün olduğu ölçüde, Lisans Veren, Lisanslı Hakları kullanmanız için sizden + doğrudan veya herhangi bir gönüllü veya feragat edilebilir yasal veya zorunlu + lisanslama planı kapsamında bir toplama topluluğu aracılığıyla telif ücreti + toplama hakkından feragat eder. Diğer tüm durumlarda, Lisans Veren, bu tür + telif ücretlerini toplama hakkını açıkça saklı tutar. + +Bölüm 3 -- Lisans Koşulları. + +Lisanslı Hakları kullanmanız, açıkça aşağıdaki koşullara tabi olarak yapılmalıdır. + + a. Atıf. + + 1. Lisanslı Materyali (değiştirilmiş formda dahil) paylaşırsanız, şunları yapmalısınız: + + a. Lisans Veren tarafından Lisanslı Materyal ile birlikte sağlanmışsa, + aşağıdakileri koruyun: + + i. Lisanslı Materyalin yaratıcısının (yaratıcılarının) ve Lisans Veren + tarafından makul bir şekilde istenen herhangi bir şekilde (takma adla + belirtilmişse dahil) atıf almak üzere belirlenen diğer kişilerin + kimlik bilgilerini; + + ii. bir telif hakkı bildirimi; + + iii. bu Kamu Lisansına atıfta bulunan bir bildirim; + + iv. garanti feragatnamesine atıfta bulunan bir bildirim; + + v. makul ölçüde uygulanabilir olduğu sürece, Lisanslı Materyale bir URI + veya bağlantı; + + b. Lisanslı Materyali değiştirdiğinizi belirtin ve önceki değişikliklerin + herhangi bir göstergesini koruyun; ve + + c. Lisanslı Materyalin bu Kamu Lisansı kapsamında lisanslandığını belirtin ve + bu Kamu Lisansının metnini veya URI'sini veya bağlantısını ekleyin. + + 2. Bölüm 3(a)(1) koşullarını, Lisanslı Materyali paylaştığınız ortam, araç ve + bağlama göre makul herhangi bir şekilde yerine getirebilirsiniz. Örneğin, + gerekli bilgileri içeren bir kaynağa URI veya bağlantı sağlayarak koşulları + yerine getirmek makul olabilir. + + 3. Lisans Veren tarafından talep edilirse, Bölüm 3(a)(1)(A) tarafından gerekli + bilgilerin makul ölçüde uygulanabilir olduğu sürece kaldırılmasını sağlamalısınız. + + b. PaylaşımAlike. + + Bölüm 3(a) koşullarına ek olarak, ürettiğiniz Uyarlanmış Materyali paylaşırsanız, + aşağıdaki koşullar da geçerlidir. + + 1. Uyguladığınız Uyarlayıcı Lisans, aynı Lisans Unsurlarına sahip bir Creative + Commons lisansı olmalı, bu sürüm veya daha sonra, veya bir BY-SA Uyumlu Lisans + olmalıdır. + + 2. Uyguladığınız Uyarlayıcı Lisansın metnini veya URI'sini veya bağlantısını + eklemelisiniz. Bu koşulu, Uyarlanmış Materyali paylaştığınız ortam, araç ve + bağlama göre makul herhangi bir şekilde yerine getirebilirsiniz. + + 3. Uyarlanmış Materyalin, uyguladığınız Uyarlayıcı Lisans altında verilen hakların + kullanılmasını kısıtlayan herhangi bir ek veya farklı şart veya koşul sunamaz veya + uygulayamaz veya Etkili Teknolojik Önlemler uygulayamazsınız. + +Bölüm 4 -- Sui Generis Veritabanı Hakları. + +Lisanslı Haklar, Lisanslı Materyali kullanmanız için geçerli olan Sui Generis Veritabanı +Haklarını içeriyorsa: + + a. Şüpheye mahal vermemek için, Bölüm 2(a)(1), veritabanının içeriğinin tamamını veya + önemli bir kısmını çıkarmak, yeniden kullanmak, çoğaltmak ve paylaşmak hakkını size verir; + + b. Veritabanı içeriğinin tamamını veya önemli bir kısmını, Sui Generis Veritabanı + Haklarına sahip olduğunuz bir veritabanına dahil ederseniz, Sui Generis Veritabanı + Haklarına sahip olduğunuz veritabanı (ancak bireysel içerikleri değil) Uyarlanmış + Materyaldir, + + Bölüm 3(b) amaçları doğrultusunda; ve + c. Veritabanı içeriğinin tamamını veya önemli bir kısmını paylaşırsanız, Bölüm 3(a) + koşullarına uymalısınız. + +Şüpheye mahal vermemek için, bu Bölüm 4, Lisanslı Hakların diğer Telif Hakkı ve Benzer +Hakları içerdiği durumlarda bu Kamu Lisansı kapsamındaki yükümlülüklerinizi tamamlar ve +yerine geçmez. + +Bölüm 5 -- Garanti Feragatnamesi ve Sorumluluk Sınırlaması. + + a. LİSANS VEREN TARAFINDAN AYRICA YAPILMADIĞI SÜRECE, MÜMKÜN OLDUĞU ÖLÇÜDE, LİSANS + VEREN, LİSANSLI MATERYALİ OLDUĞU GİBİ VE MEVCUT OLDUĞU GİBİ SUNAR VE LİSANSLI + MATERYAL HAKKINDA HİÇBİR TÜRDE BEYAN VEYA GARANTİ VERMEZ, İSTER AÇIK, İSTER ZIMNİ, + YASAL VEYA DİĞER. BU, BAŞLIK GARANTİLERİ, SATILABİLİRLİK, BELİRLİ BİR AMACA UYGUNLUK, + İHLAL ETMEME, GİZLİ VEYA DİĞER KUSURLARIN BULUNMAMASI, DOĞRULUK VEYA HATALARIN VARLIĞI + VEYA YOKLUĞU, BİLİNEN VEYA KEŞFEDİLEBİLEN DAHİL ANCAK BUNLARLA SINIRLI OLMAMAK Ü + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal dili, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi tavsiye edilir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/tr/sketchnotes/README.md b/translations/tr/sketchnotes/README.md new file mode 100644 index 000000000..effb3d01b --- /dev/null +++ b/translations/tr/sketchnotes/README.md @@ -0,0 +1,10 @@ +Tüm müfredatın sketchnote'larını buradan indirebilirsiniz. + +🖨 Yüksek çözünürlükte yazdırmak için, TIFF versiyonları [bu depoda](https://github.com/girliemac/a-picture-is-worth-a-1000-words/tree/main/ml/tiff) mevcuttur. + +🎨 Oluşturan: [Tomomi Imura](https://github.com/girliemac) (Twitter: [@girlie_mac](https://twitter.com/girlie_mac)) + +[](https://creativecommons.org/licenses/by-sa/4.0/) + +**Feragatname**: +Bu belge, makine tabanlı yapay zeka çeviri hizmetleri kullanılarak çevrilmiştir. Doğruluk için çaba göstersek de, otomatik çevirilerin hata veya yanlışlıklar içerebileceğini lütfen unutmayın. Belgenin orijinal dili, yetkili kaynak olarak kabul edilmelidir. Kritik bilgiler için profesyonel insan çevirisi tavsiye edilir. Bu çevirinin kullanımından kaynaklanan herhangi bir yanlış anlama veya yanlış yorumlamadan sorumlu değiliz. \ No newline at end of file diff --git a/translations/zh/1-Introduction/1-intro-to-ML/README.md b/translations/zh/1-Introduction/1-intro-to-ML/README.md new file mode 100644 index 000000000..1197360ff --- /dev/null +++ b/translations/zh/1-Introduction/1-intro-to-ML/README.md @@ -0,0 +1,148 @@ +# 机器学习简介 + +## [课前测验](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/1/) + +--- + +[](https://youtu.be/6mSx_KJxcHI "初学者的机器学习 - 初学者的机器学习简介") + +> 🎥 点击上面的图片观看一个简短的视频，了解本课内容。 + +欢迎来到这个面向初学者的经典机器学习课程！无论你是完全不了解这个话题，还是一个有经验的ML从业者想要复习某个领域，我们都很高兴你能加入我们！我们希望为你的ML学习创造一个友好的起点，并乐于评估、回应并采纳你的[反馈](https://github.com/microsoft/ML-For-Beginners/discussions)。 + +[](https://youtu.be/h0e2HAPTGF4 "ML简介") + +> 🎥 点击上面的图片观看视频：MIT的John Guttag介绍机器学习 + +--- +## 机器学习入门 + +在开始这个课程之前，你需要将你的计算机设置好，并准备好在本地运行笔记本。 + +- **通过这些视频配置你的机器**。使用以下链接了解[如何在系统中安装Python](https://youtu.be/CXZYvNRIAKM)和[设置开发用的文本编辑器](https://youtu.be/EU8eayHWoZg)。 +- **学习Python**。还建议你对[Python](https://docs.microsoft.com/learn/paths/python-language/?WT.mc_id=academic-77952-leestott)有基本的了解，这是一门对数据科学家很有用的编程语言，我们在本课程中会使用它。 +- **学习Node.js和JavaScript**。我们在构建Web应用程序时也会多次使用JavaScript，所以你需要安装[node](https://nodejs.org)和[npm](https://www.npmjs.com/)，以及用于Python和JavaScript开发的[Visual Studio Code](https://code.visualstudio.com/)。 +- **创建一个GitHub账户**。既然你在[GitHub](https://github.com)上找到了我们，你可能已经有一个账户了，如果没有，创建一个，然后fork这个课程以便自己使用。（也可以给我们一个star 😊） +- **探索Scikit-learn**。熟悉一下[Scikit-learn](https://scikit-learn.org/stable/user_guide.html)，这是我们在这些课程中引用的一组ML库。 + +--- +## 什么是机器学习？ + +“机器学习”这个术语是当今最流行和经常使用的术语之一。如果你对技术有一定了解，无论你从事什么领域，你都有很大可能至少听过一次这个术语。然而，机器学习的机制对大多数人来说仍然是一个谜。对于机器学习初学者来说，这个主题有时会让人感到不知所措。因此，理解机器学习的真正含义，并通过实际例子一步步学习它，是很重要的。 + +--- +## 热潮曲线 + + + +> 谷歌趋势显示了最近“机器学习”一词的“热潮曲线” + +--- +## 神秘的宇宙 + +我们生活在一个充满迷人谜团的宇宙中。伟大的科学家如斯蒂芬·霍金、阿尔伯特·爱因斯坦等，终其一生致力于寻找揭示我们周围世界谜团的有意义的信息。这是人类学习的本质：一个人类孩子通过感知周围环境的事实，逐年揭示世界的结构，直到成年。 + +--- +## 孩子的脑袋 + +孩子的脑袋和感官感知周围环境的事实，并逐渐学习生活中的隐藏模式，这帮助孩子制定逻辑规则来识别学到的模式。人类大脑的学习过程使人类成为这个世界上最复杂的生物。通过不断发现隐藏的模式并在这些模式上进行创新，使我们在一生中变得越来越好。这种学习能力和进化能力与一个叫做[脑可塑性](https://www.simplypsychology.org/brain-plasticity.html)的概念有关。从表面上看，我们可以在一定程度上将人类大脑的学习过程与机器学习的概念联系起来。 + +--- +## 人类大脑 + +[人类大脑](https://www.livescience.com/29365-human-brain.html)从现实世界中感知事物，处理感知到的信息，做出理性决策，并根据情况执行某些行为。这就是我们所说的智能行为。当我们将这种智能行为过程的仿真程序化到机器上时，这就是人工智能（AI）。 + +--- +## 一些术语 + +虽然这些术语可能会混淆，但机器学习（ML）是人工智能的一个重要子集。**ML关注的是使用专门的算法从感知到的数据中发现有意义的信息和隐藏的模式，以支持理性决策过程**。 + +--- +## AI, ML, 深度学习 + + + +> 一张展示AI、ML、深度学习和数据科学之间关系的图表。由[Jen Looper](https://twitter.com/jenlooper)制作，灵感来自[这张图](https://softwareengineering.stackexchange.com/questions/366996/distinction-between-ai-ml-neural-networks-deep-learning-and-data-mining) + +--- +## 涵盖的概念 + +在这个课程中，我们将只涵盖机器学习的核心概念，这是初学者必须了解的。我们主要使用Scikit-learn，一个许多学生用来学习基础知识的优秀库，来讲解我们所谓的“经典机器学习”。要理解人工智能或深度学习的更广泛概念，扎实的机器学习基础知识是不可或缺的，因此我们希望在这里提供这些知识。 + +--- +## 在本课程中你将学习： + +- 机器学习的核心概念 +- ML的历史 +- ML与公平性 +- 回归ML技术 +- 分类ML技术 +- 聚类ML技术 +- 自然语言处理ML技术 +- 时间序列预测ML技术 +- 强化学习 +- ML的实际应用 + +--- +## 我们不会涵盖的内容 + +- 深度学习 +- 神经网络 +- AI + +为了提供更好的学习体验，我们将避免神经网络的复杂性、“深度学习”——使用神经网络构建多层模型——和AI，我们将在不同的课程中讨论这些内容。我们还将提供即将推出的数据科学课程，以专注于这个更大领域的这一方面。 + +--- +## 为什么要学习机器学习？ + +从系统的角度来看，机器学习被定义为创建能够从数据中学习隐藏模式以辅助智能决策的自动化系统。 + +这种动机在某种程度上是受人类大脑如何根据从外部世界感知的数据学习某些事物的启发。 + +✅ 想一想为什么企业会想尝试使用机器学习策略，而不是创建一个基于硬编码规则的引擎。 + +--- +## 机器学习的应用 + +机器学习的应用现在几乎无处不在，就像由我们的智能手机、连接设备和其他系统生成的数据在我们的社会中流动一样无处不在。考虑到最先进的机器学习算法的巨大潜力，研究人员一直在探索其解决多维和多学科现实生活问题的能力，并取得了很好的成果。 + +--- +## 应用ML的例子 + +**你可以通过多种方式使用机器学习**： + +- 从患者的病史或报告中预测疾病的可能性。 +- 利用天气数据预测天气事件。 +- 理解文本的情感。 +- 识别假新闻以阻止宣传的传播。 + +金融、经济学、地球科学、太空探索、生物医学工程、认知科学，甚至人文学科领域都采用机器学习来解决它们领域中繁重的数据处理问题。 + +--- +## 结论 + +机器学习通过从现实世界或生成的数据中发现有意义的见解来自动化模式发现过程。它在商业、健康和金融应用等领域中已经证明了自己的高度价值。 + +在不久的将来，了解机器学习的基础知识将成为任何领域的人们必须掌握的技能，因为它被广泛采用。 + +--- +# 🚀 挑战 + +在纸上或使用[Excalidraw](https://excalidraw.com/)等在线应用程序，画出你对AI、ML、深度学习和数据科学之间区别的理解。添加一些这些技术擅长解决的问题的想法。 + +# [课后测验](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/2/) + +--- +# 复习与自学 + +要了解更多关于如何在云中使用ML算法的信息，请关注这个[学习路径](https://docs.microsoft.com/learn/paths/create-no-code-predictive-models-azure-machine-learning/?WT.mc_id=academic-77952-leestott)。 + +参加一个关于ML基础知识的[学习路径](https://docs.microsoft.com/learn/modules/introduction-to-machine-learning/?WT.mc_id=academic-77952-leestott)。 + +--- +# 作业 + +[开始运行](assignment.md) + +**免责声明**： +本文件是使用机器翻译服务翻译的。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应以原文档的母语版本为权威来源。对于关键信息，建议使用专业的人类翻译。我们不对因使用本翻译而产生的任何误解或误读承担责任。 \ No newline at end of file diff --git a/translations/zh/1-Introduction/1-intro-to-ML/assignment.md b/translations/zh/1-Introduction/1-intro-to-ML/assignment.md new file mode 100644 index 000000000..80af76f9c --- /dev/null +++ b/translations/zh/1-Introduction/1-intro-to-ML/assignment.md @@ -0,0 +1,12 @@ +# 启动和运行 + +## 说明 + +在这个不计分的作业中，你应该复习一下Python，并使你的环境能够运行notebooks。 + +请参考这个 [Python 学习路径](https://docs.microsoft.com/learn/paths/python-language/?WT.mc_id=academic-77952-leestott)，然后通过以下入门视频设置你的系统： + +https://www.youtube.com/playlist?list=PLlrxD0HtieHhS8VzuMCfQD4uJ9yne1mE6 + +**免责声明**： +本文档是使用基于机器的人工智能翻译服务进行翻译的。虽然我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原始语言的文档视为权威来源。对于关键信息，建议使用专业的人类翻译。对于因使用此翻译而引起的任何误解或误读，我们概不负责。 \ No newline at end of file diff --git a/translations/zh/1-Introduction/2-history-of-ML/README.md b/translations/zh/1-Introduction/2-history-of-ML/README.md new file mode 100644 index 000000000..32bc03141 --- /dev/null +++ b/translations/zh/1-Introduction/2-history-of-ML/README.md @@ -0,0 +1,152 @@ +# 机器学习的历史 + + +> 由 [Tomomi Imura](https://www.twitter.com/girlie_mac) 绘制的速写笔记 + +## [课前测验](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/3/) + +--- + +[](https://youtu.be/N6wxM4wZ7V0 "机器学习初学者 - 机器学习的历史") + +> 🎥 点击上方图片观看本课的简短视频。 + +在本课中，我们将回顾机器学习和人工智能历史上的重要里程碑。 + +人工智能（AI）作为一个领域的历史与机器学习的历史紧密相连，因为支撑机器学习的算法和计算进步推动了人工智能的发展。值得注意的是，虽然这些领域作为独立的研究领域在20世纪50年代开始成型，但重要的[算法、统计、数学、计算和技术发现](https://wikipedia.org/wiki/Timeline_of_machine_learning)早在这一时期之前就已经出现并且有所重叠。实际上，人们已经思考这些问题[数百年](https://wikipedia.org/wiki/History_of_artificial_intelligence)了：这篇文章讨论了“思考机器”这一概念的历史智力基础。 + +--- +## 著名发现 + +- 1763年, 1812年 [贝叶斯定理](https://wikipedia.org/wiki/Bayes%27_theorem)及其前身。这个定理及其应用在推理中起着重要作用，描述了基于先验知识发生事件的概率。 +- 1805年 [最小二乘法](https://wikipedia.org/wiki/Least_squares) 由法国数学家Adrien-Marie Legendre提出。这个理论，你将在我们的回归单元中学习，帮助进行数据拟合。 +- 1913年 [马尔可夫链](https://wikipedia.org/wiki/Markov_chain)，由俄罗斯数学家Andrey Markov命名，用于描述基于前一个状态的一系列可能事件。 +- 1957年 [感知器](https://wikipedia.org/wiki/Perceptron) 是一种由美国心理学家Frank Rosenblatt发明的线性分类器，支撑了深度学习的进步。 + +--- + +- 1967年 [最近邻](https://wikipedia.org/wiki/Nearest_neighbor) 是一种最初设计用于绘制路线的算法。在机器学习背景下，它用于检测模式。 +- 1970年 [反向传播](https://wikipedia.org/wiki/Backpropagation) 用于训练[前馈神经网络](https://wikipedia.org/wiki/Feedforward_neural_network)。 +- 1982年 [递归神经网络](https://wikipedia.org/wiki/Recurrent_neural_network) 是从前馈神经网络派生的人工神经网络，创建时间图。 + +✅ 做一些研究。还有哪些日期在机器学习和人工智能历史上是关键的？ + +--- +## 1950年：会思考的机器 + +Alan Turing，一个真正了不起的人物，被[公众在2019年](https://wikipedia.org/wiki/Icons:_The_Greatest_Person_of_the_20th_Century)投票选为20世纪最伟大的科学家，被认为帮助奠定了“会思考的机器”这一概念的基础。他通过创建[图灵测试](https://www.bbc.com/news/technology-18475646)部分解决了反对者和他自己对这一概念的经验证据的需求，你将在我们的自然语言处理课程中探讨这一点。 + +--- +## 1956年：达特茅斯夏季研究项目 + +“达特茅斯夏季人工智能研究项目是人工智能作为一个领域的奠基性事件”，在这里“人工智能”一词被创造出来了（[来源](https://250.dartmouth.edu/highlights/artificial-intelligence-ai-coined-dartmouth)）。 + +> 学习或任何其他智能特征的每一个方面原则上都可以如此精确地描述，以至于可以制造出模拟它的机器。 + +--- + +首席研究员、数学教授John McCarthy希望“基于这样一种假设进行研究，即学习或任何其他智能特征的每一个方面原则上都可以如此精确地描述，以至于可以制造出模拟它的机器。” 参与者中还包括该领域的另一位著名人物Marvin Minsky。 + +该研讨会被认为启动并鼓励了几次讨论，包括“符号方法的兴起、专注于有限领域的系统（早期专家系统）以及演绎系统与归纳系统的对立。”（[来源](https://wikipedia.org/wiki/Dartmouth_workshop)）。 + +--- +## 1956 - 1974年：“黄金时代” + +从1950年代到70年代中期，人们对AI能够解决许多问题充满乐观。1967年，Marvin Minsky自信地表示，“在一代人之内……创造‘人工智能’的问题将基本解决。”（Minsky, Marvin (1967), Computation: Finite and Infinite Machines, Englewood Cliffs, N.J.: Prentice-Hall） + +自然语言处理研究蓬勃发展，搜索得到改进并变得更强大，“微观世界”的概念被创造出来，在那里可以使用简单的语言指令完成简单的任务。 + +--- + +政府机构提供了充足的资金，计算和算法方面取得了进展，智能机器的原型被建造出来。这些机器包括： + +* [Shakey机器人](https://wikipedia.org/wiki/Shakey_the_robot)，能够智能地操纵和决定如何执行任务。 + +  + > 1972年的Shakey + +--- + +* Eliza，一个早期的“聊天机器人”，可以与人对话并充当原始的“治疗师”。你将在自然语言处理课程中了解更多关于Eliza的信息。 + +  + > Eliza，一个聊天机器人的版本 + +--- + +* “积木世界”是一个微观世界的例子，在那里可以堆叠和分类积木，并可以测试教机器做决定的实验。使用诸如[SHRDLU](https://wikipedia.org/wiki/SHRDLU)之类的库构建的进步推动了语言处理的发展。 + + [](https://www.youtube.com/watch?v=QAJz4YKUwqw "积木世界与SHRDLU") + + > 🎥 点击上方图片观看视频：积木世界与SHRDLU + +--- +## 1974 - 1980年：“AI寒冬” + +到70年代中期，制造“智能机器”的复杂性被低估的事实变得显而易见，而其承诺在现有的计算能力下被夸大了。资金枯竭，对该领域的信心减弱。一些影响信心的问题包括： +--- +- **限制**。计算能力太有限。 +- **组合爆炸**。随着对计算机要求的增加，需要训练的参数数量呈指数增长，而计算能力和能力没有相应地进化。 +- **数据稀缺**。数据稀缺，阻碍了测试、开发和改进算法的过程。 +- **我们在问正确的问题吗？**。提出的问题本身开始受到质疑。研究人员开始面对对其方法的批评： + - 图灵测试受到质疑，其中包括“中文房间理论”这一观点，该理论认为，“编程一个数字计算机可能会使其看起来理解语言，但不能产生真正的理解。”（[来源](https://plato.stanford.edu/entries/chinese-room/)） + - 将像“治疗师”ELIZA这样的人工智能引入社会的伦理问题受到挑战。 + +--- + +同时，各种人工智能思想流派开始形成。“[简洁AI与凌乱AI](https://wikipedia.org/wiki/Neats_and_scruffies)”的二分法被确立。_凌乱_实验室通过长时间调整程序来获得期望的结果。_简洁_实验室“专注于逻辑和正式问题解决”。ELIZA和SHRDLU是著名的_凌乱_系统。到了80年代，随着对机器学习系统可重复性需求的出现，_简洁_方法逐渐占据了主导地位，因为其结果更具解释性。 + +--- +## 1980年代 专家系统 + +随着该领域的发展，其对商业的好处变得更加明显，到了80年代，“专家系统”也开始普及。“专家系统是最早真正成功的人工智能（AI）软件形式之一。”（[来源](https://wikipedia.org/wiki/Expert_system)）。 + +这种类型的系统实际上是_混合_的，部分由定义业务需求的规则引擎组成，部分由利用规则系统推导新事实的推理引擎组成。 + +这个时代也越来越关注神经网络。 + +--- +## 1987 - 1993年：AI‘寒潮’ + +专门的专家系统硬件的普及产生了不幸的后果，即变得过于专业化。个人计算机的兴起也与这些大型、专门、集中化的系统竞争。计算的民主化已经开始，并最终为现代大数据的爆发铺平了道路。 + +--- +## 1993 - 2011年 + +这一时期标志着机器学习和人工智能能够解决早期由于数据和计算能力不足而导致的一些问题。数据量开始迅速增加并变得更广泛可用，无论是好是坏，尤其是在2007年左右智能手机的出现。计算能力成倍增长，算法也随之发展。随着过去自由放任的日子开始凝聚成一个真正的学科，该领域开始走向成熟。 + +--- +## 现在 + +今天，机器学习和人工智能几乎触及我们生活的每个部分。这个时代需要对这些算法对人类生活的风险和潜在影响有仔细的理解。正如微软的Brad Smith所说，“信息技术提出了涉及基本人权保护的核心问题，如隐私和言论自由。这些问题加剧了创造这些产品的科技公司的责任。在我们看来，这也呼吁政府进行深思熟虑的监管，并制定关于可接受用途的规范”（[来源](https://www.technologyreview.com/2019/12/18/102365/the-future-of-ais-impact-on-society/)）。 + +--- + +未来将如何发展尚未可知，但理解这些计算机系统以及它们运行的软件和算法是很重要的。我们希望这门课程能帮助你更好地理解，以便你自己做出决定。 + +[](https://www.youtube.com/watch?v=mTtDfKgLm54 "深度学习的历史") +> 🎥 点击上方图片观看视频：Yann LeCun在这次讲座中讨论了深度学习的历史 + +--- +## 🚀挑战 + +深入了解这些历史时刻之一，了解背后的人物。这些人物非常有趣，没有任何科学发现是在文化真空中产生的。你发现了什么？ + +## [课后测验](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/4/) + +--- +## 复习与自学 + +这里有一些可以观看和聆听的内容： + +[这个播客中，Amy Boyd讨论了AI的演变](http://runasradio.com/Shows/Show/739) +[](https://www.youtube.com/watch?v=EJt3_bFYKss "艾米·博伊德讲述AI历史") + +--- + +## 作业 + +[创建时间线](assignment.md) + +**免责声明**： +本文档使用基于机器的人工智能翻译服务进行翻译。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原始文档的本国语言版本视为权威来源。对于关键信息，建议进行专业的人类翻译。对于因使用此翻译而引起的任何误解或误读，我们不承担任何责任。 \ No newline at end of file diff --git a/translations/zh/1-Introduction/2-history-of-ML/assignment.md b/translations/zh/1-Introduction/2-history-of-ML/assignment.md new file mode 100644 index 000000000..b98ff4592 --- /dev/null +++ b/translations/zh/1-Introduction/2-history-of-ML/assignment.md @@ -0,0 +1,14 @@ +# 创建时间线 + +## 说明 + +使用[这个仓库](https://github.com/Digital-Humanities-Toolkit/timeline-builder)，创建一个关于算法、数学、统计、人工智能或机器学习历史某一方面的时间线，或这些领域的组合。你可以专注于一个人、一个想法，或一个长时间段的思想。确保添加多媒体元素。 + +## 评分标准 + +| 标准 | 模范 | 合格 | 需要改进 | +| ------ | ------------------------------------------------- | --------------------------------------- | --------------------------------------------------------------- | +| | 部署的时间线作为GitHub页面展示 | 代码不完整且未部署 | 时间线不完整，研究不充分且未部署 | + +**免责声明**: +本文档是使用机器翻译服务翻译的。虽然我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应以原文档的母语版本为权威来源。对于关键信息，建议使用专业的人类翻译。对于因使用本翻译而产生的任何误解或误读，我们不承担任何责任。 \ No newline at end of file diff --git a/translations/zh/1-Introduction/3-fairness/README.md b/translations/zh/1-Introduction/3-fairness/README.md new file mode 100644 index 000000000..99c2b301e --- /dev/null +++ b/translations/zh/1-Introduction/3-fairness/README.md @@ -0,0 +1,159 @@ +# 构建负责任的人工智能解决方案 + + +> 速写笔记由 [Tomomi Imura](https://www.twitter.com/girlie_mac) 提供 + +## [课前测验](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/5/) + +## 介绍 + +在本课程中，你将开始了解机器学习如何以及正在影响我们的日常生活。即使在现在，系统和模型已经参与了日常的决策任务，例如医疗诊断、贷款审批或检测欺诈。因此，这些模型需要表现良好，以提供可信的结果。就像任何软件应用程序一样，AI系统也会有未达预期或产生不理想结果的情况。这就是为什么理解和解释AI模型行为是至关重要的。 + +想象一下，当你用来构建这些模型的数据缺乏某些人口统计信息，如种族、性别、政治观点、宗教，或者这些人口统计信息被不成比例地代表时，会发生什么情况。再想想当模型的输出被解读为偏向某些人口统计时，会有什么后果？另外，当模型产生不利结果并对人们造成伤害时，会发生什么？谁应该对AI系统的行为负责？这些是我们将在本课程中探讨的问题。 + +在本课中，你将： + +- 提高对机器学习中公平性的重要性及相关危害的认识。 +- 熟悉探索异常值和不寻常场景的实践，以确保可靠性和安全性。 +- 了解设计包容性系统以赋权所有人的必要性。 +- 探讨保护数据和个人隐私与安全的重要性。 +- 了解采用透明方法解释AI模型行为的重要性。 +- 注意到责任感在建立AI系统信任中的重要性。 + +## 先决条件 + +作为先决条件，请完成“负责任AI原则”学习路径并观看以下视频： + +通过以下[学习路径](https://docs.microsoft.com/learn/modules/responsible-ai-principles/?WT.mc_id=academic-77952-leestott)了解更多关于负责任AI的信息。 + +[](https://youtu.be/dnC8-uUZXSc "Microsoft's Approach to Responsible AI") + +> 🎥 点击上图观看视频：Microsoft's Approach to Responsible AI + +## 公平性 + +AI系统应该公平对待每个人，避免对相似群体的人产生不同的影响。例如，当AI系统提供医疗建议、贷款申请或就业指导时，它们应该对有相似症状、财务状况或专业资格的每个人提供相同的建议。我们每个人都携带着影响我们决策和行动的继承偏见。这些偏见可能体现在我们用来训练AI系统的数据中。这种操控有时是无意的。通常很难有意识地知道你何时在数据中引入了偏见。 + +**“不公平”** 包括对某一群体的负面影响或“伤害”，例如按种族、性别、年龄或残疾状态定义的群体。主要的公平性相关伤害可以分类为： + +- **分配**，例如一个性别或种族被偏爱于另一个。 +- **服务质量**。如果你为一个特定场景训练数据，但现实要复杂得多，就会导致服务表现不佳。例如，一个手部肥皂分配器似乎无法感应深色皮肤的人。[参考](https://gizmodo.com/why-cant-this-soap-dispenser-identify-dark-skin-1797931773) +- **诽谤**。不公平地批评和标签某物或某人。例如，一种图像标签技术臭名昭著地将深色皮肤人的图像错误标记为大猩猩。 +- **过度或不足代表**。某一群体在某一职业中未被看到的想法，任何继续推广这种现象的服务或功能都是在造成伤害。 +- **刻板印象**。将某一群体与预先分配的属性联系在一起。例如，英语和土耳其语之间的语言翻译系统可能由于与性别有关的刻板印象而出现错误。 + + +> 翻译成土耳其语 + + +> 翻译回英语 + +在设计和测试AI系统时，我们需要确保AI是公平的，并且没有被编程成做出有偏见或歧视性的决策，这是人类也被禁止做出的。确保AI和机器学习中的公平性仍然是一个复杂的社会技术挑战。 + +### 可靠性和安全性 + +为了建立信任，AI系统需要在正常和意外条件下可靠、安全和一致。了解AI系统在各种情况下的行为是很重要的，特别是在异常情况下。构建AI解决方案时，需要大量关注如何处理AI解决方案可能遇到的各种情况。例如，一辆自动驾驶汽车需要将人的安全放在首位。因此，驱动汽车的AI需要考虑汽车可能遇到的所有场景，如夜晚、雷暴或暴风雪、孩子跑过街道、宠物、道路施工等。一个AI系统在多种条件下可靠和安全地处理情况的能力反映了数据科学家或AI开发人员在设计或测试系统时所考虑的预期水平。 + +> [🎥 点击这里观看视频：](https://www.microsoft.com/videoplayer/embed/RE4vvIl) + +### 包容性 + +AI系统应该设计成能够吸引和赋权所有人。在设计和实施AI系统时，数据科学家和AI开发人员会识别和解决系统中可能无意中排除某些人的潜在障碍。例如，全球有10亿残疾人。随着AI的发展，他们可以更轻松地在日常生活中访问各种信息和机会。通过解决这些障碍，可以创新和开发出为每个人带来更好体验的AI产品。 + +> [🎥 点击这里观看视频：AI中的包容性](https://www.microsoft.com/videoplayer/embed/RE4vl9v) + +### 安全和隐私 + +AI系统应该是安全的，并尊重人们的隐私。人们对那些将其隐私、信息或生活置于风险中的系统信任度较低。在训练机器学习模型时，我们依赖数据来产生最佳结果。在此过程中，数据的来源和完整性必须考虑。例如，数据是用户提交的还是公开可用的？接下来，在处理数据时，至关重要的是开发能够保护机密信息并抵御攻击的AI系统。随着AI的普及，保护隐私和确保重要的个人和商业信息的安全变得越来越重要和复杂。隐私和数据安全问题需要特别关注AI，因为访问数据对于AI系统做出准确和知情的预测和决策至关重要。 + +> [🎥 点击这里观看视频：AI中的安全性](https://www.microsoft.com/videoplayer/embed/RE4voJF) + +- 作为一个行业，我们在隐私和安全方面取得了重大进展，这主要得益于如GDPR（通用数据保护条例）等法规的推动。 +- 然而，对于AI系统，我们必须承认在需要更多个人数据以使系统更个性化和有效与隐私之间的紧张关系。 +- 就像互联网带来的连接计算机一样，我们也看到与AI相关的安全问题数量激增。 +- 同时，我们也看到AI被用来改善安全性。例如，大多数现代的防病毒扫描器今天都是由AI启发驱动的。 +- 我们需要确保我们的数据科学流程与最新的隐私和安全实践和谐融合。 + +### 透明性 + +AI系统应该是可理解的。透明性的一个关键部分是解释AI系统及其组件的行为。提高对AI系统的理解需要利益相关者理解它们的工作原理和原因，以便他们能够识别潜在的性能问题、安全和隐私问题、偏见、排他性做法或意外结果。我们还认为，使用AI系统的人应该诚实并坦率地说明何时、为何以及如何选择部署它们，以及所使用系统的局限性。例如，如果一家银行使用AI系统来支持其消费者贷款决策，重要的是检查结果并了解哪些数据影响了系统的建议。政府开始在各个行业对AI进行监管，因此数据科学家和组织必须解释AI系统是否符合监管要求，特别是在出现不理想结果时。 + +> [🎥 点击这里观看视频：AI中的透明性](https://www.microsoft.com/videoplayer/embed/RE4voJF) + +- 由于AI系统非常复杂，很难理解它们的工作原理并解释结果。 +- 这种缺乏理解会影响这些系统的管理、操作和文档编制方式。 +- 更重要的是，这种缺乏理解会影响使用这些系统产生结果的决策。 + +### 责任 + +设计和部署AI系统的人必须对其系统的运行负责。责任感的需求在敏感技术的使用中尤为重要，如面部识别技术。最近，对面部识别技术的需求不断增长，特别是执法机构看到了这项技术在寻找失踪儿童等用途中的潜力。然而，这些技术可能会被政府用来威胁公民的基本自由，例如，通过使对特定个人的持续监控成为可能。因此，数据科学家和组织需要对其AI系统对个人或社会的影响负责。 + +[](https://www.youtube.com/watch?v=Wldt8P5V6D0 "Microsoft's Approach to Responsible AI") + +> 🎥 点击上图观看视频：面部识别技术大规模监控的警告 + +最终，对于我们这一代人来说，作为将AI引入社会的第一代人，最大的一个问题是如何确保计算机对人负责，以及如何确保设计计算机的人对所有人负责。 + +## 影响评估 + +在训练机器学习模型之前，进行影响评估以了解AI系统的目的、预期用途、部署地点以及与系统互动的人是谁，这一点很重要。这些对于评审员或测试人员评估系统时了解在识别潜在风险和预期后果时需要考虑的因素非常有帮助。 + +进行影响评估时的重点领域如下： + +* **对个人的不利影响**。了解任何限制或要求、不支持的使用或任何已知的性能限制对于确保系统不会以可能对个人造成伤害的方式使用至关重要。 +* **数据要求**。了解系统如何以及在哪里使用数据，使评审员能够探索你需要注意的任何数据要求（例如GDPR或HIPPA数据法规）。此外，检查数据的来源或数量是否足够用于训练。 +* **影响总结**。收集一份使用系统可能带来的潜在伤害清单。在ML生命周期中，检查是否已缓解或解决识别出的问题。 +* **每个核心原则的适用目标**。评估每个原则的目标是否实现，以及是否存在任何差距。 + +## 使用负责任AI进行调试 + +类似于调试软件应用程序，调试AI系统是识别和解决系统问题的必要过程。许多因素会影响模型未按预期或负责任地表现。大多数传统的模型性能指标是模型性能的定量汇总，这不足以分析模型如何违反负责任AI原则。此外，机器学习模型是一个黑箱，难以理解其结果的驱动因素或在出现错误时提供解释。在本课程的后期，我们将学习如何使用负责任AI仪表板来帮助调试AI系统。仪表板为数据科学家和AI开发人员提供了一个全面的工具，用于执行： + +* **错误分析**。识别模型的错误分布，这可能影响系统的公平性或可靠性。 +* **模型概述**。发现模型在数据群体中的性能差异。 +* **数据分析**。了解数据分布并识别数据中可能导致公平性、包容性和可靠性问题的潜在偏见。 +* **模型可解释性**。了解影响或影响模型预测的因素。这有助于解释模型的行为，对于透明性和责任感非常重要。 + +## 🚀 挑战 + +为了防止伤害的引入，我们应该： + +- 让系统开发团队拥有多样化的背景和观点 +- 投资反映我们社会多样性的数据集 +- 在整个机器学习生命周期中开发更好的方法，以检测和纠正负责任AI的出现 + +思考一些现实生活中的场景，模型的不可信性在模型构建和使用中变得显而易见。我们还应该考虑什么？ + +## [课后测验](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/6/) +## 复习与自学 + +在本课中，你学习了机器学习中公平性和不公平性的基本概念。 + +观看这个研讨会，深入了解这些主题： + +- 追求负责任AI：将原则付诸实践，作者：Besmira Nushi、Mehrnoosh Sameki 和 Amit Sharma + +[](https://www.youtube.com/watch?v=tGgJCrA-MZU "RAI Toolbox: An open-source framework for building responsible AI") + +> 🎥 点击上图观看视频：RAI Toolbox: An open-source framework for building responsible AI by Besmira Nushi, Mehrnoosh Sameki, and Amit Sharma + +另外，阅读： + +- Microsoft的RAI资源中心：[负责任的AI资源 – Microsoft AI](https://www.microsoft.com/ai/responsible-ai-resources?activetab=pivot1%3aprimaryr4) + +- Microsoft的FATE研究组：[FATE: 公平性、责任感、透明性和AI伦理 - Microsoft Research](https://www.microsoft.com/research/theme/fate/) + +RAI Toolbox: + +- [负责任AI工具箱GitHub仓库](https://github.com/microsoft/responsible-ai-toolbox) + +阅读关于Azure机器学习的工具以确保公平性： + +- [Azure Machine Learning](https://docs.microsoft.com/azure/machine-learning/concept-fairness-ml?WT.mc_id=academic-77952-leestott) + +## 作业 + +[探索RAI工具箱](assignment.md) + +**免责声明**: +本文件已使用基于机器的AI翻译服务进行翻译。尽管我们力求准确，但请注意，自动翻译可能包含错误或不准确之处。应将原始语言的文档视为权威来源。对于关键信息，建议进行专业人工翻译。我们对使用本翻译可能引起的任何误解或误读不承担责任。 \ No newline at end of file diff --git a/translations/zh/1-Introduction/3-fairness/assignment.md b/translations/zh/1-Introduction/3-fairness/assignment.md new file mode 100644 index 000000000..edbbbafb9 --- /dev/null +++ b/translations/zh/1-Introduction/3-fairness/assignment.md @@ -0,0 +1,14 @@ +# 探索负责任的AI工具箱 + +## 说明 + +在本课中，您了解了负责任的AI工具箱，这是一个“开源的、社区驱动的项目，旨在帮助数据科学家分析和改进AI系统。”在这个作业中，请探索RAI工具箱的一个[notebook](https://github.com/microsoft/responsible-ai-toolbox/blob/main/notebooks/responsibleaidashboard/getting-started.ipynb)，并在报告或演示文稿中汇报您的发现。 + +## 评分标准 + +| 标准 | 模范 | 合格 | 需要改进 | +| -------- | --------- | -------- | -------------- | +| | 提交了一篇讨论Fairlearn系统、运行的notebook及其结论的论文或PowerPoint演示文稿 | 提交了一篇没有结论的论文 | 没有提交论文 | + +**免责声明**： +本文档使用基于机器的AI翻译服务进行翻译。尽管我们力求准确，但请注意，自动翻译可能包含错误或不准确之处。应将原文档的本国语言版本视为权威来源。对于重要信息，建议使用专业的人类翻译。对于因使用本翻译而产生的任何误解或误读，我们概不负责。 \ No newline at end of file diff --git a/translations/zh/1-Introduction/4-techniques-of-ML/README.md b/translations/zh/1-Introduction/4-techniques-of-ML/README.md new file mode 100644 index 000000000..9efd27181 --- /dev/null +++ b/translations/zh/1-Introduction/4-techniques-of-ML/README.md @@ -0,0 +1,121 @@ +# 机器学习技术 + +构建、使用和维护机器学习模型及其使用的数据的过程，与许多其他开发工作流非常不同。在本课中，我们将揭开这个过程的神秘面纱，并概述您需要了解的主要技术。您将： + +- 从高层次上理解机器学习的基本过程。 +- 探索基本概念，如“模型”、“预测”和“训练数据”。 + +## [课前测验](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/7/) + +[](https://youtu.be/4NGM0U2ZSHU "ML for beginners - Techniques of Machine Learning") + +> 🎥 点击上方图片观看本课的简短视频。 + +## 介绍 + +从高层次来看，创建机器学习（ML）过程的工艺包含若干步骤： + +1. **确定问题**。大多数ML过程都是从提出一个不能通过简单的条件程序或基于规则的引擎回答的问题开始。这些问题通常围绕基于数据集合的预测展开。 +2. **收集和准备数据**。为了能够回答您的问题，您需要数据。数据的质量和数量有时会决定您能多好地回答最初的问题。数据可视化是这一阶段的重要方面。此阶段还包括将数据分为训练组和测试组以构建模型。 +3. **选择训练方法**。根据您的问题和数据的性质，您需要选择如何训练模型以最好地反映您的数据并对其进行准确预测。这是您的ML过程需要特定专业知识并且通常需要大量实验的部分。 +4. **训练模型**。使用您的训练数据，您将使用各种算法训练模型以识别数据中的模式。模型可能利用内部权重，可以调整这些权重以优先考虑数据的某些部分，从而构建更好的模型。 +5. **评估模型**。您使用从未见过的数据（您的测试数据）来查看模型的表现。 +6. **参数调整**。根据模型的表现，您可以使用不同的参数或变量重新进行该过程，这些参数或变量控制用于训练模型的算法的行为。 +7. **预测**。使用新输入来测试模型的准确性。 + +## 提出什么问题 + +计算机特别擅长发现数据中的隐藏模式。这一功能对于研究人员来说非常有用，他们在某个领域有一些问题，这些问题不能通过创建基于条件的规则引擎轻松回答。举例来说，给定一个精算任务，数据科学家可能能够构建关于吸烟者与非吸烟者死亡率的手工规则。 + +然而，当许多其他变量被引入时，基于过去的健康历史，ML模型可能更有效地预测未来的死亡率。一个更愉快的例子可能是根据包括纬度、经度、气候变化、海洋的接近度、喷流模式等数据，预测某个地点四月份的天气。 + +✅ 这份关于天气模型的[幻灯片](https://www2.cisl.ucar.edu/sites/default/files/2021-10/0900%20June%2024%20Haupt_0.pdf)提供了使用ML进行天气分析的历史视角。 + +## 构建前的任务 + +在开始构建模型之前，您需要完成几个任务。为了测试您的问题并根据模型的预测形成假设，您需要识别和配置几个元素。 + +### 数据 + +为了能够以任何确定性回答您的问题，您需要大量合适类型的数据。在这一点上，您需要做两件事： + +- **收集数据**。牢记上一课关于数据分析公平性的内容，谨慎收集您的数据。了解这些数据的来源、它可能具有的任何内在偏见，并记录其来源。 +- **准备数据**。数据准备过程有几个步骤。如果数据来自不同的来源，您可能需要整理数据并使其规范化。您可以通过各种方法提高数据的质量和数量，例如将字符串转换为数字（如我们在[聚类](../../5-Clustering/1-Visualize/README.md)中所做的）。您还可以基于原始数据生成新数据（如我们在[分类](../../4-Classification/1-Introduction/README.md)中所做的）。您可以清理和编辑数据（如我们在[Web应用](../../3-Web-App/README.md)课程之前所做的）。最后，根据您的训练技术，您可能还需要对其进行随机化和打乱。 + +✅ 收集和处理数据后，花点时间看看它的形状是否能让您解决预期的问题。正如我们在[聚类](../../5-Clustering/1-Visualize/README.md)课程中发现的那样，数据可能无法在您的任务中表现良好！ + +### 特征和目标 + +一个[特征](https://www.datasciencecentral.com/profiles/blogs/an-introduction-to-variable-and-feature-selection)是数据的可测量属性。在许多数据集中，它表现为列标题，如“日期”、“大小”或“颜色”。您的特征变量，通常在代码中表示为`X`，代表用于训练模型的输入变量。 + +目标是您试图预测的事物。目标通常在代码中表示为`y`，代表您试图从数据中询问的问题的答案：在十二月，哪种**颜色**的南瓜最便宜？在旧金山，哪个社区的房地产**价格**最好？有时目标也称为标签属性。 + +### 选择您的特征变量 + +🎓 **特征选择和特征提取** 如何在构建模型时知道选择哪个变量？您可能会通过特征选择或特征提取的过程来选择最合适的变量以构建性能最佳的模型。然而，它们并不是一回事：“特征提取从原始特征的函数中创建新特征，而特征选择返回特征的子集。”（[来源](https://wikipedia.org/wiki/Feature_selection)） + +### 可视化您的数据 + +数据科学家工具包的重要方面是使用Seaborn或MatPlotLib等出色库来可视化数据的能力。以可视化方式表示您的数据可能会让您发现可以利用的隐藏关联。您的可视化还可能帮助您发现偏见或不平衡的数据（正如我们在[分类](../../4-Classification/2-Classifiers-1/README.md)中发现的那样）。 + +### 分割您的数据集 + +在训练之前，您需要将数据集分割成两个或多个不等大小的部分，这些部分仍能很好地代表数据。 + +- **训练**。数据集的这一部分用于训练模型。这部分数据构成了原始数据集的大部分。 +- **测试**。测试数据集是一个独立的数据组，通常从原始数据中收集，用于确认构建模型的性能。 +- **验证**。验证集是一个较小的独立数据组，您用它来调整模型的超参数或架构以改进模型。根据您的数据大小和您提出的问题，您可能不需要构建这个第三组（正如我们在[时间序列预测](../../7-TimeSeries/1-Introduction/README.md)中所指出的那样）。 + +## 构建模型 + +使用您的训练数据，您的目标是使用各种算法构建一个模型或数据的统计表示来**训练**它。训练模型使其暴露于数据，并允许其对发现、验证和接受或拒绝的感知模式做出假设。 + +### 决定训练方法 + +根据您的问题和数据的性质，您将选择一种方法来训练它。通过[Scikit-learn的文档](https://scikit-learn.org/stable/user_guide.html)——我们在本课程中使用的库，您可以探索许多训练模型的方法。根据您的经验，您可能需要尝试几种不同的方法来构建最佳模型。您可能会经历一个过程，即数据科学家通过向模型提供未见过的数据来评估模型的性能，检查其准确性、偏差和其他质量降低问题，并选择最适合手头任务的训练方法。 + +### 训练模型 + +有了您的训练数据，您就可以“拟合”它来创建一个模型。您会注意到，在许多ML库中，您会发现代码“model.fit”——此时，您将以值数组（通常是“X”）的形式发送您的特征变量和目标变量（通常是“y”）。 + +### 评估模型 + +一旦训练过程完成（训练大型模型可能需要多次迭代或“周期”），您将能够使用测试数据来评估模型的质量，以衡量其性能。这些数据是模型之前未分析过的原始数据的一个子集。您可以打印出一张关于模型质量的指标表。 + +🎓 **模型拟合** + +在机器学习的背景下，模型拟合是指模型的基础函数在尝试分析不熟悉的数据时的准确性。 + +🎓 **欠拟合**和**过拟合**是降低模型质量的常见问题，因为模型要么拟合得不够好，要么拟合得太好。这导致模型的预测要么与训练数据过于紧密对齐，要么与训练数据对齐过于松散。过拟合的模型因为过于了解数据的细节和噪音而预测训练数据太好。欠拟合的模型不准确，因为它既不能准确分析其训练数据，也不能准确分析尚未“见过”的数据。 + + +> 信息图由[Jen Looper](https://twitter.com/jenlooper)制作 + +## 参数调整 + +初步训练完成后，观察模型的质量并考虑通过调整其“超参数”来改进它。阅读更多关于这一过程的内容[在文档中](https://docs.microsoft.com/en-us/azure/machine-learning/how-to-tune-hyperparameters?WT.mc_id=academic-77952-leestott)。 + +## 预测 + +这是您可以使用全新数据测试模型准确性的时刻。在“应用”ML设置中，当您构建Web资产以在生产中使用模型时，这个过程可能涉及收集用户输入（例如按钮按下），以设置变量并将其发送到模型进行推断或评估。 + +在这些课程中，您将发现如何使用这些步骤来准备、构建、测试、评估和预测——所有数据科学家的操作以及更多内容，随着您在成为“全栈”ML工程师的旅程中不断前进。 + +--- + +## 🚀挑战 + +绘制一个反映ML实践者步骤的流程图。您现在在这个过程中看到自己处于哪个阶段？您预测您会在哪个阶段遇到困难？对您来说什么看起来很容易？ + +## [课后测验](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/8/) + +## 回顾与自学 + +在网上搜索与数据科学家讨论他们日常工作的采访。这里有一个[采访](https://www.youtube.com/watch?v=Z3IjgbbCEfs)。 + +## 作业 + +[采访数据科学家](assignment.md) + +**免责声明**： +本文档使用基于机器的AI翻译服务进行翻译。尽管我们力求准确，但请注意，自动翻译可能包含错误或不准确之处。应将原始语言的文档视为权威来源。对于关键信息，建议进行专业的人类翻译。对于因使用此翻译而引起的任何误解或误读，我们不承担任何责任。 \ No newline at end of file diff --git a/translations/zh/1-Introduction/4-techniques-of-ML/assignment.md b/translations/zh/1-Introduction/4-techniques-of-ML/assignment.md new file mode 100644 index 000000000..7d40e6506 --- /dev/null +++ b/translations/zh/1-Introduction/4-techniques-of-ML/assignment.md @@ -0,0 +1,14 @@ +# 采访数据科学家 + +## 说明 + +在你的公司、用户群、朋友或同学中，找一个专业从事数据科学工作的人进行交谈。写一篇关于他们日常工作的简短文章（500字）。他们是专门从事某一领域，还是从事“全栈”工作？ + +## 评分标准 + +| 标准 | 卓越 | 合格 | 需要改进 | +| ------ | -------------------------------------------------------------------------------------- | ------------------------------------------------------------------ | --------------------- | +| | 提交了一篇符合字数要求的文章，且注明了来源，并以 .doc 文件格式呈现 | 文章来源注明不充分或篇幅短于要求长度 | 未提交文章 | + +**免责声明**： +本文档使用基于机器的人工智能翻译服务进行翻译。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原始语言的文档视为权威来源。对于关键信息，建议进行专业的人类翻译。对于因使用本翻译而产生的任何误解或误读，我们不承担任何责任。 \ No newline at end of file diff --git a/translations/zh/1-Introduction/README.md b/translations/zh/1-Introduction/README.md new file mode 100644 index 000000000..2eabc296a --- /dev/null +++ b/translations/zh/1-Introduction/README.md @@ -0,0 +1,26 @@ +# 机器学习简介 + +在本课程部分中，您将了解机器学习领域的基本概念、它是什么，并了解其历史以及研究人员使用的技术。让我们一起探索这个机器学习的新世界吧！ + + +> 图片由 Bill Oxford 提供，来自 Unsplash + +### 课程 + +1. [机器学习简介](1-intro-to-ML/README.md) +1. [机器学习和人工智能的历史](2-history-of-ML/README.md) +1. [公平性与机器学习](3-fairness/README.md) +1. [机器学习的技术](4-techniques-of-ML/README.md) + +### 致谢 + +“机器学习简介”由包括 [Muhammad Sakib Khan Inan](https://twitter.com/Sakibinan), [Ornella Altunyan](https://twitter.com/ornelladotcom) 和 [Jen Looper](https://twitter.com/jenlooper) 在内的团队用♥️编写。 + +“机器学习的历史”由 [Jen Looper](https://twitter.com/jenlooper) 和 [Amy Boyd](https://twitter.com/AmyKateNicho) 用♥️编写。 + +“公平性与机器学习”由 [Tomomi Imura](https://twitter.com/girliemac) 用♥️编写。 + +“机器学习的技术”由 [Jen Looper](https://twitter.com/jenlooper) 和 [Chris Noring](https://twitter.com/softchris) 用♥️编写。 + +**免责声明**: +本文档是使用基于机器的人工智能翻译服务翻译的。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原始语言的文档视为权威来源。对于关键信息，建议使用专业人工翻译。对于因使用此翻译而产生的任何误解或误释，我们不承担任何责任。 \ No newline at end of file diff --git a/translations/zh/2-Regression/1-Tools/README.md b/translations/zh/2-Regression/1-Tools/README.md new file mode 100644 index 000000000..016f5d338 --- /dev/null +++ b/translations/zh/2-Regression/1-Tools/README.md @@ -0,0 +1,228 @@ +# 使用 Python 和 Scikit-learn 构建回归模型入门 + + + +> 由 [Tomomi Imura](https://www.twitter.com/girlie_mac) 绘制的手绘笔记 + +## [课前测验](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/9/) + +> ### [本课程提供 R 语言版本！](../../../../2-Regression/1-Tools/solution/R/lesson_1.html) + +## 简介 + +在这四节课中，你将学习如何构建回归模型。我们将很快讨论这些模型的用途。但在开始之前，请确保你已经准备好了合适的工具！ + +在本课中，你将学到： + +- 配置你的电脑以进行本地机器学习任务。 +- 使用 Jupyter 笔记本。 +- 安装和使用 Scikit-learn。 +- 通过动手练习探索线性回归。 + +## 安装和配置 + +[](https://youtu.be/-DfeD2k2Kj0 "机器学习初学者 - 设置工具以构建机器学习模型") + +> 🎥 点击上面的图片观看一个简短的视频，了解如何配置你的电脑以进行机器学习。 + +1. **安装 Python**。确保你的电脑上安装了 [Python](https://www.python.org/downloads/)。你将使用 Python 进行许多数据科学和机器学习任务。大多数计算机系统已经包含了 Python 安装。也有一些有用的 [Python 编码包](https://code.visualstudio.com/learn/educators/installers?WT.mc_id=academic-77952-leestott)，可以简化某些用户的设置过程。 + + 然而，有些 Python 的使用需要一个版本的软件，而其他使用则需要不同的版本。因此，在 [虚拟环境](https://docs.python.org/3/library/venv.html) 中工作是很有用的。 + +2. **安装 Visual Studio Code**。确保你的电脑上安装了 Visual Studio Code。按照这些说明进行 [安装 Visual Studio Code](https://code.visualstudio.com/) 的基本安装。在本课程中，你将使用 Visual Studio Code 中的 Python，因此你可能需要了解如何 [配置 Visual Studio Code](https://docs.microsoft.com/learn/modules/python-install-vscode?WT.mc_id=academic-77952-leestott) 以进行 Python 开发。 + + > 通过学习这组 [Learn 模块](https://docs.microsoft.com/users/jenlooper-2911/collections/mp1pagggd5qrq7?WT.mc_id=academic-77952-leestott) 来熟悉 Python + > + > [](https://youtu.be/yyQM70vi7V8 "使用 Visual Studio Code 设置 Python") + > + > 🎥 点击上面的图片观看视频：在 VS Code 中使用 Python。 + +3. **安装 Scikit-learn**，按照 [这些说明](https://scikit-learn.org/stable/install.html)。由于你需要确保使用 Python 3，建议你使用虚拟环境。请注意，如果你在 M1 Mac 上安装此库，请参阅上述链接页面中的特别说明。 + +1. **安装 Jupyter Notebook**。你需要 [安装 Jupyter 包](https://pypi.org/project/jupyter/)。 + +## 你的机器学习编写环境 + +你将使用 **notebooks** 来开发你的 Python 代码并创建机器学习模型。这种类型的文件是数据科学家的常用工具，可以通过其后缀或扩展名 `.ipynb` 识别。 + +笔记本是一种交互式环境，允许开发者编写代码并添加注释和文档，这对于实验或研究导向的项目非常有帮助。 + +[](https://youtu.be/7E-jC8FLA2E "机器学习初学者 - 设置 Jupyter 笔记本以开始构建回归模型") + +> 🎥 点击上面的图片观看一个简短的视频，了解如何进行此练习。 + +### 练习 - 使用笔记本 + +在这个文件夹中，你会找到 _notebook.ipynb_ 文件。 + +1. 在 Visual Studio Code 中打开 _notebook.ipynb_。 + + 一个 Jupyter 服务器将会启动，并启动 Python 3+。你会发现笔记本中有一些区域可以 `run`，即代码片段。你可以通过选择一个看起来像播放按钮的图标来运行一个代码块。 + +1. 选择 `md` 图标并添加一些 markdown，以及以下文本 **# 欢迎来到你的笔记本**。 + + 接下来，添加一些 Python 代码。 + +1. 在代码块中输入 **print('hello notebook')**。 +1. 选择箭头来运行代码。 + + 你应该会看到打印的语句： + + ```output + hello notebook + ``` + + + +你可以在代码中插入注释，以自我记录笔记本。 + +✅ 想一想，网页开发者的工作环境与数据科学家的工作环境有何不同。 + +## 使用 Scikit-learn 入门 + +现在 Python 已经在你的本地环境中设置完毕，并且你已经熟悉了 Jupyter 笔记本，让我们同样熟悉一下 Scikit-learn（发音为 `sci` as in `science`）。Scikit-learn 提供了一个 [广泛的 API](https://scikit-learn.org/stable/modules/classes.html#api-ref)，帮助你执行机器学习任务。 + +根据他们的 [网站](https://scikit-learn.org/stable/getting_started.html)，"Scikit-learn 是一个开源机器学习库，支持监督学习和非监督学习。它还提供了各种工具用于模型拟合、数据预处理、模型选择和评估，以及许多其他实用工具。" + +在本课程中，你将使用 Scikit-learn 和其他工具来构建机器学习模型，以执行我们称之为“传统机器学习”的任务。我们故意避开了神经网络和深度学习，因为它们将在我们即将推出的“AI for Beginners”课程中更好地覆盖。 + +Scikit-learn 使构建模型和评估它们的使用变得简单。它主要专注于使用数值数据，并包含几个现成的数据集供学习使用。它还包括预构建的模型供学生尝试。让我们探索一下加载预打包数据和使用内置估算器来构建第一个机器学习模型的过程。 + +## 练习 - 你的第一个 Scikit-learn 笔记本 + +> 本教程的灵感来自 Scikit-learn 网站上的 [线性回归示例](https://scikit-learn.org/stable/auto_examples/linear_model/plot_ols.html#sphx-glr-auto-examples-linear-model-plot-ols-py)。 + +[](https://youtu.be/2xkXL5EUpS0 "机器学习初学者 - 你的第一个 Python 线性回归项目") + +> 🎥 点击上面的图片观看一个简短的视频，了解如何进行此练习。 + +在与本课相关的 _notebook.ipynb_ 文件中，按下“垃圾桶”图标清除所有单元格。 + +在本节中，你将使用一个内置于 Scikit-learn 中的小数据集，关于糖尿病。假设你想测试一种糖尿病患者的治疗方法。机器学习模型可以帮助你确定哪些患者在不同变量组合下对治疗反应更好。即使是一个非常基本的回归模型，当可视化时，也可能显示出关于变量的信息，这些信息可以帮助你组织理论上的临床试验。 + +✅ 回归方法有很多种，选择哪一种取决于你要回答的问题。如果你想预测一个特定年龄的人的可能身高，你会使用线性回归，因为你在寻找一个**数值值**。如果你想知道某种菜肴是否应该被认为是素食，你在寻找一个**类别分配**，因此你会使用逻辑回归。你稍后会学习更多关于逻辑回归的内容。想一想你可以向数据提出的一些问题，以及哪种方法更合适。 + +让我们开始这个任务。 + +### 导入库 + +对于这个任务，我们将导入一些库： + +- **matplotlib**。这是一个有用的 [绘图工具](https://matplotlib.org/)，我们将使用它来创建折线图。 +- **numpy**。 [numpy](https://numpy.org/doc/stable/user/whatisnumpy.html) 是一个处理 Python 数值数据的有用库。 +- **sklearn**。这是 [Scikit-learn](https://scikit-learn.org/stable/user_guide.html) 库。 + +导入一些库来帮助你完成任务。 + +1. 通过输入以下代码添加导入： + + ```python + import matplotlib.pyplot as plt + import numpy as np + from sklearn import datasets, linear_model, model_selection + ``` + + 上面你正在导入 `matplotlib`, `numpy` and you are importing `datasets`, `linear_model` and `model_selection` from `sklearn`. `model_selection` is used for splitting data into training and test sets. + +### The diabetes dataset + +The built-in [diabetes dataset](https://scikit-learn.org/stable/datasets/toy_dataset.html#diabetes-dataset) includes 442 samples of data around diabetes, with 10 feature variables, some of which include: + +- age: age in years +- bmi: body mass index +- bp: average blood pressure +- s1 tc: T-Cells (a type of white blood cells) + +✅ This dataset includes the concept of 'sex' as a feature variable important to research around diabetes. Many medical datasets include this type of binary classification. Think a bit about how categorizations such as this might exclude certain parts of a population from treatments. + +Now, load up the X and y data. + +> 🎓 Remember, this is supervised learning, and we need a named 'y' target. + +In a new code cell, load the diabetes dataset by calling `load_diabetes()`. The input `return_X_y=True` signals that `X` will be a data matrix, and `y` 将是回归目标。 + +1. 添加一些打印命令以显示数据矩阵的形状及其第一个元素： + + ```python + X, y = datasets.load_diabetes(return_X_y=True) + print(X.shape) + print(X[0]) + ``` + + 你得到的响应是一个元组。你所做的是将元组的前两个值分别分配给 `X` and `y`。了解更多 [关于元组](https://wikipedia.org/wiki/Tuple)。 + + 你可以看到这个数据有 442 个项目，形状为 10 个元素的数组： + + ```text + (442, 10) + [ 0.03807591 0.05068012 0.06169621 0.02187235 -0.0442235 -0.03482076 + -0.04340085 -0.00259226 0.01990842 -0.01764613] + ``` + + ✅ 想一想数据和回归目标之间的关系。线性回归预测特征 X 和目标变量 y 之间的关系。你能在文档中找到糖尿病数据集的 [目标](https://scikit-learn.org/stable/datasets/toy_dataset.html#diabetes-dataset) 吗？考虑到目标，这个数据集在展示什么？ + +2. 接下来，通过选择数据集的第 3 列来绘制一部分数据。你可以通过使用 `:` operator to select all rows, and then selecting the 3rd column using the index (2). You can also reshape the data to be a 2D array - as required for plotting - by using `reshape(n_rows, n_columns)` 来实现。如果其中一个参数为 -1，则自动计算相应的维度。 + + ```python + X = X[:, 2] + X = X.reshape((-1,1)) + ``` + + ✅ 随时打印出数据以检查其形状。 + +3. 现在你已经准备好要绘制的数据，可以看看机器是否能帮助确定此数据集中数字之间的逻辑分割。为此，你需要将数据（X）和目标（y）分成测试集和训练集。Scikit-learn 有一个简单的方法来做到这一点；你可以在给定点分割测试数据。 + + ```python + X_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=0.33) + ``` + +4. 现在你准备好训练你的模型了！加载线性回归模型，并使用 `model.fit()` 训练你的 X 和 y 训练集： + + ```python + model = linear_model.LinearRegression() + model.fit(X_train, y_train) + ``` + + ✅ `model.fit()` is a function you'll see in many ML libraries such as TensorFlow + +5. Then, create a prediction using test data, using the function `predict()`。这将用于在数据组之间画线 + + ```python + y_pred = model.predict(X_test) + ``` + +6. 现在是时候在图中显示数据了。Matplotlib 是完成此任务的非常有用的工具。创建所有 X 和 y 测试数据的散点图，并使用预测在模型的数据组之间的最合适位置画一条线。 + + ```python + plt.scatter(X_test, y_test, color='black') + plt.plot(X_test, y_pred, color='blue', linewidth=3) + plt.xlabel('Scaled BMIs') + plt.ylabel('Disease Progression') + plt.title('A Graph Plot Showing Diabetes Progression Against BMI') + plt.show() + ``` + +  + + ✅ 想一想这里发生了什么。一条直线穿过许多小数据点，但它到底在做什么？你能看到如何使用这条线来预测一个新的、未见过的数据点在图的 y 轴上的位置吗？试着用语言描述这个模型的实际用途。 + +恭喜你，你构建了你的第一个线性回归模型，用它进行了预测，并在图中显示了它！ + +--- +## 🚀挑战 + +绘制此数据集的不同变量。提示：编辑这行：`X = X[:,2]`。考虑到这个数据集的目标，你能发现糖尿病作为一种疾病的进展情况吗？ +## [课后测验](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/10/) + +## 复习与自学 + +在本教程中，你使用了简单线性回归，而不是单变量或多变量线性回归。阅读一下这些方法之间的区别，或者看看 [这个视频](https://www.coursera.org/lecture/quantifying-relationships-regression-models/linear-vs-nonlinear-categorical-variables-ai2Ef)。 + +阅读更多关于回归概念的内容，并思考可以用这种技术回答哪些问题。参加这个 [教程](https://docs.microsoft.com/learn/modules/train-evaluate-regression-models?WT.mc_id=academic-77952-leestott) 以加深理解。 + +## 作业 + +[不同的数据集](assignment.md) + +**免责声明**: +本文档是使用机器翻译服务翻译的。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原始语言的文档视为权威来源。对于关键信息，建议使用专业人工翻译。对于因使用此翻译而引起的任何误解或误读，我们不承担责任。 \ No newline at end of file diff --git a/translations/zh/2-Regression/1-Tools/assignment.md b/translations/zh/2-Regression/1-Tools/assignment.md new file mode 100644 index 000000000..c83d52ae8 --- /dev/null +++ b/translations/zh/2-Regression/1-Tools/assignment.md @@ -0,0 +1,16 @@ +# 使用Scikit-learn进行回归分析 + +## 说明 + +查看Scikit-learn中的 [Linnerud 数据集](https://scikit-learn.org/stable/modules/generated/sklearn.datasets.load_linnerud.html#sklearn.datasets.load_linnerud)。这个数据集有多个 [目标](https://scikit-learn.org/stable/datasets/toy_dataset.html#linnerrud-dataset)：'它由来自健身俱乐部的二十名中年男性的三项运动（数据）和三项生理（目标）变量组成'。 + +用你自己的话描述如何创建一个回归模型，该模型将绘制腰围与完成仰卧起坐次数之间的关系。对该数据集中的其他数据点也做同样的描述。 + +## 评分标准 + +| 标准 | 杰出 | 合格 | 需要改进 | +| ----------------------------- | -------------------------------- | --------------------------- | ------------------------ | +| 提交描述性段落 | 提交的段落写得很好 | 提交了几句话 | 没有提供描述 | + +**免责声明**： +本文档使用基于机器的人工智能翻译服务进行翻译。虽然我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原始文档的母语版本视为权威来源。对于关键信息，建议进行专业人工翻译。对于因使用此翻译而引起的任何误解或误读，我们概不负责。 \ No newline at end of file diff --git a/translations/zh/2-Regression/1-Tools/solution/Julia/README.md b/translations/zh/2-Regression/1-Tools/solution/Julia/README.md new file mode 100644 index 000000000..60f126054 --- /dev/null +++ b/translations/zh/2-Regression/1-Tools/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**免责声明**： +本文档使用基于机器的AI翻译服务进行翻译。虽然我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原始语言的文档视为权威来源。对于关键信息，建议进行专业的人类翻译。我们不对因使用此翻译而产生的任何误解或误读承担责任。 \ No newline at end of file diff --git a/translations/zh/2-Regression/2-Data/README.md b/translations/zh/2-Regression/2-Data/README.md new file mode 100644 index 000000000..332261e01 --- /dev/null +++ b/translations/zh/2-Regression/2-Data/README.md @@ -0,0 +1,215 @@ +# 使用 Scikit-learn 构建回归模型：准备和可视化数据 + + + +信息图由 [Dasani Madipalli](https://twitter.com/dasani_decoded) 提供 + +## [课前测验](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/11/) + +> ### [本课程有 R 版本！](../../../../2-Regression/2-Data/solution/R/lesson_2.html) + +## 介绍 + +现在你已经准备好了使用 Scikit-learn 构建机器学习模型的工具，你可以开始向你的数据提出问题了。在处理数据和应用机器学习解决方案时，理解如何提出正确的问题以正确地释放数据集的潜力是非常重要的。 + +在本课中，你将学习： + +- 如何为模型构建准备数据。 +- 如何使用 Matplotlib 进行数据可视化。 + +## 向数据提出正确的问题 + +你需要回答的问题将决定你将使用哪种类型的机器学习算法。而你得到的答案的质量将在很大程度上取决于你的数据的性质。 + +看看为本课提供的[数据](https://github.com/microsoft/ML-For-Beginners/blob/main/2-Regression/data/US-pumpkins.csv)。你可以在 VS Code 中打开这个 .csv 文件。快速浏览一下，你会发现有空白和混合的字符串和数字数据。还有一个奇怪的列叫做 'Package'，其中的数据是 'sacks'、'bins' 和其他值的混合。实际上，这些数据有点乱。 + +[](https://youtu.be/5qGjczWTrDQ "初学者的机器学习 - 如何分析和清理数据集") + +> 🎥 点击上方图片观看准备本课数据的短视频。 + +实际上，很少有数据集是完全准备好直接用于创建机器学习模型的。在本课中，你将学习如何使用标准 Python 库准备原始数据集。你还将学习各种数据可视化技术。 + +## 案例研究：'南瓜市场' + +在这个文件夹中，你会在根 `data` 文件夹中找到一个名为 [US-pumpkins.csv](https://github.com/microsoft/ML-For-Beginners/blob/main/2-Regression/data/US-pumpkins.csv) 的 .csv 文件，其中包含关于南瓜市场的 1757 行数据，按城市分组。这是从美国农业部分发的[特色作物终端市场标准报告](https://www.marketnews.usda.gov/mnp/fv-report-config-step1?type=termPrice)中提取的原始数据。 + +### 准备数据 + +这些数据是公共领域的数据。可以从 USDA 网站按城市下载多个单独的文件。为了避免太多单独的文件，我们将所有城市的数据合并到一个电子表格中，因此我们已经_准备_了一些数据。接下来，让我们仔细看看这些数据。 + +### 南瓜数据 - 初步结论 + +你注意到这些数据有什么特点？你已经看到有字符串、数字、空白和奇怪的值混合在一起，需要你理解。 + +你可以用回归技术向这些数据提出什么问题？比如“预测某个月份出售的南瓜价格”。再看看数据，你需要做一些更改来创建所需的任务数据结构。 + +## 练习 - 分析南瓜数据 + +让我们使用 [Pandas](https://pandas.pydata.org/)，（名称代表 `Python Data Analysis`）这是一个非常有用的数据处理工具，来分析和准备这些南瓜数据。 + +### 首先，检查缺失日期 + +你首先需要采取措施检查缺失日期： + +1. 将日期转换为月份格式（这些是美国日期，所以格式是 `MM/DD/YYYY`）。 +2. 提取月份到新列。 + +在 Visual Studio Code 中打开 _notebook.ipynb_ 文件，并将电子表格导入到新的 Pandas 数据框中。 + +1. 使用 `head()` 函数查看前五行。 + + ```python + import pandas as pd + pumpkins = pd.read_csv('../data/US-pumpkins.csv') + pumpkins.head() + ``` + + ✅ 你会使用什么函数来查看最后五行？ + +1. 检查当前数据框中是否有缺失数据： + + ```python + pumpkins.isnull().sum() + ``` + + 有缺失数据，但可能对当前任务没有影响。 + +1. 为了使数据框更容易处理，仅选择需要的列，使用 `loc` function which extracts from the original dataframe a group of rows (passed as first parameter) and columns (passed as second parameter). The expression `:`，下面的例子中表示“所有行”。 + + ```python + columns_to_select = ['Package', 'Low Price', 'High Price', 'Date'] + pumpkins = pumpkins.loc[:, columns_to_select] + ``` + +### 其次，确定南瓜的平均价格 + +思考如何确定某个月份南瓜的平均价格。你会选择哪些列来完成这个任务？提示：你需要 3 列。 + +解决方案：取 `Low Price` and `High Price` 列的平均值填充新的 Price 列，并将 Date 列转换为仅显示月份。幸运的是，根据上面的检查，日期或价格没有缺失数据。 + +1. 要计算平均值，添加以下代码： + + ```python + price = (pumpkins['Low Price'] + pumpkins['High Price']) / 2 + + month = pd.DatetimeIndex(pumpkins['Date']).month + + ``` + + ✅ 随时使用 `print(month)` 打印任何你想检查的数据。 + +2. 现在，将转换后的数据复制到新的 Pandas 数据框中： + + ```python + new_pumpkins = pd.DataFrame({'Month': month, 'Package': pumpkins['Package'], 'Low Price': pumpkins['Low Price'],'High Price': pumpkins['High Price'], 'Price': price}) + ``` + + 打印出你的数据框，你会看到一个干净、整洁的数据集，你可以在其上构建新的回归模型。 + +### 但是等等！这里有些奇怪的东西 + +如果你看看 `Package` column, pumpkins are sold in many different configurations. Some are sold in '1 1/9 bushel' measures, and some in '1/2 bushel' measures, some per pumpkin, some per pound, and some in big boxes with varying widths. + +> Pumpkins seem very hard to weigh consistently + +Digging into the original data, it's interesting that anything with `Unit of Sale` equalling 'EACH' or 'PER BIN' also have the `Package` type per inch, per bin, or 'each'. Pumpkins seem to be very hard to weigh consistently, so let's filter them by selecting only pumpkins with the string 'bushel' in their `Package` 列。 + +1. 在文件顶部的初始 .csv 导入下添加一个过滤器： + + ```python + pumpkins = pumpkins[pumpkins['Package'].str.contains('bushel', case=True, regex=True)] + ``` + + 如果你现在打印数据，你会看到你只得到了大约 415 行包含蒲式耳单位的南瓜数据。 + +### 但是等等！还有一件事要做 + +你注意到每行的蒲式耳量不同吗？你需要标准化定价以显示每蒲式耳的价格，所以做一些数学运算来标准化它。 + +1. 在创建 new_pumpkins 数据框的代码块后添加这些行： + + ```python + new_pumpkins.loc[new_pumpkins['Package'].str.contains('1 1/9'), 'Price'] = price/(1 + 1/9) + + new_pumpkins.loc[new_pumpkins['Package'].str.contains('1/2'), 'Price'] = price/(1/2) + ``` + +✅ 根据 [The Spruce Eats](https://www.thespruceeats.com/how-much-is-a-bushel-1389308)，蒲式耳的重量取决于产品的类型，因为它是一个体积测量单位。“例如，一蒲式耳的西红柿应该重 56 磅……叶类蔬菜占据更多空间但重量较轻，所以一蒲式耳的菠菜只有 20 磅。”这都相当复杂！我们不必进行蒲式耳到磅的转换，而是按蒲式耳定价。所有这些对南瓜蒲式耳的研究，表明了解数据的性质是多么重要！ + +现在，你可以根据蒲式耳测量分析每单位的定价。如果你再打印一次数据，你会看到它是如何标准化的。 + +✅ 你注意到按半蒲式耳出售的南瓜非常贵吗？你能找出原因吗？提示：小南瓜比大南瓜贵得多，可能是因为每蒲式耳有更多的小南瓜，而一个大南瓜占用了很多空间。 + +## 可视化策略 + +数据科学家的职责之一是展示他们所处理的数据的质量和性质。为此，他们经常创建有趣的可视化，例如图表、图形和图表，展示数据的不同方面。通过这种方式，他们能够直观地展示关系和难以发现的差距。 + +[](https://youtu.be/SbUkxH6IJo0 "初学者的机器学习 - 如何使用 Matplotlib 进行数据可视化") + +> 🎥 点击上方图片观看本课数据可视化的短视频。 + +可视化还可以帮助确定最适合数据的机器学习技术。例如，似乎遵循一条线的散点图表明该数据是线性回归练习的良好候选数据。 + +一个在 Jupyter 笔记本中效果很好的数据可视化库是 [Matplotlib](https://matplotlib.org/)（你在上一课中也看到了它）。 + +> 在[这些教程](https://docs.microsoft.com/learn/modules/explore-analyze-data-with-python?WT.mc_id=academic-77952-leestott)中获得更多数据可视化经验。 + +## 练习 - 试验 Matplotlib + +尝试创建一些基本图表来显示你刚创建的新数据框。基本折线图会显示什么？ + +1. 在文件顶部，Pandas 导入下方导入 Matplotlib： + + ```python + import matplotlib.pyplot as plt + ``` + +1. 重新运行整个笔记本以刷新。 +1. 在笔记本底部添加一个单元格，将数据绘制为箱形图： + + ```python + price = new_pumpkins.Price + month = new_pumpkins.Month + plt.scatter(price, month) + plt.show() + ``` + +  + + 这是一个有用的图表吗？它有什么让你惊讶的地方吗？ + + 这并不是特别有用，因为它只是在给定月份中显示你的数据点的分布。 + +### 使其有用 + +为了让图表显示有用的数据，你通常需要以某种方式对数据进行分组。让我们尝试创建一个图表，其中 y 轴显示月份，数据展示数据的分布。 + +1. 添加一个单元格以创建分组条形图： + + ```python + new_pumpkins.groupby(['Month'])['Price'].mean().plot(kind='bar') + plt.ylabel("Pumpkin Price") + ``` + +  + + 这是一个更有用的数据可视化！它似乎表明南瓜的最高价格出现在九月和十月。这个符合你的预期吗？为什么或为什么不？ + +--- + +## 🚀挑战 + +探索 Matplotlib 提供的不同类型的可视化。哪些类型最适合回归问题？ + +## [课后测验](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/12/) + +## 回顾与自学 + +看看数据可视化的多种方式。列出各种可用的库，并注明哪些库最适合特定类型的任务，例如 2D 可视化与 3D 可视化。你发现了什么？ + +## 作业 + +[探索可视化](assignment.md) + +**免责声明**: +本文件是使用机器翻译服务翻译的。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原文档视为权威来源。对于关键信息，建议使用专业人工翻译。我们不对使用此翻译引起的任何误解或曲解承担责任。 \ No newline at end of file diff --git a/translations/zh/2-Regression/2-Data/assignment.md b/translations/zh/2-Regression/2-Data/assignment.md new file mode 100644 index 000000000..b799a65e7 --- /dev/null +++ b/translations/zh/2-Regression/2-Data/assignment.md @@ -0,0 +1,11 @@ +# 探索可视化 + +有几种不同的库可用于数据可视化。使用本课中的南瓜数据在一个示例笔记本中创建一些可视化图表，使用matplotlib和seaborn。哪些库更容易使用？ +## 评分标准 + +| 标准 | 卓越 | 充分 | 需要改进 | +| ---- | ---- | ---- | -------- | +| | 提交的笔记本中有两个探索/可视化图表 | 提交的笔记本中有一个探索/可视化图表 | 未提交笔记本 | + +**免责声明**: +本文件使用基于机器的AI翻译服务进行翻译。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原始语言的文件视为权威来源。对于关键信息，建议使用专业人工翻译。我们对因使用此翻译而引起的任何误解或误读不承担责任。 \ No newline at end of file diff --git a/translations/zh/2-Regression/2-Data/solution/Julia/README.md b/translations/zh/2-Regression/2-Data/solution/Julia/README.md new file mode 100644 index 000000000..40832f9a9 --- /dev/null +++ b/translations/zh/2-Regression/2-Data/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**免责声明**： +本文件使用基于机器的人工智能翻译服务进行翻译。虽然我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原文档的母语版本视为权威来源。对于关键信息，建议进行专业人工翻译。对于因使用本翻译而产生的任何误解或误读，我们不承担任何责任。 \ No newline at end of file diff --git a/translations/zh/2-Regression/3-Linear/README.md b/translations/zh/2-Regression/3-Linear/README.md new file mode 100644 index 000000000..1d2ba68dd --- /dev/null +++ b/translations/zh/2-Regression/3-Linear/README.md @@ -0,0 +1,370 @@ +# 使用 Scikit-learn 构建回归模型：四种回归方法 + + +> 信息图作者 [Dasani Madipalli](https://twitter.com/dasani_decoded) +## [课前测验](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/13/) + +> ### [这节课也有 R 版本！](../../../../2-Regression/3-Linear/solution/R/lesson_3.html) +### 介绍 + +到目前为止，你已经用南瓜定价数据集的示例数据探索了什么是回归，并用 Matplotlib 对其进行了可视化。 + +现在你已经准备好深入了解机器学习中的回归。虽然可视化可以帮助你理解数据，但机器学习的真正力量在于_训练模型_。模型在历史数据上进行训练，以自动捕捉数据依赖关系，并允许你预测模型从未见过的新数据的结果。 + +在本课中，你将学习两种类型的回归：_基本线性回归_和_多项式回归_，以及这些技术背后的一些数学原理。这些模型将允许我们根据不同的输入数据预测南瓜价格。 + +[](https://youtu.be/CRxFT8oTDMg "初学者的机器学习 - 理解线性回归") + +> 🎥 点击上面的图片观看关于线性回归的简短视频概述。 + +> 在整个课程中，我们假设数学知识最低，并努力使其对来自其他领域的学生可访问，因此请注意笔记、🧮 标注、图表和其他学习工具以帮助理解。 + +### 前提条件 + +到现在为止，你应该熟悉我们正在检查的南瓜数据的结构。你可以在本课的_notebook.ipynb_文件中找到预加载和预清理的数据。在文件中，南瓜价格按蒲式耳显示在一个新的数据框中。确保你可以在 Visual Studio Code 的内核中运行这些笔记本。 + +### 准备工作 + +提醒一下，你正在加载这些数据以便提出问题。 + +- 什么时候是购买南瓜的最佳时间？ +- 我可以期待一个迷你南瓜盒的价格是多少？ +- 我应该购买半蒲式耳的篮子还是1 1/9蒲式耳的盒子？ +让我们继续深入挖掘这些数据。 + +在上一课中，你创建了一个 Pandas 数据框，并用部分原始数据集填充它，按蒲式耳标准化价格。然而，通过这样做，你只能收集到约400个数据点，而且只是在秋季月份。 + +看看我们在本课配套笔记本中预加载的数据。数据已预加载，并绘制了初始散点图以显示月份数据。也许我们可以通过进一步清理数据来了解更多关于数据的性质。 + +## 线性回归线 + +正如你在第一课中所学，线性回归练习的目标是能够绘制一条线来： + +- **显示变量关系**。显示变量之间的关系 +- **做出预测**。准确预测新数据点在该线上的位置。 + +这种类型的线通常是通过**最小二乘回归**绘制的。术语“最小二乘”意味着所有围绕回归线的数据点都被平方然后相加。理想情况下，最终的总和尽可能小，因为我们希望错误数量低，即`least-squares`。 + +我们这样做是因为我们希望建模一条线，使其与所有数据点的累计距离最小。我们在相加之前将项平方，因为我们关心的是它的大小而不是方向。 + +> **🧮 给我展示数学** +> +> 这条线，称为_最佳拟合线_，可以通过[一个方程](https://en.wikipedia.org/wiki/Simple_linear_regression)来表示： +> +> ``` +> Y = a + bX +> ``` +> +> `X` is the 'explanatory variable'. `Y` is the 'dependent variable'. The slope of the line is `b` and `a` is the y-intercept, which refers to the value of `Y` when `X = 0`. +> +> +> +> First, calculate the slope `b`. Infographic by [Jen Looper](https://twitter.com/jenlooper) +> +> In other words, and referring to our pumpkin data's original question: "predict the price of a pumpkin per bushel by month", `X` would refer to the price and `Y` would refer to the month of sale. +> +> +> +> Calculate the value of Y. If you're paying around $4, it must be April! Infographic by [Jen Looper](https://twitter.com/jenlooper) +> +> The math that calculates the line must demonstrate the slope of the line, which is also dependent on the intercept, or where `Y` is situated when `X = 0`. +> +> You can observe the method of calculation for these values on the [Math is Fun](https://www.mathsisfun.com/data/least-squares-regression.html) web site. Also visit [this Least-squares calculator](https://www.mathsisfun.com/data/least-squares-calculator.html) to watch how the numbers' values impact the line. + +## Correlation + +One more term to understand is the **Correlation Coefficient** between given X and Y variables. Using a scatterplot, you can quickly visualize this coefficient. A plot with datapoints scattered in a neat line have high correlation, but a plot with datapoints scattered everywhere between X and Y have a low correlation. + +A good linear regression model will be one that has a high (nearer to 1 than 0) Correlation Coefficient using the Least-Squares Regression method with a line of regression. + +✅ Run the notebook accompanying this lesson and look at the Month to Price scatterplot. Does the data associating Month to Price for pumpkin sales seem to have high or low correlation, according to your visual interpretation of the scatterplot? Does that change if you use more fine-grained measure instead of `Month`, eg. *day of the year* (i.e. number of days since the beginning of the year)? + +In the code below, we will assume that we have cleaned up the data, and obtained a data frame called `new_pumpkins`, similar to the following: + +ID | Month | DayOfYear | Variety | City | Package | Low Price | High Price | Price +---|-------|-----------|---------|------|---------|-----------|------------|------- +70 | 9 | 267 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 15.0 | 15.0 | 13.636364 +71 | 9 | 267 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 18.0 | 18.0 | 16.363636 +72 | 10 | 274 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 18.0 | 18.0 | 16.363636 +73 | 10 | 274 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 17.0 | 17.0 | 15.454545 +74 | 10 | 281 | PIE TYPE | BALTIMORE | 1 1/9 bushel cartons | 15.0 | 15.0 | 13.636364 + +> The code to clean the data is available in [`notebook.ipynb`](../../../../2-Regression/3-Linear/notebook.ipynb). We have performed the same cleaning steps as in the previous lesson, and have calculated `DayOfYear` 列使用以下表达式： + +```python +day_of_year = pd.to_datetime(pumpkins['Date']).apply(lambda dt: (dt-datetime(dt.year,1,1)).days) +``` + +现在你已经了解了线性回归背后的数学原理，让我们创建一个回归模型，看看我们是否可以预测哪种南瓜包装的价格最好。有人为节日南瓜田购买南瓜可能需要这些信息，以优化他们的南瓜包购买。 + +## 寻找相关性 + +[](https://youtu.be/uoRq-lW2eQo "初学者的机器学习 - 寻找相关性：线性回归的关键") + +> 🎥 点击上面的图片观看关于相关性的简短视频概述。 + +从上一课中你可能已经看到，不同月份的平均价格如下所示： + +
+
+这表明应该有一些相关性，我们可以尝试训练线性回归模型来预测`Month` and `Price`, or between `DayOfYear` and `Price`. Here is the scatter plot that shows the latter relationship:
+
+
+
+Let's see if there is a correlation using the `corr`函数之间的关系：
+
+```python
+print(new_pumpkins['Month'].corr(new_pumpkins['Price']))
+print(new_pumpkins['DayOfYear'].corr(new_pumpkins['Price']))
+```
+
+看起来相关性很小，-0.15 通过`Month` and -0.17 by the `DayOfMonth`, but there could be another important relationship. It looks like there are different clusters of prices corresponding to different pumpkin varieties. To confirm this hypothesis, let's plot each pumpkin category using a different color. By passing an `ax` parameter to the `scatter`绘图函数我们可以在同一张图上绘制所有点：
+
+```python
+ax=None
+colors = ['red','blue','green','yellow']
+for i,var in enumerate(new_pumpkins['Variety'].unique()):
+ df = new_pumpkins[new_pumpkins['Variety']==var]
+ ax = df.plot.scatter('DayOfYear','Price',ax=ax,c=colors[i],label=var)
+```
+
+
+
+我们的调查表明，品种对总体价格的影响比实际销售日期更大。我们可以通过柱状图看到这一点：
+
+```python
+new_pumpkins.groupby('Variety')['Price'].mean().plot(kind='bar')
+```
+
+
+
+让我们暂时只关注一种南瓜品种，“派型”，看看日期对价格的影响：
+
+```python
+pie_pumpkins = new_pumpkins[new_pumpkins['Variety']=='PIE TYPE']
+pie_pumpkins.plot.scatter('DayOfYear','Price')
+```
+
+
+如果我们现在计算`Price` and `DayOfYear` using `corr` function, we will get something like `-0.27`之间的相关性 - 这意味着训练预测模型是有意义的。
+
+> 在训练线性回归模型之前，确保数据干净是很重要的。线性回归不适用于缺失值，因此清除所有空单元格是有意义的：
+
+```python
+pie_pumpkins.dropna(inplace=True)
+pie_pumpkins.info()
+```
+
+另一种方法是用相应列的平均值填充这些空值。
+
+## 简单线性回归
+
+[](https://youtu.be/e4c_UP2fSjg "初学者的机器学习 - 使用 Scikit-learn 的线性和多项式回归")
+
+> 🎥 点击上面的图片观看关于线性和多项式回归的简短视频概述。
+
+为了训练我们的线性回归模型，我们将使用**Scikit-learn**库。
+
+```python
+from sklearn.linear_model import LinearRegression
+from sklearn.metrics import mean_squared_error
+from sklearn.model_selection import train_test_split
+```
+
+我们首先将输入值（特征）和预期输出（标签）分离到单独的 numpy 数组中：
+
+```python
+X = pie_pumpkins['DayOfYear'].to_numpy().reshape(-1,1)
+y = pie_pumpkins['Price']
+```
+
+> 请注意，我们必须对输入数据执行`reshape`操作，以便线性回归包能够正确理解它。线性回归期望输入为二维数组，其中数组的每一行对应一个输入特征向量。在我们的例子中，由于我们只有一个输入 - 我们需要一个形状为 N×1 的数组，其中 N 是数据集大小。
+
+然后，我们需要将数据分成训练和测试数据集，以便在训练后验证我们的模型：
+
+```python
+X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+```
+
+最后，训练实际的线性回归模型只需要两行代码。我们定义`LinearRegression` object, and fit it to our data using the `fit`方法：
+
+```python
+lin_reg = LinearRegression()
+lin_reg.fit(X_train,y_train)
+```
+
+`LinearRegression` object after `fit`-ting contains all the coefficients of the regression, which can be accessed using `.coef_` property. In our case, there is just one coefficient, which should be around `-0.017`. It means that prices seem to drop a bit with time, but not too much, around 2 cents per day. We can also access the intersection point of the regression with Y-axis using `lin_reg.intercept_` - it will be around `21`在我们的例子中，表示年初的价格。
+
+为了查看我们的模型有多准确，我们可以在测试数据集上预测价格，然后测量我们的预测与预期值的接近程度。这可以使用均方误差（MSE）指标来完成，这是所有预期值和预测值之间的平方差的平均值。
+
+```python
+pred = lin_reg.predict(X_test)
+
+mse = np.sqrt(mean_squared_error(y_test,pred))
+print(f'Mean error: {mse:3.3} ({mse/np.mean(pred)*100:3.3}%)')
+```
+
+我们的误差似乎在2点左右，大约是17%。另一个模型质量的指标是**决定系数**，可以这样获得：
+
+```python
+score = lin_reg.score(X_train,y_train)
+print('Model determination: ', score)
+```
+如果值为0，则意味着模型不考虑输入数据，并作为*最差线性预测器*，即结果的简单平均值。值为1意味着我们可以完美预测所有预期输出。在我们的例子中，系数约为0.06，这相当低。
+
+我们还可以将测试数据与回归线一起绘制，以更好地了解回归在我们的案例中是如何工作的：
+
+```python
+plt.scatter(X_test,y_test)
+plt.plot(X_test,pred)
+```
+
+
+
+## 多项式回归
+
+另一种线性回归是多项式回归。有时变量之间存在线性关系 - 南瓜体积越大，价格越高 - 有时这些关系不能绘制为平面或直线。
+
+✅ 这里有[更多示例](https://online.stat.psu.edu/stat501/lesson/9/9.8)说明可以使用多项式回归的数据
+
+再看看日期与价格之间的关系。这个散点图看起来是否一定要用直线来分析？价格不能波动吗？在这种情况下，你可以尝试多项式回归。
+
+✅ 多项式是可能包含一个或多个变量和系数的数学表达式
+
+多项式回归创建一条曲线以更好地拟合非线性数据。在我们的例子中，如果我们在输入数据中包含一个平方的`DayOfYear`变量，我们应该能够用一条抛物线来拟合我们的数据，该抛物线将在一年中的某一点达到最低点。
+
+Scikit-learn 包含一个有用的[pipeline API](https://scikit-learn.org/stable/modules/generated/sklearn.pipeline.make_pipeline.html?highlight=pipeline#sklearn.pipeline.make_pipeline)，可以将不同的数据处理步骤组合在一起。**管道**是**估计器**的链。在我们的例子中，我们将创建一个管道，首先将多项式特征添加到我们的模型中，然后训练回归：
+
+```python
+from sklearn.preprocessing import PolynomialFeatures
+from sklearn.pipeline import make_pipeline
+
+pipeline = make_pipeline(PolynomialFeatures(2), LinearRegression())
+
+pipeline.fit(X_train,y_train)
+```
+
+使用`PolynomialFeatures(2)` means that we will include all second-degree polynomials from the input data. In our case it will just mean `DayOfYear`2, but given two input variables X and Y, this will add X2, XY and Y2. We may also use higher degree polynomials if we want.
+
+Pipelines can be used in the same manner as the original `LinearRegression` object, i.e. we can `fit` the pipeline, and then use `predict` to get the prediction results. Here is the graph showing test data, and the approximation curve:
+
+
+
+Using Polynomial Regression, we can get slightly lower MSE and higher determination, but not significantly. We need to take into account other features!
+
+> You can see that the minimal pumpkin prices are observed somewhere around Halloween. How can you explain this?
+
+🎃 Congratulations, you just created a model that can help predict the price of pie pumpkins. You can probably repeat the same procedure for all pumpkin types, but that would be tedious. Let's learn now how to take pumpkin variety into account in our model!
+
+## Categorical Features
+
+In the ideal world, we want to be able to predict prices for different pumpkin varieties using the same model. However, the `Variety` column is somewhat different from columns like `Month`, because it contains non-numeric values. Such columns are called **categorical**.
+
+[](https://youtu.be/DYGliioIAE0 "ML for beginners - Categorical Feature Predictions with Linear Regression")
+
+> 🎥 Click the image above for a short video overview of using categorical features.
+
+Here you can see how average price depends on variety:
+
+
+
+To take variety into account, we first need to convert it to numeric form, or **encode** it. There are several way we can do it:
+
+* Simple **numeric encoding** will build a table of different varieties, and then replace the variety name by an index in that table. This is not the best idea for linear regression, because linear regression takes the actual numeric value of the index, and adds it to the result, multiplying by some coefficient. In our case, the relationship between the index number and the price is clearly non-linear, even if we make sure that indices are ordered in some specific way.
+* **One-hot encoding** will replace the `Variety` column by 4 different columns, one for each variety. Each column will contain `1` if the corresponding row is of a given variety, and `0` 否则。这意味着线性回归中将有四个系数，每个南瓜品种一个，负责该特定品种的“起始价格”（或“附加价格”）。
+
+下面的代码显示了我们如何对一个品种进行独热编码：
+
+```python
+pd.get_dummies(new_pumpkins['Variety'])
+```
+
+ ID | FAIRYTALE | MINIATURE | MIXED HEIRLOOM VARIETIES | PIE TYPE
+----|-----------|-----------|--------------------------|----------
+70 | 0 | 0 | 0 | 1
+71 | 0 | 0 | 0 | 1
+... | ... | ... | ... | ...
+1738 | 0 | 1 | 0 | 0
+1739 | 0 | 1 | 0 | 0
+1740 | 0 | 1 | 0 | 0
+1741 | 0 | 1 | 0 | 0
+1742 | 0 | 1 | 0 | 0
+
+要使用独热编码品种作为输入训练线性回归，我们只需要正确初始化`X` and `y`数据：
+
+```python
+X = pd.get_dummies(new_pumpkins['Variety'])
+y = new_pumpkins['Price']
+```
+
+其余代码与我们上面用于训练线性回归的代码相同。如果你尝试一下，你会发现均方误差大致相同，但我们得到了更高的决定系数（约77%）。为了获得更准确的预测，我们可以考虑更多的分类特征，以及数值特征，如`Month` or `DayOfYear`. To get one large array of features, we can use `join`：
+
+```python
+X = pd.get_dummies(new_pumpkins['Variety']) \
+ .join(new_pumpkins['Month']) \
+ .join(pd.get_dummies(new_pumpkins['City'])) \
+ .join(pd.get_dummies(new_pumpkins['Package']))
+y = new_pumpkins['Price']
+```
+
+在这里我们还考虑了`City` and `Package`类型，这给我们带来了MSE 2.84（10%）和决定系数0.94！
+
+## 综合起来
+
+为了制作最佳模型，我们可以使用上述示例中的组合（独热编码分类 + 数值）数据与多项式回归。以下是完整代码，供你参考：
+
+```python
+# set up training data
+X = pd.get_dummies(new_pumpkins['Variety']) \
+ .join(new_pumpkins['Month']) \
+ .join(pd.get_dummies(new_pumpkins['City'])) \
+ .join(pd.get_dummies(new_pumpkins['Package']))
+y = new_pumpkins['Price']
+
+# make train-test split
+X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+
+# setup and train the pipeline
+pipeline = make_pipeline(PolynomialFeatures(2), LinearRegression())
+pipeline.fit(X_train,y_train)
+
+# predict results for test data
+pred = pipeline.predict(X_test)
+
+# calculate MSE and determination
+mse = np.sqrt(mean_squared_error(y_test,pred))
+print(f'Mean error: {mse:3.3} ({mse/np.mean(pred)*100:3.3}%)')
+
+score = pipeline.score(X_train,y_train)
+print('Model determination: ', score)
+```
+
+这应该给我们几乎97%的最佳决定系数，MSE=2.23（~8%的预测误差）。
+
+| 模型 | MSE | 决定系数 |
+|-------|-----|-----------|
+| `DayOfYear` Linear | 2.77 (17.2%) | 0.07 |
+| `DayOfYear` Polynomial | 2.73 (17.0%) | 0.08 |
+| `Variety` 线性 | 5.24 (19.7%) | 0.77 |
+| 所有特征线性 | 2.84 (10.5%) | 0.94 |
+| 所有特征多项式 | 2.23 (8.25%) | 0.97 |
+
+🏆 做得好！你在一节课中创建了四个回归模型，并将模型质量提高到97%。在回归的最后一部分中，你将学习逻辑回归以确定类别。
+
+---
+## 🚀挑战
+
+在这个笔记本中测试几个不同的变量，看看相关性如何对应于模型的准确性。
+
+## [课后测验](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/14/)
+
+## 复习与自学
+
+在本课中我们学习了线性回归。还有其他重要的回归类型。阅读逐步回归、岭回归、套索回归和弹性网回归技术。一个很好的课程是[斯坦福统计学习课程](https://online.stanford.edu/courses/sohs-ystatslearning-statistical-learning)
+
+## 作业
+
+[构建一个模型](assignment.md)
+
+**免责声明**:
+本文件使用机器翻译服务进行翻译。虽然我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原文档的母语版本视为权威来源。对于关键信息，建议使用专业人工翻译。对于因使用本翻译而产生的任何误解或误读，我们不承担责任。
\ No newline at end of file
diff --git a/translations/zh/2-Regression/3-Linear/assignment.md b/translations/zh/2-Regression/3-Linear/assignment.md
new file mode 100644
index 000000000..6afc4ae35
--- /dev/null
+++ b/translations/zh/2-Regression/3-Linear/assignment.md
@@ -0,0 +1,14 @@
+# 创建回归模型
+
+## 说明
+
+在本课中，你学习了如何使用线性回归和多项式回归来构建模型。利用这些知识，找到一个数据集或使用Scikit-learn的内置数据集来构建一个新的模型。在你的笔记本中解释你选择的技术，并展示你的模型的准确性。如果不准确，请解释原因。
+
+## 评分标准
+
+| 标准 | 模范表现 | 合格表现 | 需要改进 |
+| -------- | ------------------------------------------------------------ | -------------------------- | ----------------------------- |
+| | 提供了一个完整的笔记本，并且有详细的解决方案文档 | 解决方案不完整 | 解决方案有缺陷或存在错误 |
+
+**免责声明**:
+本文件使用基于机器的人工智能翻译服务进行翻译。虽然我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原始文件的母语版本视为权威来源。对于重要信息，建议使用专业人工翻译。对于因使用此翻译而产生的任何误解或误读，我们不承担责任。
\ No newline at end of file
diff --git a/translations/zh/2-Regression/3-Linear/solution/Julia/README.md b/translations/zh/2-Regression/3-Linear/solution/Julia/README.md
new file mode 100644
index 000000000..b3f15efd9
--- /dev/null
+++ b/translations/zh/2-Regression/3-Linear/solution/Julia/README.md
@@ -0,0 +1,4 @@
+
+
+**免责声明**:
+本文档使用基于机器的AI翻译服务进行翻译。尽管我们力求准确，但请注意，自动翻译可能包含错误或不准确之处。应将原文档的本国语言版本视为权威来源。对于关键信息，建议使用专业人工翻译。对于因使用此翻译而引起的任何误解或误读，我们概不负责。
\ No newline at end of file
diff --git a/translations/zh/2-Regression/4-Logistic/README.md b/translations/zh/2-Regression/4-Logistic/README.md
new file mode 100644
index 000000000..7407e413a
--- /dev/null
+++ b/translations/zh/2-Regression/4-Logistic/README.md
@@ -0,0 +1,395 @@
+# 使用逻辑回归预测分类
+
+
+
+## [课前测验](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/15/)
+
+> ### [本课程也有 R 版本！](../../../../2-Regression/4-Logistic/solution/R/lesson_4.html)
+
+## 简介
+
+在这最后一节关于回归的课程中，我们将介绍逻辑回归，这是一种经典的机器学习技术。你可以使用这种技术来发现模式并预测二元分类。这颗糖果是巧克力吗？这种疾病是否具有传染性？这个顾客会选择这个产品吗？
+
+在本课中，你将学习：
+
+- 一个新的数据可视化库
+- 逻辑回归的技巧
+
+✅ 在这个 [学习模块](https://docs.microsoft.com/learn/modules/train-evaluate-classification-models?WT.mc_id=academic-77952-leestott) 中深入了解如何使用这种回归方法
+
+## 前提条件
+
+在处理南瓜数据的过程中，我们已经足够熟悉这个数据集，意识到有一个二元分类可以使用：`Color`。
+
+让我们构建一个逻辑回归模型来预测，给定一些变量，_某个南瓜的颜色可能是什么_（橙色 🎃 或白色 👻）。
+
+> 为什么在回归课程中讨论二元分类？只是为了语言上的方便，因为逻辑回归实际上是 [一种分类方法](https://scikit-learn.org/stable/modules/linear_model.html#logistic-regression)，虽然它基于线性。了解其他分类数据的方法将在下一个课程组中讨论。
+
+## 定义问题
+
+对于我们的目的，我们将其表达为二元分类：“白色”或“非白色”。我们的数据集中还有一个“条纹”类别，但实例很少，所以我们不会使用它。无论如何，一旦我们从数据集中移除空值，它就会消失。
+
+> 🎃 有趣的事实，我们有时称白色南瓜为“幽灵”南瓜。它们不太容易雕刻，所以不像橙色南瓜那么受欢迎，但它们看起来很酷！所以我们也可以将问题重新表述为：“幽灵”或“非幽灵”。👻
+
+## 关于逻辑回归
+
+逻辑回归与之前学过的线性回归在几个重要方面有所不同。
+
+[](https://youtu.be/KpeCT6nEpBY "机器学习初学者 - 了解用于分类的逻辑回归")
+
+> 🎥 点击上方图片观看关于逻辑回归的简短视频概述。
+
+### 二元分类
+
+逻辑回归不提供与线性回归相同的功能。前者提供关于二元分类（“白色或非白色”）的预测，而后者能够预测连续值，例如给定南瓜的产地和收获时间，_其价格将上涨多少_。
+
+
+> 信息图由 [Dasani Madipalli](https://twitter.com/dasani_decoded) 提供
+
+### 其他分类
+
+还有其他类型的逻辑回归，包括多项和序数：
+
+- **多项式**，涉及多个类别 - “橙色、白色和条纹”。
+- **序数**，涉及有序类别，如果我们想根据有限数量的尺寸（迷你、小、中、大、超大、特大）对南瓜进行逻辑排序，这种方法很有用。
+
+
+
+### 变量不需要相关
+
+还记得线性回归在变量相关性更高时效果更好吗？逻辑回归正好相反 - 变量不需要对齐。这适用于相关性较弱的数据。
+
+### 你需要大量干净的数据
+
+如果使用更多数据，逻辑回归会给出更准确的结果；我们的小数据集对于这个任务来说并不理想，所以请记住这一点。
+
+[](https://youtu.be/B2X4H9vcXTs "机器学习初学者 - 数据分析与准备")
+
+✅ 思考哪些类型的数据适合逻辑回归
+
+## 练习 - 整理数据
+
+首先，稍微清理一下数据，删除空值并选择一些列：
+
+1. 添加以下代码：
+
+ ```python
+
+ columns_to_select = ['City Name','Package','Variety', 'Origin','Item Size', 'Color']
+ pumpkins = full_pumpkins.loc[:, columns_to_select]
+
+ pumpkins.dropna(inplace=True)
+ ```
+
+ 你可以随时查看新的数据框：
+
+ ```python
+ pumpkins.info
+ ```
+
+### 可视化 - 分类图
+
+到现在你已经加载了 [starter notebook](../../../../2-Regression/4-Logistic/notebook.ipynb) 再次使用南瓜数据并清理它，以保留包含一些变量的数据集，包括 `Color`。让我们使用不同的库来可视化数据框：[Seaborn](https://seaborn.pydata.org/index.html)，它基于我们之前使用的 Matplotlib。
+
+Seaborn 提供了一些很好的方法来可视化你的数据。例如，你可以在分类图中比较每个 `Variety` 和 `Color` 的数据分布。
+
+1. 使用 `catplot` function, using our pumpkin data `pumpkins` 创建这样的图，并为每个南瓜类别（橙色或白色）指定颜色映射：
+
+ ```python
+ import seaborn as sns
+
+ palette = {
+ 'ORANGE': 'orange',
+ 'WHITE': 'wheat',
+ }
+
+ sns.catplot(
+ data=pumpkins, y="Variety", hue="Color", kind="count",
+ palette=palette,
+ )
+ ```
+
+ 
+
+ 通过观察数据，你可以看到颜色数据与品种的关系。
+
+ ✅ 根据这个分类图，你可以设想哪些有趣的探索？
+
+### 数据预处理：特征和标签编码
+我们的南瓜数据集的所有列都包含字符串值。处理分类数据对人类来说很直观，但对机器来说却不是。机器学习算法在处理数字时效果更好。这就是为什么编码是数据预处理阶段非常重要的一步，因为它使我们能够将分类数据转换为数值数据，而不会丢失任何信息。良好的编码有助于构建一个好的模型。
+
+对于特征编码，主要有两种编码器：
+
+1. 序数编码器：适用于序数变量，即其数据具有逻辑顺序的分类变量，如数据集中的 `Item Size` 列。它创建一个映射，使每个类别由一个数字表示，该数字是列中类别的顺序。
+
+ ```python
+ from sklearn.preprocessing import OrdinalEncoder
+
+ item_size_categories = [['sml', 'med', 'med-lge', 'lge', 'xlge', 'jbo', 'exjbo']]
+ ordinal_features = ['Item Size']
+ ordinal_encoder = OrdinalEncoder(categories=item_size_categories)
+ ```
+
+2. 分类编码器：适用于名义变量，即其数据没有逻辑顺序的分类变量，如数据集中除 `Item Size` 之外的所有特征。它是一种独热编码，这意味着每个类别由一个二进制列表示：如果南瓜属于该品种，则编码变量等于1，否则为0。
+
+ ```python
+ from sklearn.preprocessing import OneHotEncoder
+
+ categorical_features = ['City Name', 'Package', 'Variety', 'Origin']
+ categorical_encoder = OneHotEncoder(sparse_output=False)
+ ```
+然后，使用 `ColumnTransformer` 将多个编码器组合成一个步骤并将其应用于适当的列。
+
+```python
+ from sklearn.compose import ColumnTransformer
+
+ ct = ColumnTransformer(transformers=[
+ ('ord', ordinal_encoder, ordinal_features),
+ ('cat', categorical_encoder, categorical_features)
+ ])
+
+ ct.set_output(transform='pandas')
+ encoded_features = ct.fit_transform(pumpkins)
+```
+另一方面，为了编码标签，我们使用 scikit-learn 的 `LabelEncoder` 类，这是一个实用类，帮助规范化标签，使它们只包含0到 n_classes-1（这里是0和1）之间的值。
+
+```python
+ from sklearn.preprocessing import LabelEncoder
+
+ label_encoder = LabelEncoder()
+ encoded_label = label_encoder.fit_transform(pumpkins['Color'])
+```
+一旦我们对特征和标签进行编码，我们可以将它们合并到一个新的数据框 `encoded_pumpkins` 中。
+
+```python
+ encoded_pumpkins = encoded_features.assign(Color=encoded_label)
+```
+✅ 使用序数编码器对 `Item Size` column?
+
+### Analyse relationships between variables
+
+Now that we have pre-processed our data, we can analyse the relationships between the features and the label to grasp an idea of how well the model will be able to predict the label given the features.
+The best way to perform this kind of analysis is plotting the data. We'll be using again the Seaborn `catplot` function, to visualize the relationships between `Item Size`, `Variety` 和 `Color` 在分类图中的优势是什么？为了更好地绘制数据，我们将使用编码后的 `Item Size` column and the unencoded `Variety` 列。
+
+```python
+ palette = {
+ 'ORANGE': 'orange',
+ 'WHITE': 'wheat',
+ }
+ pumpkins['Item Size'] = encoded_pumpkins['ord__Item Size']
+
+ g = sns.catplot(
+ data=pumpkins,
+ x="Item Size", y="Color", row='Variety',
+ kind="box", orient="h",
+ sharex=False, margin_titles=True,
+ height=1.8, aspect=4, palette=palette,
+ )
+ g.set(xlabel="Item Size", ylabel="").set(xlim=(0,6))
+ g.set_titles(row_template="{row_name}")
+```
+
+
+### 使用群图
+
+由于颜色是一个二元类别（白色或非白色），它需要“[专门的可视化方法](https://seaborn.pydata.org/tutorial/categorical.html?highlight=bar)”。还有其他方法可以可视化这个类别与其他变量的关系。
+
+你可以使用 Seaborn 图表并排可视化变量。
+
+1. 尝试使用“群图”来显示值的分布：
+
+ ```python
+ palette = {
+ 0: 'orange',
+ 1: 'wheat'
+ }
+ sns.swarmplot(x="Color", y="ord__Item Size", data=encoded_pumpkins, palette=palette)
+ ```
+
+ 
+
+**注意**：上述代码可能会生成警告，因为 seaborn 无法在群图中表示如此多的数据点。一个可能的解决方案是减小标记的大小，使用 'size' 参数。然而，请注意这会影响图的可读性。
+
+> **🧮 展示数学**
+>
+> 逻辑回归依赖于使用 [Sigmoid 函数](https://wikipedia.org/wiki/Sigmoid_function) 的“最大似然”概念。Sigmoid 函数在图上看起来像一个“S”形。它取一个值并将其映射到0到1之间的某个位置。它的曲线也被称为“逻辑曲线”。其公式如下：
+>
+> 
+>
+> 其中 Sigmoid 的中点位于 x 的0点，L 是曲线的最大值，k 是曲线的陡度。如果函数的结果大于0.5，则该标签将被赋予二元选择的“1”类。如果不是，则将其分类为“0”。
+
+## 构建你的模型
+
+在 Scikit-learn 中构建一个二元分类模型非常简单。
+
+[](https://youtu.be/MmZS2otPrQ8 "机器学习初学者 - 用于数据分类的逻辑回归")
+
+> 🎥 点击上方图片观看关于构建线性回归模型的简短视频概述。
+
+1. 选择要在分类模型中使用的变量，并调用 `train_test_split()` 来拆分训练和测试集：
+
+ ```python
+ from sklearn.model_selection import train_test_split
+
+ X = encoded_pumpkins[encoded_pumpkins.columns.difference(['Color'])]
+ y = encoded_pumpkins['Color']
+
+ X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+
+ ```
+
+2. 现在你可以通过调用 `fit()` 使用训练数据训练你的模型，并打印出其结果：
+
+ ```python
+ from sklearn.metrics import f1_score, classification_report
+ from sklearn.linear_model import LogisticRegression
+
+ model = LogisticRegression()
+ model.fit(X_train, y_train)
+ predictions = model.predict(X_test)
+
+ print(classification_report(y_test, predictions))
+ print('Predicted labels: ', predictions)
+ print('F1-score: ', f1_score(y_test, predictions))
+ ```
+
+ 看一下你模型的评分板。考虑到你只有大约1000行数据，这还不错：
+
+ ```output
+ precision recall f1-score support
+
+ 0 0.94 0.98 0.96 166
+ 1 0.85 0.67 0.75 33
+
+ accuracy 0.92 199
+ macro avg 0.89 0.82 0.85 199
+ weighted avg 0.92 0.92 0.92 199
+
+ Predicted labels: [0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 0
+ 0 0 0 0 0 1 0 1 0 0 1 0 0 0 0 0 1 0 1 0 1 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0
+ 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 1 0 0 0 0 0 0 0 1 0
+ 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 1 1 0
+ 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1
+ 0 0 0 1 0 0 0 0 0 0 0 0 1 1]
+ F1-score: 0.7457627118644068
+ ```
+
+## 通过混淆矩阵更好地理解
+
+虽然你可以通过打印上面的项目来获得评分报告 [terms](https://scikit-learn.org/stable/modules/generated/sklearn.metrics.classification_report.html?highlight=classification_report#sklearn.metrics.classification_report)，但你可能能够通过使用 [混淆矩阵](https://scikit-learn.org/stable/modules/model_evaluation.html#confusion-matrix) 更容易地理解你的模型，以帮助我们了解模型的表现。
+
+> 🎓 “[混淆矩阵](https://wikipedia.org/wiki/Confusion_matrix)”（或“错误矩阵”）是一个表，表达了模型的真 vs. 假阳性和阴性，从而评估预测的准确性。
+
+1. 要使用混淆矩阵，请调用 `confusion_matrix()`：
+
+ ```python
+ from sklearn.metrics import confusion_matrix
+ confusion_matrix(y_test, predictions)
+ ```
+
+ 看一下你模型的混淆矩阵：
+
+ ```output
+ array([[162, 4],
+ [ 11, 22]])
+ ```
+
+在 Scikit-learn 中，混淆矩阵的行（轴0）是实际标签，列（轴1）是预测标签。
+
+| | 0 | 1 |
+| :---: | :---: | :---: |
+| 0 | TN | FP |
+| 1 | FN | TP |
+
+这里发生了什么？假设我们的模型被要求在两个二元类别之间分类南瓜，即“白色”和“非白色”。
+
+- 如果你的模型预测南瓜为非白色，实际上属于“非白色”类别，我们称之为真阴性，显示在左上角。
+- 如果你的模型预测南瓜为白色，实际上属于“非白色”类别，我们称之为假阴性，显示在左下角。
+- 如果你的模型预测南瓜为非白色，实际上属于“白色”类别，我们称之为假阳性，显示在右上角。
+- 如果你的模型预测南瓜为白色，实际上属于“白色”类别，我们称之为真阳性，显示在右下角。
+
+你可能已经猜到，真阳性和真阴性的数量越多，假阳性和假阴性的数量越少，模型的表现就越好。
+
+混淆矩阵如何与精度和召回率相关？请记住，上面打印的分类报告显示了精度（0.85）和召回率（0.67）。
+
+精度 = tp / (tp + fp) = 22 / (22 + 4) = 0.8461538461538461
+
+召回率 = tp / (tp + fn) = 22 / (22 + 11) = 0.6666666666666666
+
+✅ 问：根据混淆矩阵，模型表现如何？答：还不错，有很多真阴性，但也有一些假阴性。
+
+让我们借助混淆矩阵的 TP/TN 和 FP/FN 映射，重新审视之前看到的术语：
+
+🎓 精度：TP/(TP + FP) 在检索到的实例中相关实例的比例（例如，哪些标签被正确标记）
+
+🎓 召回率：TP/(TP + FN) 检索到的相关实例的比例，无论是否标记正确
+
+🎓 f1-score：（2 * 精度 * 召回率）/（精度 + 召回率）精度和召回率的加权平均值，最好为1，最差为0
+
+🎓 支持：每个标签检索到的实例的数量
+
+🎓 准确率：（TP + TN）/（TP + TN + FP + FN）样本中准确预测的标签的百分比。
+
+🎓 宏平均：每个标签的未加权平均指标的计算，不考虑标签不平衡。
+
+🎓 加权平均：每个标签的平均指标的计算，考虑标签不平衡，通过其支持（每个标签的真实实例数量）加权。
+
+✅ 如果你希望模型减少假阴性的数量，你应该关注哪个指标？
+
+## 可视化此模型的 ROC 曲线
+
+[](https://youtu.be/GApO575jTA0 "机器学习初学者 - 使用 ROC 曲线分析逻辑回归性能")
+
+> 🎥 点击上方图片观看关于 ROC 曲线的简短视频概述
+
+让我们做一个可视化，看看所谓的“ROC”曲线：
+
+```python
+from sklearn.metrics import roc_curve, roc_auc_score
+import matplotlib
+import matplotlib.pyplot as plt
+%matplotlib inline
+
+y_scores = model.predict_proba(X_test)
+fpr, tpr, thresholds = roc_curve(y_test, y_scores[:,1])
+
+fig = plt.figure(figsize=(6, 6))
+plt.plot([0, 1], [0, 1], 'k--')
+plt.plot(fpr, tpr)
+plt.xlabel('False Positive Rate')
+plt.ylabel('True Positive Rate')
+plt.title('ROC Curve')
+plt.show()
+```
+
+使用 Matplotlib 绘制模型的 [接收者操作特性](https://scikit-learn.org/stable/auto_examples/model_selection/plot_roc.html?highlight=roc) 或 ROC。ROC 曲线通常用于查看分类器的输出在真实和假阳性方面的表现。“ROC 曲线通常在 Y 轴上显示真实阳性率，在 X 轴上显示假阳性率。”因此，曲线的陡度和曲线与中点线之间的空间很重要：你希望曲线迅速向上并越过线。在我们的情况下，一开始有假阳性，然后线条正确地向上并越过：
+
+
+
+最后，使用 Scikit-learn 的 [`roc_auc_score` API](https://scikit-learn.org/stable/modules/generated/sklearn.metrics.roc_auc_score.html?highlight=roc_auc#sklearn.metrics.roc_auc_score) 计算实际的“曲线下面积”（AUC）：
+
+```python
+auc = roc_auc_score(y_test,y_scores[:,1])
+print(auc)
+```
+结果是 `0.9749908725812341`。由于 AUC 范围从0到1，你希望分数越大越好，因为预测100%正确的模型的 AUC 为1；在这种情况下，模型_非常好_。
+
+在未来的分类课程中，你将学习如何迭代以提高模型的分数。但现在，恭喜你！你已经完成了这些回归课程！
+
+---
+## 🚀挑战
+
+关于逻辑回归还有很多内容需要解读！但学习的最佳方式是实验。找到一个适合这种分析的数据集，并用它构建一个模型。你学到了什么？提示：试试 [Kaggle](https://www.kaggle.com/search?q=logistic+regression+datasets) 找有趣的数据集。
+
+## [课后测验](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/16/)
+
+## 复习与自学
+
+阅读 [斯坦福大学的这篇论文](https://web.stanford.edu/~jurafsky/slp3/5.pdf) 的前几页，了解逻辑回归的一些实际用途。思考哪些任务更适合我们到目前为止学习的回归任务。哪种方法最适合？
+
+## 作业
+
+[重试这个回归](assignment.md)
+
+**免责声明**:
+本文件已使用基于机器的人工智能翻译服务进行翻译。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原始语言的文件视为权威来源。对于关键信息，建议进行专业的人类翻译。我们不对使用此翻译引起的任何误解或误读负责。
\ No newline at end of file
diff --git a/translations/zh/2-Regression/4-Logistic/assignment.md b/translations/zh/2-Regression/4-Logistic/assignment.md
new file mode 100644
index 000000000..8d2c2b432
--- /dev/null
+++ b/translations/zh/2-Regression/4-Logistic/assignment.md
@@ -0,0 +1,14 @@
+# 重试一些回归
+
+## 说明
+
+在本课中，你使用了南瓜数据的一个子集。现在，回到原始数据，尝试使用全部数据，进行清洗和标准化，构建一个逻辑回归模型。
+
+## 评分标准
+
+| 标准 | 杰出表现 | 充分表现 | 需要改进 |
+| -------- | ----------------------------------------------------------------------- | ------------------------------------------------------------ | ----------------------------------------------------------- |
+| | 提供了一个解释清晰且表现良好的模型的笔记本 | 提供了一个表现最低限度的模型的笔记本 | 提供了一个表现不佳的模型的笔记本或没有提供模型的笔记本 |
+
+**免责声明**：
+本文档是使用基于机器的人工智能翻译服务翻译的。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原始语言的文档视为权威来源。对于关键信息，建议进行专业人工翻译。对于因使用此翻译而引起的任何误解或误读，我们概不负责。
\ No newline at end of file
diff --git a/translations/zh/2-Regression/4-Logistic/solution/Julia/README.md b/translations/zh/2-Regression/4-Logistic/solution/Julia/README.md
new file mode 100644
index 000000000..80ee9ef74
--- /dev/null
+++ b/translations/zh/2-Regression/4-Logistic/solution/Julia/README.md
@@ -0,0 +1,4 @@
+
+
+**免责声明**：
+本文档是使用基于机器的人工智能翻译服务翻译的。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原始文档的母语版本视为权威来源。对于关键信息，建议使用专业人工翻译。我们对因使用此翻译而产生的任何误解或误读不承担责任。
\ No newline at end of file
diff --git a/translations/zh/2-Regression/README.md b/translations/zh/2-Regression/README.md
new file mode 100644
index 000000000..636c46fe8
--- /dev/null
+++ b/translations/zh/2-Regression/README.md
@@ -0,0 +1,43 @@
+# 机器学习的回归模型
+## 区域专题：北美南瓜价格的回归模型 🎃
+
+在北美，南瓜经常被雕刻成万圣节的恐怖面孔。让我们一起来探索这些迷人的蔬菜吧！
+
+
+> 图片由 Beth Teutschmann 拍摄，发布在 Unsplash
+
+## 你将学到什么
+
+[](https://youtu.be/5QnJtDad4iQ "回归简介视频 - 点击观看！")
+> 🎥 点击上面的图片观看本课的快速简介视频
+
+本节课程涵盖了机器学习背景下的各种回归类型。回归模型可以帮助确定变量之间的_关系_。这种类型的模型可以预测长度、温度或年龄等数值，从而在分析数据点时揭示变量之间的关系。
+
+在这一系列课程中，你将发现线性回归和逻辑回归之间的区别，以及何时应该选择其中之一。
+
+[](https://youtu.be/XA3OaoW86R8 "初学者的机器学习 - 机器学习回归模型简介")
+
+> 🎥 点击上面的图片观看回归模型简介短视频。
+
+在这一组课程中，你将开始机器学习任务，包括配置 Visual Studio Code 来管理笔记本，这是数据科学家的常用环境。你将了解 Scikit-learn，这是一个机器学习库，并在本章中构建你的第一个模型，重点是回归模型。
+
+> 有一些有用的低代码工具可以帮助你学习如何使用回归模型。试试 [Azure ML 进行此任务](https://docs.microsoft.com/learn/modules/create-regression-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott)
+
+### 课程
+
+1. [行业工具](1-Tools/README.md)
+2. [数据管理](2-Data/README.md)
+3. [线性和多项式回归](3-Linear/README.md)
+4. [逻辑回归](4-Logistic/README.md)
+
+---
+### 致谢
+
+"ML with regression" 由 [Jen Looper](https://twitter.com/jenlooper) 用 ♥️ 编写
+
+♥️ 测验贡献者包括: [Muhammad Sakib Khan Inan](https://twitter.com/Sakibinan) 和 [Ornella Altunyan](https://twitter.com/ornelladotcom)
+
+南瓜数据集由 [Kaggle 上的这个项目](https://www.kaggle.com/usda/a-year-of-pumpkin-prices) 推荐，其数据来源于美国农业部发布的 [特种作物终端市场标准报告](https://www.marketnews.usda.gov/mnp/fv-report-config-step1?type=termPrice)。我们根据品种添加了一些颜色数据以规范分布。这些数据属于公共领域。
+
+**免责声明**：
+本文档使用基于机器的人工智能翻译服务进行翻译。虽然我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原始语言的文档视为权威来源。对于关键信息，建议使用专业人工翻译。对于因使用本翻译而引起的任何误解或误读，我们不承担任何责任。
\ No newline at end of file
diff --git a/translations/zh/3-Web-App/1-Web-App/README.md b/translations/zh/3-Web-App/1-Web-App/README.md
new file mode 100644
index 000000000..b0fc87e8d
--- /dev/null
+++ b/translations/zh/3-Web-App/1-Web-App/README.md
@@ -0,0 +1,348 @@
+# 构建一个使用机器学习模型的Web应用
+
+在本课中，你将使用一个非常特别的数据集训练一个机器学习模型：_过去一个世纪的UFO目击事件_，这些数据来源于NUFORC的数据库。
+
+你将学习到：
+
+- 如何“pickle”一个训练好的模型
+- 如何在Flask应用中使用该模型
+
+我们将继续使用notebook来清理数据和训练我们的模型，但你可以更进一步，探索在实际环境中使用模型：在一个web应用中。
+
+要做到这一点，你需要使用Flask构建一个web应用。
+
+## [课前测验](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/17/)
+
+## 构建应用
+
+有几种方法可以构建web应用来使用机器学习模型。你的web架构可能会影响你训练模型的方式。想象一下，你在一个企业中工作，数据科学团队已经训练了一个模型，他们希望你在应用中使用。
+
+### 考虑因素
+
+你需要问自己很多问题：
+
+- **这是一个web应用还是一个移动应用？** 如果你正在构建一个移动应用或需要在物联网环境中使用模型，你可以使用 [TensorFlow Lite](https://www.tensorflow.org/lite/) 并在Android或iOS应用中使用该模型。
+- **模型将驻留在哪里？** 在云端还是本地？
+- **离线支持。** 应用是否需要离线工作？
+- **使用什么技术训练模型？** 所选技术可能会影响你需要使用的工具。
+ - **使用TensorFlow。** 如果你使用TensorFlow训练模型，例如，该生态系统提供了使用 [TensorFlow.js](https://www.tensorflow.org/js/) 将TensorFlow模型转换为web应用使用的能力。
+ - **使用PyTorch。** 如果你使用诸如 [PyTorch](https://pytorch.org/) 之类的库构建模型，你可以选择将其导出为 [ONNX](https://onnx.ai/) (开放神经网络交换) 格式，用于可以使用 [Onnx Runtime](https://www.onnxruntime.ai/) 的JavaScript web应用。这种选择将在未来的课程中探索，用于一个Scikit-learn训练的模型。
+ - **使用Lobe.ai或Azure Custom Vision。** 如果你使用诸如 [Lobe.ai](https://lobe.ai/) 或 [Azure Custom Vision](https://azure.microsoft.com/services/cognitive-services/custom-vision-service/?WT.mc_id=academic-77952-leestott) 之类的ML SaaS（软件即服务）系统训练模型，这类软件提供了为多种平台导出模型的方法，包括构建一个定制API，通过你的在线应用在云端查询。
+
+你还有机会构建一个完整的Flask web应用，该应用可以在web浏览器中自行训练模型。这也可以在JavaScript环境中使用TensorFlow.js完成。
+
+为了我们的目的，因为我们一直在使用基于Python的notebook，让我们来探索将训练好的模型从这样的notebook导出为一个Python构建的web应用可读的格式所需的步骤。
+
+## 工具
+
+完成这项任务，你需要两个工具：Flask和Pickle，它们都运行在Python上。
+
+✅ 什么是 [Flask](https://palletsprojects.com/p/flask/)? 由其创建者定义为“微框架”，Flask提供了使用Python和一个模板引擎构建网页的基本web框架功能。看看 [这个学习模块](https://docs.microsoft.com/learn/modules/python-flask-build-ai-web-app?WT.mc_id=academic-77952-leestott) 来练习使用Flask构建。
+
+✅ 什么是 [Pickle](https://docs.python.org/3/library/pickle.html)? Pickle 🥒 是一个Python模块，用于序列化和反序列化Python对象结构。当你“pickle”一个模型时，你将其结构序列化或扁平化，以便在web上使用。注意：pickle本质上是不安全的，因此如果被提示“un-pickle”一个文件时要小心。一个pickled文件的后缀是 `.pkl`。
+
+## 练习 - 清理数据
+
+在本课中，你将使用由 [NUFORC](https://nuforc.org)（国家UFO报告中心）收集的80,000个UFO目击事件数据。这些数据包含一些有趣的UFO目击描述，例如：
+
+- **长描述示例。** “一个人从夜间照在草地上的光束中出现，并跑向德州仪器的停车场”。
+- **短描述示例。** “灯光追逐我们”。
+
+[ufos.csv](../../../../3-Web-App/1-Web-App/data/ufos.csv) 电子表格包括关于`city`、`state`和`country`的列，记录了目击事件发生的地点、物体的`shape`、其`latitude`和`longitude`。
+
+在本课包含的空白 [notebook](../../../../3-Web-App/1-Web-App/notebook.ipynb) 中：
+
+1. 导入`pandas`、`matplotlib`和`numpy`，并导入ufos电子表格。你可以查看一个样本数据集：
+
+ ```python
+ import pandas as pd
+ import numpy as np
+
+ ufos = pd.read_csv('./data/ufos.csv')
+ ufos.head()
+ ```
+
+1. 将ufos数据转换为一个具有新标题的小数据框。检查`Country`字段中的唯一值。
+
+ ```python
+ ufos = pd.DataFrame({'Seconds': ufos['duration (seconds)'], 'Country': ufos['country'],'Latitude': ufos['latitude'],'Longitude': ufos['longitude']})
+
+ ufos.Country.unique()
+ ```
+
+1. 现在，你可以通过删除任何空值并仅导入1-60秒之间的目击事件来减少需要处理的数据量：
+
+ ```python
+ ufos.dropna(inplace=True)
+
+ ufos = ufos[(ufos['Seconds'] >= 1) & (ufos['Seconds'] <= 60)]
+
+ ufos.info()
+ ```
+
+1. 导入Scikit-learn的`LabelEncoder`库，将国家的文本值转换为数字：
+
+ ✅ LabelEncoder按字母顺序编码数据
+
+ ```python
+ from sklearn.preprocessing import LabelEncoder
+
+ ufos['Country'] = LabelEncoder().fit_transform(ufos['Country'])
+
+ ufos.head()
+ ```
+
+ 你的数据应该看起来像这样：
+
+ ```output
+ Seconds Country Latitude Longitude
+ 2 20.0 3 53.200000 -2.916667
+ 3 20.0 4 28.978333 -96.645833
+ 14 30.0 4 35.823889 -80.253611
+ 23 60.0 4 45.582778 -122.352222
+ 24 3.0 3 51.783333 -0.783333
+ ```
+
+## 练习 - 构建你的模型
+
+现在你可以通过将数据分为训练组和测试组来准备训练模型。
+
+1. 选择你要训练的三个特征作为X向量，y向量将是`Country`. You want to be able to input `Seconds`, `Latitude` and `Longitude`，并获得一个国家ID以返回。
+
+ ```python
+ from sklearn.model_selection import train_test_split
+
+ Selected_features = ['Seconds','Latitude','Longitude']
+
+ X = ufos[Selected_features]
+ y = ufos['Country']
+
+ X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
+ ```
+
+1. 使用逻辑回归训练你的模型：
+
+ ```python
+ from sklearn.metrics import accuracy_score, classification_report
+ from sklearn.linear_model import LogisticRegression
+ model = LogisticRegression()
+ model.fit(X_train, y_train)
+ predictions = model.predict(X_test)
+
+ print(classification_report(y_test, predictions))
+ print('Predicted labels: ', predictions)
+ print('Accuracy: ', accuracy_score(y_test, predictions))
+ ```
+
+准确率不错 **（约95%）**，不出所料，因为`Country` and `Latitude/Longitude` correlate.
+
+The model you created isn't very revolutionary as you should be able to infer a `Country` from its `Latitude` and `Longitude`，但这是一个从你清理、导出并在web应用中使用的原始数据中尝试训练的好练习。
+
+## 练习 - “pickle”你的模型
+
+现在，是时候_pickle你的模型了！你可以用几行代码完成。一旦_pickle完毕，加载你的pickled模型并用包含秒数、纬度和经度值的样本数据数组进行测试，
+
+```python
+import pickle
+model_filename = 'ufo-model.pkl'
+pickle.dump(model, open(model_filename,'wb'))
+
+model = pickle.load(open('ufo-model.pkl','rb'))
+print(model.predict([[50,44,-12]]))
+```
+
+模型返回**'3'**，这是英国的国家代码。太神奇了！👽
+
+## 练习 - 构建一个Flask应用
+
+现在你可以构建一个Flask应用来调用你的模型并返回类似的结果，但以更具视觉吸引力的方式。
+
+1. 先在_notebook.ipynb_文件所在的地方创建一个名为**web-app**的文件夹，其中包含你的_ufo-model.pkl_文件。
+
+1. 在该文件夹中创建三个文件夹：**static**，其中包含一个**css**文件夹，以及**templates**。你现在应该有以下文件和目录：
+
+ ```output
+ web-app/
+ static/
+ css/
+ templates/
+ notebook.ipynb
+ ufo-model.pkl
+ ```
+
+ ✅ 参考解决方案文件夹以查看完成的应用
+
+1. 在_web-app_文件夹中创建的第一个文件是**requirements.txt**文件。就像JavaScript应用中的_package.json_一样，该文件列出了应用所需的依赖项。在**requirements.txt**中添加以下几行：
+
+ ```text
+ scikit-learn
+ pandas
+ numpy
+ flask
+ ```
+
+1. 现在，通过导航到_web-app_运行此文件：
+
+ ```bash
+ cd web-app
+ ```
+
+1. 在你的终端中键入`pip install`，以安装_requirements.txt_中列出的库：
+
+ ```bash
+ pip install -r requirements.txt
+ ```
+
+1. 现在，你准备创建另外三个文件以完成应用：
+
+ 1. 在根目录中创建**app.py**。
+ 2. 在_templates_目录中创建**index.html**。
+ 3. 在_static/css_目录中创建**styles.css**。
+
+1. 使用一些样式构建_styles.css_文件：
+
+ ```css
+ body {
+ width: 100%;
+ height: 100%;
+ font-family: 'Helvetica';
+ background: black;
+ color: #fff;
+ text-align: center;
+ letter-spacing: 1.4px;
+ font-size: 30px;
+ }
+
+ input {
+ min-width: 150px;
+ }
+
+ .grid {
+ width: 300px;
+ border: 1px solid #2d2d2d;
+ display: grid;
+ justify-content: center;
+ margin: 20px auto;
+ }
+
+ .box {
+ color: #fff;
+ background: #2d2d2d;
+ padding: 12px;
+ display: inline-block;
+ }
+ ```
+
+1. 接下来，构建_index.html_文件：
+
+ ```html
+
+
+
+
+ 🛸 UFO Appearance Prediction! 👽 + + + + ++ ++ + + + ``` + + 查看此文件中的模板。注意将由应用提供的变量周围的“胡须”语法，如预测文本：`{{}}`. There's also a form that posts a prediction to the `/predict` route. + + Finally, you're ready to build the python file that drives the consumption of the model and the display of predictions: + +1. In `app.py`中添加： + + ```python + import numpy as np + from flask import Flask, request, render_template + import pickle + + app = Flask(__name__) + + model = pickle.load(open("./ufo-model.pkl", "rb")) + + + @app.route("/") + def home(): + return render_template("index.html") + + + @app.route("/predict", methods=["POST"]) + def predict(): + + int_features = [int(x) for x in request.form.values()] + final_features = [np.array(int_features)] + prediction = model.predict(final_features) + + output = prediction[0] + + countries = ["Australia", "Canada", "Germany", "UK", "US"] + + return render_template( + "index.html", prediction_text="Likely country: {}".format(countries[output]) + ) + + + if __name__ == "__main__": + app.run(debug=True) + ``` + + > 💡 提示：当你添加[`debug=True`](https://www.askpython.com/python-modules/flask/flask-debug-mode) while running the web app using Flask, any changes you make to your application will be reflected immediately without the need to restart the server. Beware! Don't enable this mode in a production app. + +If you run `python app.py` or `python3 app.py` - your web server starts up, locally, and you can fill out a short form to get an answer to your burning question about where UFOs have been sighted! + +Before doing that, take a look at the parts of `app.py`: + +1. First, dependencies are loaded and the app starts. +1. Then, the model is imported. +1. Then, index.html is rendered on the home route. + +On the `/predict` route, several things happen when the form is posted: + +1. The form variables are gathered and converted to a numpy array. They are then sent to the model and a prediction is returned. +2. The Countries that we want displayed are re-rendered as readable text from their predicted country code, and that value is sent back to index.html to be rendered in the template. + +Using a model this way, with Flask and a pickled model, is relatively straightforward. The hardest thing is to understand what shape the data is that must be sent to the model to get a prediction. That all depends on how the model was trained. This one has three data points to be input in order to get a prediction. + +In a professional setting, you can see how good communication is necessary between the folks who train the model and those who consume it in a web or mobile app. In our case, it's only one person, you! + +--- + +## 🚀 Challenge + +Instead of working in a notebook and importing the model to the Flask app, you could train the model right within the Flask app! Try converting your Python code in the notebook, perhaps after your data is cleaned, to train the model from within the app on a route called `train`时。追求这种方法的优缺点是什么？ + +## [课后测验](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/18/) + +## 复习与自学 + +有很多方法可以构建一个使用机器学习模型的web应用。列出你可以使用JavaScript或Python构建一个利用机器学习的web应用的方法。考虑架构：模型应该留在应用中还是驻留在云端？如果是后者，你将如何访问它？画出一个应用机器学习web解决方案的架构模型。 + +## 作业 + +[尝试一个不同的模型](assignment.md) + +**免责声明**： +本文件是使用基于机器的人工智能翻译服务翻译的。尽管我们力求准确，但请注意，自动翻译可能包含错误或不准确之处。应将原文档的母语版本视为权威来源。对于关键信息，建议进行专业人工翻译。对于使用本翻译而引起的任何误解或误读，我们概不负责。 \ No newline at end of file diff --git a/translations/zh/3-Web-App/1-Web-App/assignment.md b/translations/zh/3-Web-App/1-Web-App/assignment.md new file mode 100644 index 000000000..a7c155545 --- /dev/null +++ b/translations/zh/3-Web-App/1-Web-App/assignment.md @@ -0,0 +1,14 @@ +# 尝试不同的模型 + +## 说明 + +现在你已经使用训练好的回归模型构建了一个网页应用程序，请使用之前回归课程中的一个模型重新制作这个网页应用程序。你可以保持原有的风格或设计一个不同的风格以反映南瓜数据。注意更改输入以反映你的模型的训练方法。 + +## 评分标准 + +| 标准 | 杰出 | 合格 | 需要改进 | +| -------------------------- | ------------------------------------------------------ | ------------------------------------------------------ | -------------------------------------- | +| | 网页应用程序按预期运行并部署到云端 | 网页应用程序包含缺陷或显示意外结果 | 网页应用程序不能正常运行 | + +**免责声明**: +本文档是使用基于机器的人工智能翻译服务翻译的。虽然我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原文档的母语版本视为权威来源。对于关键信息，建议进行专业的人类翻译。对于因使用本翻译而引起的任何误解或误读，我们不承担任何责任。 \ No newline at end of file diff --git a/translations/zh/3-Web-App/README.md b/translations/zh/3-Web-App/README.md new file mode 100644 index 000000000..e871f92b4 --- /dev/null +++ b/translations/zh/3-Web-App/README.md @@ -0,0 +1,24 @@ +# 构建一个使用你的ML模型的Web应用 + +在本课程的这一部分，你将了解一个应用的机器学习主题：如何将你的Scikit-learn模型保存为一个文件，以便在Web应用中进行预测。一旦模型保存好，你将学习如何在一个用Flask构建的Web应用中使用它。你将首先使用一些关于UFO目击事件的数据创建一个模型！然后，你将构建一个Web应用，该应用将允许你输入一个包含纬度和经度值的秒数，以预测哪个国家报告看到了UFO。 + + + +照片由 Michael Herren 拍摄，来自 Unsplash + +## 课程 + +1. [构建一个Web应用](1-Web-App/README.md) + +## 致谢 + +"构建一个Web应用" 由 [Jen Looper](https://twitter.com/jenlooper) 用 ♥️ 编写。 + +♥️ 测验由 Rohan Raj 编写。 + +数据集来源于 [Kaggle](https://www.kaggle.com/NUFORC/ufo-sightings)。 + +Web应用架构部分参考了 [这篇文章](https://towardsdatascience.com/how-to-easily-deploy-machine-learning-models-using-flask-b95af8fe34d4) 和 [这个仓库](https://github.com/abhinavsagar/machine-learning-deployment) ，由 Abhinav Sagar 提供。 + +**免责声明**: +本文档使用基于机器的人工智能翻译服务进行翻译。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原文档的母语版本视为权威来源。对于关键信息，建议使用专业人工翻译。对于因使用本翻译而产生的任何误解或误读，我们不承担任何责任。 \ No newline at end of file diff --git a/translations/zh/4-Classification/1-Introduction/README.md b/translations/zh/4-Classification/1-Introduction/README.md new file mode 100644 index 000000000..866d87731 --- /dev/null +++ b/translations/zh/4-Classification/1-Introduction/README.md @@ -0,0 +1,302 @@ +# 分类简介 + +在这四节课中，你将探索经典机器学习的一个基本重点——_分类_。我们将使用关于亚洲和印度所有美味菜肴的数据集，演示如何使用各种分类算法。希望你已经准备好享受这场美食盛宴了！ + + + +> 在这些课程中庆祝泛亚洲美食吧！图片由 [Jen Looper](https://twitter.com/jenlooper) 提供 + +分类是一种[监督学习](https://wikipedia.org/wiki/Supervised_learning)形式，它与回归技术有很多相似之处。如果说机器学习的全部内容是通过使用数据集来预测值或事物的名称，那么分类通常分为两类：_二元分类_和_多类分类_。 + +[](https://youtu.be/eg8DJYwdMyg "Introduction to classification") + +> 🎥 点击上面的图片观看视频：MIT的John Guttag介绍分类 + +记住： + +- **线性回归**帮助你预测变量之间的关系，并准确预测新数据点相对于这条线的位置。因此，你可以预测_南瓜在九月和十二月的价格_。 +- **逻辑回归**帮助你发现“二元类别”：在这个价格点上，_这个南瓜是橙色的还是非橙色的_？ + +分类使用各种算法来确定数据点的标签或类别的其他方式。让我们使用这个美食数据，看看通过观察一组配料，是否可以确定它的来源美食。 + +## [课前测验](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/19/) + +> ### [本课程有R语言版本！](../../../../4-Classification/1-Introduction/solution/R/lesson_10.html) + +### 介绍 + +分类是机器学习研究人员和数据科学家的基本活动之一。从对二元值的基本分类（“这封邮件是垃圾邮件还是不是？”），到使用计算机视觉进行复杂的图像分类和分割，能够将数据分类并对其提问总是很有用的。 + +以更科学的方式陈述这个过程，你的分类方法创建了一个预测模型，使你能够将输入变量与输出变量之间的关系映射出来。 + + + +> 分类算法处理的二元与多类问题。信息图由 [Jen Looper](https://twitter.com/jenlooper) 提供 + +在开始清理数据、可视化数据并为我们的机器学习任务做准备之前，让我们先了解一下机器学习分类数据的各种方式。 + +分类源自[统计学](https://wikipedia.org/wiki/Statistical_classification)，使用经典机器学习进行分类使用特征，例如`smoker`, `weight`, 和`age`来确定_患X疾病的可能性_。作为一种类似于你之前执行的回归练习的监督学习技术，你的数据是有标签的，机器学习算法使用这些标签来分类和预测数据集的类别（或“特征”）并将其分配到一个组或结果中。 + +✅ 想象一下关于美食的数据集。一个多类模型能够回答什么问题？一个二元模型能够回答什么问题？如果你想确定某种美食是否可能使用葫芦巴怎么办？如果你想知道，如果得到一袋满是八角、洋蓟、花椰菜和辣根的杂货，你能否做出一道典型的印度菜？ + +[](https://youtu.be/GuTeDbaNoEU "Crazy mystery baskets") + +> 🎥 点击上面的图片观看视频。节目“Chopped”的整个前提是“神秘篮子”，厨师们必须用随机选择的配料做出一些菜肴。肯定有一个机器学习模型会有所帮助！ + +## 你好，'分类器' + +我们想要向这个美食数据集提出的问题实际上是一个**多类问题**，因为我们有几个潜在的国家美食可以处理。给定一批配料，这些数据将适合哪些类别？ + +Scikit-learn提供了几种不同的算法来分类数据，具体取决于你要解决的问题类型。在接下来的两节课中，你将学习这些算法中的几种。 + +## 练习 - 清理和平衡你的数据 + +在开始这个项目之前的第一个任务是清理和**平衡**你的数据，以获得更好的结果。从这个文件夹根目录中的空白_notebook.ipynb_文件开始。 + +首先要安装的是[imblearn](https://imbalanced-learn.org/stable/)。这是一个Scikit-learn包，它将允许你更好地平衡数据（你将在稍后了解更多关于此任务的内容）。 + +1. 要安装`imblearn`，运行`pip install`，如下所示： + + ```python + pip install imblearn + ``` + +1. 导入需要的包以导入数据并可视化它，还要从`imblearn`中导入`SMOTE`。 + + ```python + import pandas as pd + import matplotlib.pyplot as plt + import matplotlib as mpl + import numpy as np + from imblearn.over_sampling import SMOTE + ``` + + 现在你已设置好读取导入数据。 + +1. 下一个任务是导入数据： + + ```python + df = pd.read_csv('../data/cuisines.csv') + ``` + + 使用`read_csv()` will read the content of the csv file _cusines.csv_ and place it in the variable `df`。 + +1. 检查数据的形状： + + ```python + df.head() + ``` + + 前五行看起来像这样： + + ```output + | | Unnamed: 0 | cuisine | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | + | --- | ---------- | ------- | ------ | -------- | ----- | ---------- | ----- | ------------ | ------- | -------- | --- | ------- | ----------- | ---------- | ----------------------- | ---- | ---- | --- | ----- | ------ | -------- | + | 0 | 65 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 1 | 66 | indian | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 2 | 67 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 3 | 68 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | + | 4 | 69 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | + ``` + +1. 通过调用`info()`获取有关此数据的信息： + + ```python + df.info() + ``` + + 你的输出类似于： + + ```output ++ ++ +According to the number of seconds, latitude and longitude, which country is likely to have reported seeing a UFO?
+ + + +{{ prediction_text }}
+ ++ RangeIndex: 2448 entries, 0 to 2447 + Columns: 385 entries, Unnamed: 0 to zucchini + dtypes: int64(384), object(1) + memory usage: 7.2+ MB + ``` + +## 练习 - 了解美食 + +现在工作开始变得更有趣了。让我们发现每种美食的数据分布 + +1. 通过调用`barh()`将数据绘制为条形图： + + ```python + df.cuisine.value_counts().plot.barh() + ``` + +  + + 有有限数量的美食，但数据分布不均。你可以修复它！在这样做之前，多探索一下。 + +1. 找出每种美食有多少数据并打印出来： + + ```python + thai_df = df[(df.cuisine == "thai")] + japanese_df = df[(df.cuisine == "japanese")] + chinese_df = df[(df.cuisine == "chinese")] + indian_df = df[(df.cuisine == "indian")] + korean_df = df[(df.cuisine == "korean")] + + print(f'thai df: {thai_df.shape}') + print(f'japanese df: {japanese_df.shape}') + print(f'chinese df: {chinese_df.shape}') + print(f'indian df: {indian_df.shape}') + print(f'korean df: {korean_df.shape}') + ``` + + 输出如下所示： + + ```output + thai df: (289, 385) + japanese df: (320, 385) + chinese df: (442, 385) + indian df: (598, 385) + korean df: (799, 385) + ``` + +## 发现配料 + +现在你可以深入挖掘数据，了解每种美食的典型配料。你应该清理会在美食之间造成混淆的重复数据，所以让我们了解这个问题。 + +1. 在Python中创建一个函数`create_ingredient()`来创建一个配料数据框。这个函数将首先删除一个无用的列，并按其计数对配料进行排序： + + ```python + def create_ingredient_df(df): + ingredient_df = df.T.drop(['cuisine','Unnamed: 0']).sum(axis=1).to_frame('value') + ingredient_df = ingredient_df[(ingredient_df.T != 0).any()] + ingredient_df = ingredient_df.sort_values(by='value', ascending=False, + inplace=False) + return ingredient_df + ``` + + 现在你可以使用该函数了解每种美食最受欢迎的前十种配料。 + +1. 调用`create_ingredient()` and plot it calling `barh()`： + + ```python + thai_ingredient_df = create_ingredient_df(thai_df) + thai_ingredient_df.head(10).plot.barh() + ``` + +  + +1. 对日本数据做同样的操作： + + ```python + japanese_ingredient_df = create_ingredient_df(japanese_df) + japanese_ingredient_df.head(10).plot.barh() + ``` + +  + +1. 现在是中国配料： + + ```python + chinese_ingredient_df = create_ingredient_df(chinese_df) + chinese_ingredient_df.head(10).plot.barh() + ``` + +  + +1. 绘制印度配料： + + ```python + indian_ingredient_df = create_ingredient_df(indian_df) + indian_ingredient_df.head(10).plot.barh() + ``` + +  + +1. 最后，绘制韩国配料： + + ```python + korean_ingredient_df = create_ingredient_df(korean_df) + korean_ingredient_df.head(10).plot.barh() + ``` + +  + +1. 现在，通过调用`drop()`删除在不同美食之间造成混淆的最常见配料： + + 每个人都喜欢大米、大蒜和姜！ + + ```python + feature_df= df.drop(['cuisine','Unnamed: 0','rice','garlic','ginger'], axis=1) + labels_df = df.cuisine #.unique() + feature_df.head() + ``` + +## 平衡数据集 + +现在你已经清理了数据，使用[SMOTE](https://imbalanced-learn.org/dev/references/generated/imblearn.over_sampling.SMOTE.html) - “合成少数过采样技术” - 来平衡它。 + +1. 调用`fit_resample()`，这种策略通过插值生成新样本。 + + ```python + oversample = SMOTE() + transformed_feature_df, transformed_label_df = oversample.fit_resample(feature_df, labels_df) + ``` + + 通过平衡你的数据，当分类它时你将获得更好的结果。想想一个二元分类。如果你大部分数据都是一个类别的，机器学习模型会更频繁地预测该类别，仅仅因为它有更多的数据。平衡数据会修正任何倾斜的数据，并有助于消除这种不平衡。 + +1. 现在你可以检查每种配料的标签数量： + + ```python + print(f'new label count: {transformed_label_df.value_counts()}') + print(f'old label count: {df.cuisine.value_counts()}') + ``` + + 你的输出如下所示： + + ```output + new label count: korean 799 + chinese 799 + indian 799 + japanese 799 + thai 799 + Name: cuisine, dtype: int64 + old label count: korean 799 + indian 598 + chinese 442 + japanese 320 + thai 289 + Name: cuisine, dtype: int64 + ``` + + 数据干净、平衡，非常美味！ + +1. 最后一步是将你的平衡数据，包括标签和特征，保存到一个可以导出到文件的新数据框中： + + ```python + transformed_df = pd.concat([transformed_label_df,transformed_feature_df],axis=1, join='outer') + ``` + +1. 你可以使用`transformed_df.head()` and `transformed_df.info()`再看一遍数据。保存这个数据的副本以供将来课程使用： + + ```python + transformed_df.head() + transformed_df.info() + transformed_df.to_csv("../data/cleaned_cuisines.csv") + ``` + + 这个新的CSV现在可以在根数据文件夹中找到。 + +--- + +## 🚀挑战 + +这个课程包含几个有趣的数据集。浏览`data`文件夹，看看是否有适合二元或多类分类的数据集？你会向这个数据集提出什么问题？ + +## [课后测验](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/20/) + +## 复习与自学 + +探索SMOTE的API。它最适用于哪些用例？它解决了哪些问题？ + +## 作业 + +[探索分类方法](assignment.md) + +**免责声明**： +本文档使用基于机器的AI翻译服务进行翻译。虽然我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原始语言的文档视为权威来源。对于关键信息，建议使用专业人工翻译。对于因使用本翻译而产生的任何误解或误读，我们不承担任何责任。 \ No newline at end of file diff --git a/translations/zh/4-Classification/1-Introduction/assignment.md b/translations/zh/4-Classification/1-Introduction/assignment.md new file mode 100644 index 000000000..a43b10346 --- /dev/null +++ b/translations/zh/4-Classification/1-Introduction/assignment.md @@ -0,0 +1,14 @@ +# 探索分类方法 + +## 说明 + +在 [Scikit-learn 文档](https://scikit-learn.org/stable/supervised_learning.html) 中，你会发现大量的分类数据的方法。请在这些文档中进行一次小型寻宝游戏：你的目标是寻找分类方法，并将其与本课程中的数据集、你可以提出的问题以及分类技术相匹配。创建一个电子表格或 .doc 文件的表格，并解释该数据集如何与分类算法一起工作。 + +## 评分标准 + +| 标准 | 卓越 | 适当 | 需要改进 | +| -------- | ----------------------------------------------------------------------------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------- | +| | 提供了一份概述5种算法及其分类技术的文档。概述解释得非常清楚且详细。 | 提供了一份概述3种算法及其分类技术的文档。概述解释得非常清楚且详细。 | 提供了一份概述少于三种算法及其分类技术的文档，且概述解释得既不清楚也不详细。 | + +**免责声明**： +本文档使用基于机器的人工智能翻译服务进行翻译。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原始语言的文档视为权威来源。对于关键信息，建议进行专业的人类翻译。我们不对因使用此翻译而引起的任何误解或误读承担责任。 \ No newline at end of file diff --git a/translations/zh/4-Classification/1-Introduction/solution/Julia/README.md b/translations/zh/4-Classification/1-Introduction/solution/Julia/README.md new file mode 100644 index 000000000..f36170959 --- /dev/null +++ b/translations/zh/4-Classification/1-Introduction/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**免责声明**： +本文档使用基于机器的人工智能翻译服务进行翻译。虽然我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原始语言的文档视为权威来源。对于关键信息，建议进行专业的人类翻译。对于因使用本翻译而引起的任何误解或误释，我们不承担任何责任。 \ No newline at end of file diff --git a/translations/zh/4-Classification/2-Classifiers-1/README.md b/translations/zh/4-Classification/2-Classifiers-1/README.md new file mode 100644 index 000000000..db60d31df --- /dev/null +++ b/translations/zh/4-Classification/2-Classifiers-1/README.md @@ -0,0 +1,244 @@ +# 美食分类器 1 + +在本课中，你将使用上节课保存的数据集，这些数据是关于美食的平衡、干净的数据。 + +你将使用这个数据集与各种分类器一起工作，_根据一组食材预测给定的国家美食_。在此过程中，你将了解一些算法如何被用来完成分类任务。 + +## [课前测验](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/21/) +# 准备工作 + +假设你已经完成了[第一课](../1-Introduction/README.md)，确保在根目录 `/data` 文件夹中存在一个 _cleaned_cuisines.csv_ 文件，以供这四节课使用。 + +## 练习 - 预测国家美食 + +1. 在本课的 _notebook.ipynb_ 文件夹中，导入该文件和 Pandas 库： + + ```python + import pandas as pd + cuisines_df = pd.read_csv("../data/cleaned_cuisines.csv") + cuisines_df.head() + ``` + + 数据看起来是这样的： + +| | Unnamed: 0 | cuisine | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | +| --- | ---------- | ------- | ------ | -------- | ----- | ---------- | ----- | ------------ | ------- | -------- | --- | ------- | ----------- | ---------- | ----------------------- | ---- | ---- | --- | ----- | ------ | -------- | +| 0 | 0 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 1 | 1 | indian | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 2 | 2 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 3 | 3 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 4 | 4 | indian | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | + + +1. 现在，导入更多的库： + + ```python + from sklearn.linear_model import LogisticRegression + from sklearn.model_selection import train_test_split, cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report, precision_recall_curve + from sklearn.svm import SVC + import numpy as np + ``` + +1. 将 X 和 y 坐标分成两个用于训练的数据框架。`cuisine` 可以作为标签数据框： + + ```python + cuisines_label_df = cuisines_df['cuisine'] + cuisines_label_df.head() + ``` + + 它看起来是这样的： + + ```output + 0 indian + 1 indian + 2 indian + 3 indian + 4 indian + Name: cuisine, dtype: object + ``` + +1. 删除 `Unnamed: 0` column and the `cuisine` column, calling `drop()` 列。将剩余的数据保存为可训练的特征： + + ```python + cuisines_feature_df = cuisines_df.drop(['Unnamed: 0', 'cuisine'], axis=1) + cuisines_feature_df.head() + ``` + + 你的特征看起来是这样的： + +| | almond | angelica | anise | anise_seed | apple | apple_brandy | apricot | armagnac | artemisia | artichoke | ... | whiskey | white_bread | white_wine | whole_grain_wheat_flour | wine | wood | yam | yeast | yogurt | zucchini | +| ---: | -----: | -------: | ----: | ---------: | ----: | -----------: | ------: | -------: | --------: | --------: | ---: | ------: | ----------: | ---------: | ----------------------: | ---: | ---: | ---: | ----: | -----: | -------: | +| 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 1 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 2 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 3 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | +| 4 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | ... | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | + +现在你已经准备好训练你的模型了！ + +## 选择你的分类器 + +现在你的数据已经清理干净并准备好进行训练，你需要决定使用哪种算法来完成这项任务。 + +Scikit-learn 将分类归为监督学习，在这个类别中你会发现很多分类方法。 [种类繁多](https://scikit-learn.org/stable/supervised_learning.html)，乍一看可能会让人眼花缭乱。以下方法都包含分类技术： + +- 线性模型 +- 支持向量机 +- 随机梯度下降 +- 最近邻 +- 高斯过程 +- 决策树 +- 集成方法（投票分类器） +- 多类和多输出算法（多类和多标签分类，多类-多输出分类） + +> 你也可以使用[神经网络来分类数据](https://scikit-learn.org/stable/modules/neural_networks_supervised.html#classification)，但这超出了本课的范围。 + +### 选择哪个分类器？ + +那么，你应该选择哪个分类器呢？通常，运行多个分类器并寻找一个好的结果是一种测试方法。Scikit-learn 提供了一个[并排比较](https://scikit-learn.org/stable/auto_examples/classification/plot_classifier_comparison.html)的创建数据集，比较了 KNeighbors、SVC 两种方式、GaussianProcessClassifier、DecisionTreeClassifier、RandomForestClassifier、MLPClassifier、AdaBoostClassifier、GaussianNB 和 QuadraticDiscrinationAnalysis，展示了结果的可视化： + + +> 图表来自 Scikit-learn 的文档 + +> AutoML 通过在云中运行这些比较，允许你选择最适合你数据的算法，巧妙地解决了这个问题。试试[这里](https://docs.microsoft.com/learn/modules/automate-model-selection-with-azure-automl/?WT.mc_id=academic-77952-leestott) + +### 更好的方法 + +比盲目猜测更好的方法是遵循这个可下载的[机器学习速查表](https://docs.microsoft.com/azure/machine-learning/algorithm-cheat-sheet?WT.mc_id=academic-77952-leestott)上的想法。在这里，我们发现，对于我们的多类问题，我们有一些选择： + + +> 微软算法速查表的一部分，详细介绍了多类分类选项 + +✅ 下载这个速查表，打印出来，挂在墙上！ + +### 推理 + +让我们看看能否根据我们面临的限制推理出不同的方法： + +- **神经网络太重了**。考虑到我们的数据集干净但很少，并且我们是通过笔记本本地运行训练，神经网络对于这个任务来说太重了。 +- **没有两类分类器**。我们不使用两类分类器，因此排除了 one-vs-all。 +- **决策树或逻辑回归可能有效**。决策树可能有效，或者多类数据的逻辑回归。 +- **多类增强决策树解决不同的问题**。多类增强决策树最适合非参数任务，例如设计用于构建排名的任务，因此对我们没有用。 + +### 使用 Scikit-learn + +我们将使用 Scikit-learn 来分析我们的数据。然而，在 Scikit-learn 中有许多方法可以使用逻辑回归。看看[需要传递的参数](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html?highlight=logistic%20regressio#sklearn.linear_model.LogisticRegression)。 + +本质上有两个重要参数 - `multi_class` and `solver` - that we need to specify, when we ask Scikit-learn to perform a logistic regression. The `multi_class` value applies a certain behavior. The value of the solver is what algorithm to use. Not all solvers can be paired with all `multi_class` values. + +According to the docs, in the multiclass case, the training algorithm: + +- **Uses the one-vs-rest (OvR) scheme**, if the `multi_class` option is set to `ovr` +- **Uses the cross-entropy loss**, if the `multi_class` option is set to `multinomial`. (Currently the `multinomial` option is supported only by the ‘lbfgs’, ‘sag’, ‘saga’ and ‘newton-cg’ solvers.)" + +> 🎓 The 'scheme' here can either be 'ovr' (one-vs-rest) or 'multinomial'. Since logistic regression is really designed to support binary classification, these schemes allow it to better handle multiclass classification tasks. [source](https://machinelearningmastery.com/one-vs-rest-and-one-vs-one-for-multi-class-classification/) + +> 🎓 The 'solver' is defined as "the algorithm to use in the optimization problem". [source](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html?highlight=logistic%20regressio#sklearn.linear_model.LogisticRegression). + +Scikit-learn offers this table to explain how solvers handle different challenges presented by different kinds of data structures: + + + +## Exercise - split the data + +We can focus on logistic regression for our first training trial since you recently learned about the latter in a previous lesson. +Split your data into training and testing groups by calling `train_test_split()`： + +```python +X_train, X_test, y_train, y_test = train_test_split(cuisines_feature_df, cuisines_label_df, test_size=0.3) +``` + +## 练习 - 应用逻辑回归 + +由于你使用的是多类情况，你需要选择什么 _方案_ 和设置什么 _求解器_。使用 LogisticRegression 的多类设置和 **liblinear** 求解器进行训练。 + +1. 创建一个多类设置为 `ovr` and the solver set to `liblinear` 的逻辑回归： + + ```python + lr = LogisticRegression(multi_class='ovr',solver='liblinear') + model = lr.fit(X_train, np.ravel(y_train)) + + accuracy = model.score(X_test, y_test) + print ("Accuracy is {}".format(accuracy)) + ``` + + ✅ 尝试一个不同的求解器，例如 `lbfgs`, which is often set as default + + > Note, use Pandas [`ravel`](https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.Series.ravel.html) 函数在需要时展平你的数据。 + + 准确率超过 **80%**，效果很好！ + +1. 你可以通过测试一行数据（#50）来看到这个模型的实际效果： + + ```python + print(f'ingredients: {X_test.iloc[50][X_test.iloc[50]!=0].keys()}') + print(f'cuisine: {y_test.iloc[50]}') + ``` + + 结果打印出来： + + ```output + ingredients: Index(['cilantro', 'onion', 'pea', 'potato', 'tomato', 'vegetable_oil'], dtype='object') + cuisine: indian + ``` + + ✅ 尝试一个不同的行号并检查结果 + +1. 更深入地了解，你可以检查这个预测的准确性： + + ```python + test= X_test.iloc[50].values.reshape(-1, 1).T + proba = model.predict_proba(test) + classes = model.classes_ + resultdf = pd.DataFrame(data=proba, columns=classes) + + topPrediction = resultdf.T.sort_values(by=[0], ascending = [False]) + topPrediction.head() + ``` + + 结果打印出来 - 印度菜是最好的猜测，概率很高： + + | | 0 | + | -------: | -------: | + | indian | 0.715851 | + | chinese | 0.229475 | + | japanese | 0.029763 | + | korean | 0.017277 | + | thai | 0.007634 | + + ✅ 你能解释为什么模型非常确定这是印度菜吗？ + +1. 通过打印分类报告，获取更多细节，就像在回归课程中所做的那样： + + ```python + y_pred = model.predict(X_test) + print(classification_report(y_test,y_pred)) + ``` + + | | precision | recall | f1-score | support | + | ------------ | --------- | ------ | -------- | ------- | + | chinese | 0.73 | 0.71 | 0.72 | 229 | + | indian | 0.91 | 0.93 | 0.92 | 254 | + | japanese | 0.70 | 0.75 | 0.72 | 220 | + | korean | 0.86 | 0.76 | 0.81 | 242 | + | thai | 0.79 | 0.85 | 0.82 | 254 | + | accuracy | 0.80 | 1199 | | | + | macro avg | 0.80 | 0.80 | 0.80 | 1199 | + | weighted avg | 0.80 | 0.80 | 0.80 | 1199 | + +## 🚀挑战 + +在本课中，你使用清理后的数据构建了一个机器学习模型，可以根据一系列食材预测国家美食。花点时间阅读 Scikit-learn 提供的许多分类数据的选项。深入了解“求解器”的概念，了解幕后发生了什么。 + +## [课后测验](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/22/) + +## 回顾与自学 + +深入了解逻辑回归背后的数学原理，在[这节课](https://people.eecs.berkeley.edu/~russell/classes/cs194/f11/lectures/CS194%20Fall%202011%20Lecture%2006.pdf) +## 作业 + +[研究求解器](assignment.md) + +**免责声明**： +本文档已使用基于机器的人工智能翻译服务进行翻译。虽然我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原文档的母语版本视为权威来源。对于关键信息，建议使用专业人工翻译。我们对使用本翻译可能引起的任何误解或误读不承担责任。 \ No newline at end of file diff --git a/translations/zh/4-Classification/2-Classifiers-1/assignment.md b/translations/zh/4-Classification/2-Classifiers-1/assignment.md new file mode 100644 index 000000000..234aa1cbe --- /dev/null +++ b/translations/zh/4-Classification/2-Classifiers-1/assignment.md @@ -0,0 +1,12 @@ +# 研究求解器 +## 说明 + +在本课中，你了解了将算法与机器学习过程相结合以创建准确模型的各种求解器。浏览课中列出的求解器，并选择两个。在你自己的话中，对这两个求解器进行比较和对比。它们解决什么样的问题？它们如何处理各种数据结构？为什么你会选择其中一个而不是另一个？ +## 评分标准 + +| 标准 | 模范 | 合格 | 需要改进 | +| ------ | --------------------------------------------------------------------------------------------- | ---------------------------------------------- | --------------------------- | +| | 提交的 .doc 文件包含两个段落，每个段落分别比较一个求解器，并进行深思熟虑的比较。 | 提交的 .doc 文件只有一个段落 | 作业不完整 | + +**免责声明**: +本文件使用基于机器的人工智能翻译服务进行翻译。虽然我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原始文件的本地语言版本视为权威来源。对于关键信息，建议进行专业的人类翻译。对于因使用本翻译而产生的任何误解或误读，我们概不负责。 \ No newline at end of file diff --git a/translations/zh/4-Classification/2-Classifiers-1/solution/Julia/README.md b/translations/zh/4-Classification/2-Classifiers-1/solution/Julia/README.md new file mode 100644 index 000000000..7d329e2a9 --- /dev/null +++ b/translations/zh/4-Classification/2-Classifiers-1/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**免责声明**： +本文档使用基于机器的AI翻译服务进行翻译。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原始语言的文档视为权威来源。对于关键信息，建议进行专业的人类翻译。我们不对因使用本翻译而产生的任何误解或误读负责。 \ No newline at end of file diff --git a/translations/zh/4-Classification/3-Classifiers-2/README.md b/translations/zh/4-Classification/3-Classifiers-2/README.md new file mode 100644 index 000000000..bf8592de2 --- /dev/null +++ b/translations/zh/4-Classification/3-Classifiers-2/README.md @@ -0,0 +1,238 @@ +# 美食分类器 2 + +在第二节分类课程中，您将探索更多分类数值数据的方法。您还将了解选择不同分类器的后果。 + +## [课前测验](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/23/) + +### 前提条件 + +我们假设您已经完成了前面的课程，并在您的 `data` 文件夹中有一个名为 _cleaned_cuisines.csv_ 的已清理数据集，该文件位于这四节课的根目录中。 + +### 准备 + +我们已经加载了您的 _notebook.ipynb_ 文件，并将已清理的数据集划分为 X 和 y 数据框，准备进行模型构建过程。 + +## 分类图 + +之前，您通过微软的速查表了解了分类数据的各种选项。Scikit-learn 提供了一个类似但更细致的速查表，可以进一步帮助您缩小估算器（分类器的另一种说法）的选择范围： + + +> 提示：[在线访问此图](https://scikit-learn.org/stable/tutorial/machine_learning_map/)并点击路径以阅读文档。 + +### 计划 + +一旦您对数据有了清晰的理解，这张图就非常有帮助，因为您可以沿着路径“走”到一个决策： + +- 我们有超过50个样本 +- 我们想预测一个类别 +- 我们有标记的数据 +- 我们有少于100K个样本 +- ✨ 我们可以选择一个线性SVC +- 如果这不起作用，因为我们有数值数据 + - 我们可以尝试一个 ✨ KNeighbors 分类器 + - 如果这不起作用，尝试 ✨ SVC 和 ✨ 集成分类器 + +这是一个非常有用的路径。 + +## 练习 - 划分数据 + +按照这条路径，我们应该从导入一些需要的库开始。 + +1. 导入所需的库： + + ```python + from sklearn.neighbors import KNeighborsClassifier + from sklearn.linear_model import LogisticRegression + from sklearn.svm import SVC + from sklearn.ensemble import RandomForestClassifier, AdaBoostClassifier + from sklearn.model_selection import train_test_split, cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report, precision_recall_curve + import numpy as np + ``` + +1. 划分您的训练和测试数据： + + ```python + X_train, X_test, y_train, y_test = train_test_split(cuisines_feature_df, cuisines_label_df, test_size=0.3) + ``` + +## 线性 SVC 分类器 + +支持向量聚类（SVC）是支持向量机家族中的一种机器学习技术（下面会详细介绍）。在这种方法中，您可以选择一个“核”来决定如何聚类标签。参数 'C' 指的是“正则化”，它调节参数的影响。核可以是[几种](https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html#sklearn.svm.SVC)中的一种；这里我们将其设置为“线性”，以确保我们利用线性 SVC。概率默认为“false”；在这里我们将其设置为“true”以收集概率估计。我们将随机状态设置为“0”以打乱数据以获得概率。 + +### 练习 - 应用线性 SVC + +首先创建一个分类器数组。我们将在测试时逐步添加到这个数组中。 + +1. 从线性 SVC 开始： + + ```python + C = 10 + # Create different classifiers. + classifiers = { + 'Linear SVC': SVC(kernel='linear', C=C, probability=True,random_state=0) + } + ``` + +2. 使用线性 SVC 训练您的模型并打印出报告： + + ```python + n_classifiers = len(classifiers) + + for index, (name, classifier) in enumerate(classifiers.items()): + classifier.fit(X_train, np.ravel(y_train)) + + y_pred = classifier.predict(X_test) + accuracy = accuracy_score(y_test, y_pred) + print("Accuracy (train) for %s: %0.1f%% " % (name, accuracy * 100)) + print(classification_report(y_test,y_pred)) + ``` + + 结果相当不错： + + ```output + Accuracy (train) for Linear SVC: 78.6% + precision recall f1-score support + + chinese 0.71 0.67 0.69 242 + indian 0.88 0.86 0.87 234 + japanese 0.79 0.74 0.76 254 + korean 0.85 0.81 0.83 242 + thai 0.71 0.86 0.78 227 + + accuracy 0.79 1199 + macro avg 0.79 0.79 0.79 1199 + weighted avg 0.79 0.79 0.79 1199 + ``` + +## K-Neighbors 分类器 + +K-Neighbors 是“邻居”家族的机器学习方法的一部分，可以用于监督和非监督学习。在这种方法中，会创建预定义数量的点，并围绕这些点收集数据，以便为数据预测通用标签。 + +### 练习 - 应用 K-Neighbors 分类器 + +之前的分类器效果不错，并且与数据配合良好，但也许我们可以获得更好的准确性。试试 K-Neighbors 分类器。 + +1. 在分类器数组中添加一行（在线性 SVC 项目后添加一个逗号）： + + ```python + 'KNN classifier': KNeighborsClassifier(C), + ``` + + 结果稍差一些： + + ```output + Accuracy (train) for KNN classifier: 73.8% + precision recall f1-score support + + chinese 0.64 0.67 0.66 242 + indian 0.86 0.78 0.82 234 + japanese 0.66 0.83 0.74 254 + korean 0.94 0.58 0.72 242 + thai 0.71 0.82 0.76 227 + + accuracy 0.74 1199 + macro avg 0.76 0.74 0.74 1199 + weighted avg 0.76 0.74 0.74 1199 + ``` + + ✅ 了解 [K-Neighbors](https://scikit-learn.org/stable/modules/neighbors.html#neighbors) + +## 支持向量分类器 + +支持向量分类器是 [支持向量机](https://wikipedia.org/wiki/Support-vector_machine) 家族的一部分，这些机器学习方法用于分类和回归任务。SVMs 将“训练示例映射到空间中的点”以最大化两个类别之间的距离。随后将数据映射到此空间，以便预测它们的类别。 + +### 练习 - 应用支持向量分类器 + +让我们尝试用支持向量分类器获得更好的准确性。 + +1. 在 K-Neighbors 项目后添加一个逗号，然后添加这一行： + + ```python + 'SVC': SVC(), + ``` + + 结果相当好！ + + ```output + Accuracy (train) for SVC: 83.2% + precision recall f1-score support + + chinese 0.79 0.74 0.76 242 + indian 0.88 0.90 0.89 234 + japanese 0.87 0.81 0.84 254 + korean 0.91 0.82 0.86 242 + thai 0.74 0.90 0.81 227 + + accuracy 0.83 1199 + macro avg 0.84 0.83 0.83 1199 + weighted avg 0.84 0.83 0.83 1199 + ``` + + ✅ 了解 [支持向量](https://scikit-learn.org/stable/modules/svm.html#svm) + +## 集成分类器 + +让我们走到这条路径的尽头，尽管前面的测试结果已经相当好。让我们尝试一些“集成分类器”，特别是随机森林和 AdaBoost： + +```python + 'RFST': RandomForestClassifier(n_estimators=100), + 'ADA': AdaBoostClassifier(n_estimators=100) +``` + +结果非常好，尤其是随机森林： + +```output +Accuracy (train) for RFST: 84.5% + precision recall f1-score support + + chinese 0.80 0.77 0.78 242 + indian 0.89 0.92 0.90 234 + japanese 0.86 0.84 0.85 254 + korean 0.88 0.83 0.85 242 + thai 0.80 0.87 0.83 227 + + accuracy 0.84 1199 + macro avg 0.85 0.85 0.84 1199 +weighted avg 0.85 0.84 0.84 1199 + +Accuracy (train) for ADA: 72.4% + precision recall f1-score support + + chinese 0.64 0.49 0.56 242 + indian 0.91 0.83 0.87 234 + japanese 0.68 0.69 0.69 254 + korean 0.73 0.79 0.76 242 + thai 0.67 0.83 0.74 227 + + accuracy 0.72 1199 + macro avg 0.73 0.73 0.72 1199 +weighted avg 0.73 0.72 0.72 1199 +``` + +✅ 了解 [集成分类器](https://scikit-learn.org/stable/modules/ensemble.html) + +这种机器学习方法“结合了几个基础估算器的预测”以提高模型的质量。在我们的示例中，我们使用了随机森林和 AdaBoost。 + +- [随机森林](https://scikit-learn.org/stable/modules/ensemble.html#forest)，一种平均方法，构建一个充满随机性的“决策树”森林，以避免过拟合。参数 n_estimators 设置为树的数量。 + +- [AdaBoost](https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.AdaBoostClassifier.html) 将分类器拟合到数据集，然后将该分类器的副本拟合到同一数据集。它关注错误分类项的权重，并调整下一个分类器的拟合以进行修正。 + +--- + +## 🚀挑战 + +这些技术中的每一个都有大量参数可以调整。研究每个技术的默认参数，并思考调整这些参数对模型质量的影响。 + +## [课后测验](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/24/) + +## 复习与自学 + +这些课程中有很多术语，所以花点时间复习一下[这个列表](https://docs.microsoft.com/dotnet/machine-learning/resources/glossary?WT.mc_id=academic-77952-leestott)中的有用术语！ + +## 作业 + +[参数调试](assignment.md) + +**免责声明**: +本文档是使用机器翻译服务翻译的。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应以原文档的母语版本为权威来源。对于关键信息，建议使用专业的人类翻译。对于因使用本翻译而产生的任何误解或误读，我们概不负责。 \ No newline at end of file diff --git a/translations/zh/4-Classification/3-Classifiers-2/assignment.md b/translations/zh/4-Classification/3-Classifiers-2/assignment.md new file mode 100644 index 000000000..730b86646 --- /dev/null +++ b/translations/zh/4-Classification/3-Classifiers-2/assignment.md @@ -0,0 +1,14 @@ +# 参数演练 + +## 说明 + +在使用这些分类器时，有很多默认设置的参数。VS Code 中的 Intellisense 可以帮助你深入了解它们。在本课中采用一种机器学习分类技术，并通过调整各种参数值来重新训练模型。创建一个笔记本，解释为什么某些更改有助于模型质量，而其他更改则会降低质量。请在回答中详细说明。 + +## 评分标准 + +| 标准 | 卓越 | 适当 | 需要改进 | +| ------ | ---------------------------------------------------------------------------------------------------------------------- | -------------------------------------------------- | ----------------------------- | +| | 提供一个完全构建的分类器的笔记本，并在文本框中解释参数调整和更改 | 提供的笔记本部分完成或解释不充分 | 提供的笔记本有错误或缺陷 | + +**免责声明**： +本文档使用基于机器的人工智能翻译服务进行翻译。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原文档的母语版本视为权威来源。对于重要信息，建议使用专业人工翻译。对于因使用本翻译而引起的任何误解或误读，我们不承担责任。 \ No newline at end of file diff --git a/translations/zh/4-Classification/3-Classifiers-2/solution/Julia/README.md b/translations/zh/4-Classification/3-Classifiers-2/solution/Julia/README.md new file mode 100644 index 000000000..f7171b0ee --- /dev/null +++ b/translations/zh/4-Classification/3-Classifiers-2/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**免责声明**： +本文档使用基于机器的AI翻译服务进行翻译。尽管我们力求准确，但请注意，自动翻译可能包含错误或不准确之处。应将原始语言的文档视为权威来源。对于关键信息，建议使用专业的人类翻译。对于因使用此翻译而引起的任何误解或误读，我们概不负责。 \ No newline at end of file diff --git a/translations/zh/4-Classification/4-Applied/README.md b/translations/zh/4-Classification/4-Applied/README.md new file mode 100644 index 000000000..e3adbdaf0 --- /dev/null +++ b/translations/zh/4-Classification/4-Applied/README.md @@ -0,0 +1,317 @@ +# 构建一个美食推荐 Web 应用 + +在本课中，你将使用之前课程中学到的一些技术，结合贯穿本系列课程使用的美食数据集，构建一个分类模型。此外，你还将构建一个小型 Web 应用来使用保存的模型，并利用 Onnx 的 Web 运行时。 + +机器学习最有用的实际应用之一是构建推荐系统，你今天可以迈出这一方向的第一步！ + +[](https://youtu.be/17wdM9AHMfg "应用机器学习") + +> 🎥 点击上面的图片观看视频：Jen Looper 使用分类美食数据构建 Web 应用 + +## [课前小测验](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/25/) + +在本课中你将学习： + +- 如何构建模型并将其保存为 Onnx 模型 +- 如何使用 Netron 检查模型 +- 如何在 Web 应用中使用你的模型进行推断 + +## 构建你的模型 + +构建应用机器学习系统是利用这些技术为你的业务系统服务的重要部分。你可以使用 Onnx 在 Web 应用中使用模型（如果需要，也可以在离线环境中使用它们）。 + +在[之前的课程](../../3-Web-App/1-Web-App/README.md)中，你构建了一个关于 UFO 目击事件的回归模型，将其“腌制”并在 Flask 应用中使用。虽然这种架构非常有用，但它是一个全栈的 Python 应用，而你的需求可能包括使用 JavaScript 应用。 + +在本课中，你可以构建一个基于 JavaScript 的基本推断系统。但首先，你需要训练一个模型并将其转换为 Onnx 格式。 + +## 练习 - 训练分类模型 + +首先，使用我们之前使用的清理后的美食数据集训练一个分类模型。 + +1. 首先导入有用的库： + + ```python + !pip install skl2onnx + import pandas as pd + ``` + + 你需要 '[skl2onnx](https://onnx.ai/sklearn-onnx/)' 来帮助将你的 Scikit-learn 模型转换为 Onnx 格式。 + +1. 然后，以与之前课程相同的方式处理你的数据，通过 `read_csv()` 读取 CSV 文件： + + ```python + data = pd.read_csv('../data/cleaned_cuisines.csv') + data.head() + ``` + +1. 移除前两个不必要的列，并将剩余的数据保存为 'X'： + + ```python + X = data.iloc[:,2:] + X.head() + ``` + +1. 将标签保存为 'y'： + + ```python + y = data[['cuisine']] + y.head() + + ``` + +### 开始训练流程 + +我们将使用具有良好准确性的 'SVC' 库。 + +1. 从 Scikit-learn 导入适当的库： + + ```python + from sklearn.model_selection import train_test_split + from sklearn.svm import SVC + from sklearn.model_selection import cross_val_score + from sklearn.metrics import accuracy_score,precision_score,confusion_matrix,classification_report + ``` + +1. 分离训练集和测试集： + + ```python + X_train, X_test, y_train, y_test = train_test_split(X,y,test_size=0.3) + ``` + +1. 构建一个 SVC 分类模型，如你在之前的课程中所做的那样： + + ```python + model = SVC(kernel='linear', C=10, probability=True,random_state=0) + model.fit(X_train,y_train.values.ravel()) + ``` + +1. 现在，测试你的模型，调用 `predict()`： + + ```python + y_pred = model.predict(X_test) + ``` + +1. 打印分类报告以检查模型的质量： + + ```python + print(classification_report(y_test,y_pred)) + ``` + + 如我们之前所见，准确性很好： + + ```output + precision recall f1-score support + + chinese 0.72 0.69 0.70 257 + indian 0.91 0.87 0.89 243 + japanese 0.79 0.77 0.78 239 + korean 0.83 0.79 0.81 236 + thai 0.72 0.84 0.78 224 + + accuracy 0.79 1199 + macro avg 0.79 0.79 0.79 1199 + weighted avg 0.79 0.79 0.79 1199 + ``` + +### 将你的模型转换为 Onnx + +确保使用正确的 Tensor 数进行转换。此数据集中列出了 380 种成分，因此你需要在 `FloatTensorType` 中标注该数字： + +1. 使用 380 的 tensor 数进行转换。 + + ```python + from skl2onnx import convert_sklearn + from skl2onnx.common.data_types import FloatTensorType + + initial_type = [('float_input', FloatTensorType([None, 380]))] + options = {id(model): {'nocl': True, 'zipmap': False}} + ``` + +1. 创建 onx 文件并保存为 **model.onnx**： + + ```python + onx = convert_sklearn(model, initial_types=initial_type, options=options) + with open("./model.onnx", "wb") as f: + f.write(onx.SerializeToString()) + ``` + + > 注意，你可以在转换脚本中传递[选项](https://onnx.ai/sklearn-onnx/parameterized.html)。在本例中，我们将 'nocl' 设置为 True，并将 'zipmap' 设置为 False。由于这是一个分类模型，你可以选择移除 ZipMap，它会生成一个字典列表（不必要）。 `nocl` refers to class information being included in the model. Reduce your model's size by setting `nocl` to 'True'. + +Running the entire notebook will now build an Onnx model and save it to this folder. + +## View your model + +Onnx models are not very visible in Visual Studio code, but there's a very good free software that many researchers use to visualize the model to ensure that it is properly built. Download [Netron](https://github.com/lutzroeder/Netron) and open your model.onnx file. You can see your simple model visualized, with its 380 inputs and classifier listed: + + + +Netron is a helpful tool to view your models. + +Now you are ready to use this neat model in a web app. Let's build an app that will come in handy when you look in your refrigerator and try to figure out which combination of your leftover ingredients you can use to cook a given cuisine, as determined by your model. + +## Build a recommender web application + +You can use your model directly in a web app. This architecture also allows you to run it locally and even offline if needed. Start by creating an `index.html` file in the same folder where you stored your `model.onnx` 文件。 + +1. 在这个文件 _index.html_ 中，添加以下标记： + + ```html + + + + + + ... + + + ``` + +1. 现在，在 `body` 标签内工作，添加一些标记以显示反映某些成分的复选框列表： + + ```html +Cuisine Matcher +Check your refrigerator. What can you create?
++++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + ++ ++ + +++ ++ ``` + + 注意，每个复选框都有一个值。这反映了成分在数据集中的索引位置。例如，苹果在这个按字母顺序排列的列表中占据第五列，所以它的值是 '4'，因为我们从 0 开始计数。你可以查阅[成分电子表格](../../../../4-Classification/data/ingredient_indexes.csv)来发现给定成分的索引。 + + 继续在 index.html 文件中工作，在最后一个关闭的 `` 后添加一个脚本块，其中调用模型。 + +1. 首先，导入 [Onnx Runtime](https://www.onnxruntime.ai/)： + + ```html + + ``` + + > Onnx Runtime 用于在广泛的硬件平台上运行你的 Onnx 模型，包括优化和使用的 API。 + +1. 一旦 Runtime 就位，你可以调用它： + + ```html + + ``` + +在这段代码中，发生了几件事： + +1. 你创建了一个包含 380 个可能值（1 或 0）的数组，这些值将根据成分复选框是否被选中而设置并发送到模型进行推断。 +2. 你创建了一个复选框数组，并提供了一种确定它们是否被选中的方法，在 `init` function that is called when the application starts. When a checkbox is checked, the `ingredients` array is altered to reflect the chosen ingredient. +3. You created a `testCheckboxes` function that checks whether any checkbox was checked. +4. You use `startInference` function when the button is pressed and, if any checkbox is checked, you start inference. +5. The inference routine includes: + 1. Setting up an asynchronous load of the model + 2. Creating a Tensor structure to send to the model + 3. Creating 'feeds' that reflects the `float_input` input that you created when training your model (you can use Netron to verify that name) + 4. Sending these 'feeds' to the model and waiting for a response + +## Test your application + +Open a terminal session in Visual Studio Code in the folder where your index.html file resides. Ensure that you have [http-server](https://www.npmjs.com/package/http-server) installed globally, and type `http-server` 提示符下。一个本地主机应该会打开，你可以查看你的 Web 应用。检查根据各种成分推荐的美食： + + + +恭喜，你已经创建了一个带有几个字段的“推荐” Web 应用。花点时间来完善这个系统吧！ +## 🚀挑战 + +你的 Web 应用非常简单，因此继续使用[ingredient_indexes](../../../../4-Classification/data/ingredient_indexes.csv) 数据中的成分及其索引来完善它。哪些口味组合可以创造出特定的国家菜肴？ + +## [课后小测验](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/26/) + +## 复习与自学 + +虽然本课只是触及了创建食材推荐系统的实用性，但这个机器学习应用领域有很多丰富的例子。阅读更多关于这些系统如何构建的内容： + +- https://www.sciencedirect.com/topics/computer-science/recommendation-engine +- https://www.technologyreview.com/2014/08/25/171547/the-ultimate-challenge-for-recommendation-engines/ +- https://www.technologyreview.com/2015/03/23/168831/everything-is-a-recommendation/ + +## 作业 + +[构建一个新的推荐系统](assignment.md) + +**免责声明**: +本文档使用基于机器的人工智能翻译服务进行翻译。尽管我们力求准确，但请注意，自动翻译可能包含错误或不准确之处。应将原始语言的文档视为权威来源。对于关键信息，建议进行专业人工翻译。我们对因使用此翻译而引起的任何误解或误读不承担责任。 \ No newline at end of file diff --git a/translations/zh/4-Classification/4-Applied/assignment.md b/translations/zh/4-Classification/4-Applied/assignment.md new file mode 100644 index 000000000..8e6c7162c --- /dev/null +++ b/translations/zh/4-Classification/4-Applied/assignment.md @@ -0,0 +1,14 @@ +# 构建推荐系统 + +## 说明 + +根据你在本课中的练习，你现在知道如何使用 Onnx Runtime 和转换后的 Onnx 模型来构建基于 JavaScript 的 web 应用。尝试使用这些课程中的数据或其他来源的数据（请注明出处）来构建一个新的推荐系统。你可以根据各种个性属性创建一个宠物推荐系统，或者根据一个人的心情创建一个音乐类型推荐系统。发挥你的创造力吧！ + +## 评分标准 + +| 标准 | 杰出表现 | 合格表现 | 需要改进 | +| -------- | ---------------------------------------------------------------------- | ------------------------------------- | --------------------------------- | +| | 提供了一个 web 应用和笔记本，且两者都记录良好并能运行 | 其中一个缺失或有缺陷 | 两者都缺失或有缺陷 | + +**免责声明**： +本文件使用基于机器的人工智能翻译服务进行翻译。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原始语言的文件视为权威来源。对于关键信息，建议使用专业人工翻译。我们不对因使用此翻译而产生的任何误解或误读承担责任。 \ No newline at end of file diff --git a/translations/zh/4-Classification/README.md b/translations/zh/4-Classification/README.md new file mode 100644 index 000000000..18684e666 --- /dev/null +++ b/translations/zh/4-Classification/README.md @@ -0,0 +1,30 @@ +# 分类入门 + +## 区域话题：美味的亚洲和印度美食 🍜 + +在亚洲和印度，饮食传统极其多样化，而且非常美味！让我们看看有关区域美食的数据，试着了解它们的成分。 + + +> 照片由 Lisheng Chang 提供，来自 Unsplash + +## 你将学到什么 + +在本节中，你将基于之前对回归的学习，了解其他分类器，以便更好地理解数据。 + +> 有一些有用的低代码工具可以帮助你学习如何使用分类模型。试试 [Azure ML 来完成这个任务](https://docs.microsoft.com/learn/modules/create-classification-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott) + +## 课程 + +1. [分类简介](1-Introduction/README.md) +2. [更多分类器](2-Classifiers-1/README.md) +3. [其他分类器](3-Classifiers-2/README.md) +4. [应用机器学习：构建一个 web 应用](4-Applied/README.md) + +## 致谢 + +"分类入门" 由 [Cassie Breviu](https://www.twitter.com/cassiebreviu) 和 [Jen Looper](https://www.twitter.com/jenlooper) 用 ♥️ 编写 + +美味的美食数据集来源于 [Kaggle](https://www.kaggle.com/hoandan/asian-and-indian-cuisines)。 + +**免责声明**： +本文档使用基于机器的人工智能翻译服务进行翻译。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原始语言的文档视为权威来源。对于关键信息，建议使用专业人工翻译。我们不对因使用此翻译而引起的任何误解或误释承担责任。 \ No newline at end of file diff --git a/translations/zh/5-Clustering/1-Visualize/README.md b/translations/zh/5-Clustering/1-Visualize/README.md new file mode 100644 index 000000000..1154465a2 --- /dev/null +++ b/translations/zh/5-Clustering/1-Visualize/README.md @@ -0,0 +1,221 @@ +# 聚类简介 + +聚类是一种[无监督学习](https://wikipedia.org/wiki/Unsupervised_learning)方法，假设数据集是未标记的，或者其输入未与预定义的输出匹配。它使用各种算法对未标记的数据进行分类，并根据数据中识别出的模式提供分组。 + +[](https://youtu.be/ty2advRiWJM "PSquare的No One Like You") + +> 🎥 点击上面的图片观看视频。在学习聚类机器学习的同时，享受一些尼日利亚舞厅音乐——这是PSquare在2014年发布的一首备受好评的歌曲。 +## [课前测验](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/27/) +### 简介 + +[聚类](https://link.springer.com/referenceworkentry/10.1007%2F978-0-387-30164-8_124)对于数据探索非常有用。让我们看看它是否可以帮助发现尼日利亚观众消费音乐的趋势和模式。 + +✅ 花一分钟时间思考聚类的用途。在现实生活中，每当你有一堆洗好的衣服需要分类到家庭成员的衣物中时，就会发生聚类🧦👕👖🩲。在数据科学中，聚类发生在尝试分析用户的偏好或确定任何未标记数据集的特征时。聚类在某种程度上帮助我们理解混乱，比如一个袜子抽屉。 + +[](https://youtu.be/esmzYhuFnds "聚类简介") + +> 🎥 点击上面的图片观看视频：MIT的John Guttag介绍聚类 + +在专业环境中，聚类可以用来确定市场细分，例如确定哪个年龄段购买哪些物品。另一个用途是异常检测，可能用于从信用卡交易数据集中检测欺诈行为。或者你可能会使用聚类来确定一批医学扫描中的肿瘤。 + +✅ 想一分钟，你可能在银行、电子商务或商业环境中如何遇到过聚类。 + +> 🎓 有趣的是，聚类分析起源于20世纪30年代的人类学和心理学领域。你能想象它可能是如何使用的吗？ + +或者，你可以用它来对搜索结果进行分组——例如购物链接、图片或评论。当你有一个大型数据集需要缩小并进行更细粒度的分析时，聚类是非常有用的，因此这种技术可以在构建其他模型之前了解数据。 + +✅ 一旦你的数据被组织成聚类，你可以为其分配一个聚类ID，这种技术在保护数据集隐私时非常有用；你可以通过其聚类ID而不是更具揭示性的可识别数据来引用数据点。你能想到其他为什么你会用聚类ID而不是聚类的其他元素来识别它的原因吗？ + +在这个[学习模块](https://docs.microsoft.com/learn/modules/train-evaluate-cluster-models?WT.mc_id=academic-77952-leestott)中深入了解聚类技术 +## 聚类入门 + +[Scikit-learn提供了大量](https://scikit-learn.org/stable/modules/clustering.html)的聚类方法。你选择的类型将取决于你的用例。根据文档，每种方法都有不同的优点。以下是Scikit-learn支持的方法及其适用用例的简化表： + +| 方法名称 | 用例 | +| :--------------------------- | :--------------------------------------------------------------------- | +| K-Means | 通用，归纳式 | +| Affinity propagation | 许多，不均匀的聚类，归纳式 | +| Mean-shift | 许多，不均匀的聚类，归纳式 | +| Spectral clustering | 少数，均匀的聚类，传导式 | +| Ward hierarchical clustering | 许多，受约束的聚类，传导式 | +| Agglomerative clustering | 许多，受约束的，非欧几里得距离，传导式 | +| DBSCAN | 非平面几何，不均匀的聚类，传导式 | +| OPTICS | 非平面几何，不均匀的聚类，密度可变，传导式 | +| Gaussian mixtures | 平面几何，归纳式 | +| BIRCH | 带有离群值的大型数据集，归纳式 | + +> 🎓 我们如何创建聚类与我们如何将数据点聚集成组有很大关系。让我们解开一些词汇： +> +> 🎓 ['传导式' vs. '归纳式'](https://wikipedia.org/wiki/Transduction_(machine_learning)) +> +> 传导推理是从观察到的训练案例中推导出来的，这些案例映射到特定的测试案例。归纳推理是从训练案例中推导出来的，这些案例映射到一般规则，然后才应用于测试案例。 +> +> 举个例子：假设你有一个部分标记的数据集。有些东西是'唱片'，有些是'CD'，有些是空白的。你的任务是为空白部分提供标签。如果你选择归纳方法，你会训练一个模型寻找'唱片'和'CD'，并将这些标签应用于未标记的数据。这种方法在分类实际上是'磁带'的东西时会遇到麻烦。另一方面，传导方法更有效地处理这种未知数据，因为它会将相似的项目分组，然后将标签应用于一个组。在这种情况下，聚类可能反映'圆形音乐物品'和'方形音乐物品'。 +> +> 🎓 ['非平面' vs. '平面'几何](https://datascience.stackexchange.com/questions/52260/terminology-flat-geometry-in-the-context-of-clustering) +> +> 源自数学术语，非平面与平面几何指的是通过'平面'（[欧几里得](https://wikipedia.org/wiki/Euclidean_geometry)）或'非平面'（非欧几里得）几何方法测量点之间的距离。 +> +>'平面'在此上下文中指的是欧几里得几何（其中的一部分被教授为'平面'几何），而非平面指的是非欧几里得几何。几何与机器学习有什么关系？好吧，作为两个根植于数学的领域，必须有一种常见的方法来测量聚类中点之间的距离，这可以通过'平面'或'非平面'方式完成，具体取决于数据的性质。[欧几里得距离](https://wikipedia.org/wiki/Euclidean_distance)被测量为两点之间线段的长度。[非欧几里得距离](https://wikipedia.org/wiki/Non-Euclidean_geometry)沿曲线测量。如果你的数据在可视化时似乎不存在于平面上，你可能需要使用专门的算法来处理它。 +> + +> 信息图由[Dasani Madipalli](https://twitter.com/dasani_decoded)制作 +> +> 🎓 ['距离'](https://web.stanford.edu/class/cs345a/slides/12-clustering.pdf) +> +> 聚类由其距离矩阵定义，例如点之间的距离。这种距离可以通过几种方式测量。欧几里得聚类由点值的平均值定义，并包含一个'质心'或中心点。因此距离通过到质心的距离来测量。非欧几里得距离指的是'聚类中心点'，即最接近其他点的点。聚类中心点反过来可以通过各种方式定义。 +> +> 🎓 ['受约束'](https://wikipedia.org/wiki/Constrained_clustering) +> +> [受约束聚类](https://web.cs.ucdavis.edu/~davidson/Publications/ICDMTutorial.pdf)将'半监督'学习引入这种无监督方法。点之间的关系被标记为'不能链接'或'必须链接'，因此在数据集上强加了一些规则。 +> +> 举个例子：如果一个算法在一批未标记或半标记的数据上自由运行，它产生的聚类可能质量很差。在上面的例子中，聚类可能会将'圆形音乐物品'、'方形音乐物品'、'三角形物品'和'饼干'分组。如果给出一些约束或规则（“项目必须是塑料制成的”，“项目需要能够产生音乐”），这可以帮助'约束'算法做出更好的选择。 +> +> 🎓 '密度' +> +> 被认为是'噪声'的数据被认为是'密集'的。通过检查，每个聚类中点之间的距离可能证明是更密集或更稀疏的，因此需要使用适当的聚类方法来分析这种数据。[这篇文章](https://www.kdnuggets.com/2020/02/understanding-density-based-clustering.html)展示了使用K-Means聚类与HDBSCAN算法探索具有不均匀聚类密度的噪声数据集的区别。 + +## 聚类算法 + +有超过100种聚类算法，它们的使用取决于手头数据的性质。让我们讨论一些主要的： + +- **层次聚类**。如果一个对象是通过其与附近对象的接近程度来分类的，而不是与远离的对象分类，则聚类是基于其成员与其他对象的距离形成的。Scikit-learn的凝聚聚类是层次聚类。 + +  + > 信息图由[Dasani Madipalli](https://twitter.com/dasani_decoded)制作 + +- **质心聚类**。这种流行的算法需要选择'k'，即要形成的聚类数量，然后算法确定聚类的中心点并围绕该点收集数据。[K-means聚类](https://wikipedia.org/wiki/K-means_clustering)是质心聚类的流行版本。中心由最近的均值确定，因此得名。聚类的平方距离被最小化。 + +  + > 信息图由[Dasani Madipalli](https://twitter.com/dasani_decoded)制作 + +- **基于分布的聚类**。基于统计建模，基于分布的聚类中心在确定数据点属于某个聚类的概率，并相应地分配它。高斯混合方法属于这种类型。 + +- **基于密度的聚类**。数据点根据其密度或围绕彼此的分组被分配到聚类。远离组的数据点被视为离群点或噪声。DBSCAN、Mean-shift和OPTICS属于这种类型的聚类。 + +- **基于网格的聚类**。对于多维数据集，创建一个网格并将数据分配到网格的单元中，从而创建聚类。 + +## 练习 - 聚类你的数据 + +聚类作为一种技术大大受益于适当的可视化，所以让我们开始可视化我们的音乐数据。这个练习将帮助我们决定哪种聚类方法最有效地用于这种数据的性质。 + +1. 打开此文件夹中的[_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/1-Visualize/notebook.ipynb)文件。 + +1. 导入`Seaborn`包以获得良好的数据可视化效果。 + + ```python + !pip install seaborn + ``` + +1. 从[_nigerian-songs.csv_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/data/nigerian-songs.csv)中追加歌曲数据。加载一个包含一些关于歌曲数据的数据框架。通过导入库并导出数据来准备探索此数据： + + ```python + import matplotlib.pyplot as plt + import pandas as pd + + df = pd.read_csv("../data/nigerian-songs.csv") + df.head() + ``` + + 检查前几行数据： + + | | name | album | artist | artist_top_genre | release_date | length | popularity | danceability | acousticness | energy | instrumentalness | liveness | loudness | speechiness | tempo | time_signature | + | --- | ------------------------ | ---------------------------- | ------------------- | ---------------- | ------------ | ------ | ---------- | ------------ | ------------ | ------ | ---------------- | -------- | -------- | ----------- | ------- | -------------- | + | 0 | Sparky | Mandy & The Jungle | Cruel Santino | alternative r&b | 2019 | 144000 | 48 | 0.666 | 0.851 | 0.42 | 0.534 | 0.11 | -6.699 | 0.0829 | 133.015 | 5 | + | 1 | shuga rush | EVERYTHING YOU HEARD IS TRUE | Odunsi (The Engine) | afropop | 2020 | 89488 | 30 | 0.71 | 0.0822 | 0.683 | 0.000169 | 0.101 | -5.64 | 0.36 | 129.993 | 3 | + | 2 | LITT! | LITT! | AYLØ | indie r&b | 2018 | 207758 | 40 | 0.836 | 0.272 | 0.564 | 0.000537 | 0.11 | -7.127 | 0.0424 | 130.005 | 4 | + | 3 | Confident / Feeling Cool | Enjoy Your Life | Lady Donli | nigerian pop | 2019 | 175135 | 14 | 0.894 | 0.798 | 0.611 | 0.000187 | 0.0964 | -4.961 | 0.113 | 111.087 | 4 | + | 4 | wanted you | rare. | Odunsi (The Engine) | afropop | 2018 | 152049 | 25 | 0.702 | 0.116 | 0.833 | 0.91 | 0.348 | -6.044 | 0.0447 | 105.115 | 4 | + +1. 获取有关数据框架的信息，调用`info()`： + + ```python + df.info() + ``` + + 输出如下所示： + + ```output ++ RangeIndex: 530 entries, 0 to 529 + Data columns (total 16 columns): + # Column Non-Null Count Dtype + --- ------ -------------- ----- + 0 name 530 non-null object + 1 album 530 non-null object + 2 artist 530 non-null object + 3 artist_top_genre 530 non-null object + 4 release_date 530 non-null int64 + 5 length 530 non-null int64 + 6 popularity 530 non-null int64 + 7 danceability 530 non-null float64 + 8 acousticness 530 non-null float64 + 9 energy 530 non-null float64 + 10 instrumentalness 530 non-null float64 + 11 liveness 530 non-null float64 + 12 loudness 530 non-null float64 + 13 speechiness 530 non-null float64 + 14 tempo 530 non-null float64 + 15 time_signature 530 non-null int64 + dtypes: float64(8), int64(4), object(4) + memory usage: 66.4+ KB + ``` + +1. 通过调用`isnull()`并验证总和为0来仔细检查是否有空值： + + ```python + df.isnull().sum() + ``` + + 看起来不错： + + ```output + name 0 + album 0 + artist 0 + artist_top_genre 0 + release_date 0 + length 0 + popularity 0 + danceability 0 + acousticness 0 + energy 0 + instrumentalness 0 + liveness 0 + loudness 0 + speechiness 0 + tempo 0 + time_signature 0 + dtype: int64 + ``` + +1. 描述数据： + + ```python + df.describe() + ``` + + | | release_date | length | popularity | danceability | acousticness | energy | instrumentalness | liveness | loudness | speechiness | tempo | time_signature | + | ----- | ------------ | ----------- | ---------- | ------------ | ------------ | -------- | ---------------- | -------- | --------- | ----------- | ---------- | -------------- | + | count | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | 530 | + | mean | 2015.390566 | 222298.1698 | 17.507547 | 0.741619 | 0.265412 | 0.760623 | 0.016305 | 0.147308 | -4.953011 | 0.130748 | 116.487864 | 3.986792 | + | std | 3.131688 | 39696.82226 | 18.992212 | 0.117522 | 0.208342 | 0.148533 | 0.090321 | 0.123588 | 2.464186 | 0.092939 | 23.518601 | 0.333701 | + | min | 1998 | 89488 | 0 | 0.255 | 0.000665 | 0.111 | 0 | 0.0283 | -19.362 | 0.0278 | 61.695 | 3 | + | 25% | 2014 | 199305 | 0 | 0.681 | 0.089525 | 0.669 | 0 | 0.07565 | -6.29875 | 0.0591 | 102.96125 | 4 | + | 50% | 2016 | 218509 | 13 | 0.761 | 0.2205 | 0.7845 | 0.000004 | 0.1035 | -4.5585 | 0.09795 | 112.7145 | 4 | + | 75% | 2017 | 242098.5 | 31 | 0.8295 | 0.403 | 0.87575 | 0.000234 | 0.164 | -3.331 | 0.177 | 125.03925 | 4 | + | max | 2020 | 511738 | 73 | 0.966 | 0.954 | 0.995 | 0.91 | 0.811 | 0.582 | 0.514 | 206.007 | +## [课后测验](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/28/) + +## 复习与自学 + +在应用聚类算法之前，正如我们所学，了解数据集的性质是一个好主意。可以在[这里](https://www.kdnuggets.com/2019/10/right-clustering-algorithm.html)阅读更多相关内容。 + +[这篇有用的文章](https://www.freecodecamp.org/news/8-clustering-algorithms-in-machine-learning-that-all-data-scientists-should-know/)会带你了解在不同数据形状下，各种聚类算法的不同表现方式。 + +## 作业 + +[研究其他聚类的可视化方式](assignment.md) + +**免责声明**： +本文档是使用机器翻译服务翻译的。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原文档的本国语言版本视为权威来源。对于关键信息，建议进行专业人工翻译。对于因使用此翻译而引起的任何误解或误读，我们概不负责。 \ No newline at end of file diff --git a/translations/zh/5-Clustering/1-Visualize/assignment.md b/translations/zh/5-Clustering/1-Visualize/assignment.md new file mode 100644 index 000000000..e4050a7d4 --- /dev/null +++ b/translations/zh/5-Clustering/1-Visualize/assignment.md @@ -0,0 +1,14 @@ +# 研究其他聚类的可视化方法 + +## 指导说明 + +在本课中，你已经学习了一些可视化技术，以便为聚类做好数据绘图的准备。特别是散点图对于寻找对象组非常有用。研究不同的方法和不同的库来创建散点图，并在笔记本中记录你的工作。你可以使用本课的数据、其他课程的数据或你自己找到的数据（不过请在笔记本中注明其来源）。使用散点图绘制一些数据，并解释你发现了什么。 + +## 评分标准 + +| 标准 | 模范 | 适当 | 需要改进 | +| -------- | ------------------------------------------------------------- | ---------------------------------------------------------------------------------------- | ----------------------------------- | +| | 提交一个包含五个有详细记录的散点图的笔记本 | 提交一个包含少于五个散点图且记录不太详细的笔记本 | 提交一个不完整的笔记本 | + +**免责声明**: +本文档是使用基于机器的AI翻译服务翻译的。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原始文档视为权威来源。对于关键信息，建议使用专业人工翻译。对于因使用本翻译而产生的任何误解或误读，我们不承担责任。 \ No newline at end of file diff --git a/translations/zh/5-Clustering/1-Visualize/solution/Julia/README.md b/translations/zh/5-Clustering/1-Visualize/solution/Julia/README.md new file mode 100644 index 000000000..167b51bf3 --- /dev/null +++ b/translations/zh/5-Clustering/1-Visualize/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**免责声明**: +本文件使用基于机器的AI翻译服务进行翻译。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原始语言的文件视为权威来源。对于关键信息，建议使用专业的人类翻译。我们不对因使用本翻译而引起的任何误解或误读承担责任。 \ No newline at end of file diff --git a/translations/zh/5-Clustering/2-K-Means/README.md b/translations/zh/5-Clustering/2-K-Means/README.md new file mode 100644 index 000000000..ff1ab3f86 --- /dev/null +++ b/translations/zh/5-Clustering/2-K-Means/README.md @@ -0,0 +1,250 @@ +# K-Means 聚类 + +## [课前测验](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/29/) + +在本课中，你将学习如何使用 Scikit-learn 和之前导入的尼日利亚音乐数据集创建聚类。我们将介绍 K-Means 聚类的基础知识。请记住，正如你在之前的课程中所学，有很多方法可以处理聚类，使用的方法取决于你的数据。我们将尝试 K-Means，因为它是最常见的聚类技术。让我们开始吧！ + +你将学习的术语： + +- Silhouette 评分 +- 肘部法 +- 惯性 +- 方差 + +## 介绍 + +[K-Means 聚类](https://wikipedia.org/wiki/K-means_clustering) 是一种源自信号处理领域的方法。它用于通过一系列观察将数据分成 'k' 个聚类。每个观察都试图将一个给定的数据点分配到离它最近的 '均值'，即聚类的中心点。 + +这些聚类可以可视化为 [Voronoi 图](https://wikipedia.org/wiki/Voronoi_diagram)，其中包括一个点（或 '种子'）及其对应的区域。 + + + +> 信息图由 [Jen Looper](https://twitter.com/jenlooper) 提供 + +K-Means 聚类过程 [分三步执行](https://scikit-learn.org/stable/modules/clustering.html#k-means)： + +1. 算法通过从数据集中采样选择 k 个中心点。之后，它循环执行以下步骤： + 1. 将每个样本分配到最近的质心。 + 2. 通过取分配给前一个质心的所有样本的平均值来创建新的质心。 + 3. 然后计算新旧质心之间的差异，并重复直到质心稳定。 + +使用 K-Means 的一个缺点是你需要确定 'k'，即质心的数量。幸运的是，'肘部法'可以帮助估计一个好的起始值。你将在稍后尝试它。 + +## 先决条件 + +你将在本课的 [_notebook.ipynb_](https://github.com/microsoft/ML-For-Beginners/blob/main/5-Clustering/2-K-Means/notebook.ipynb) 文件中工作，该文件包含你在上一课中完成的数据导入和初步清理。 + +## 练习 - 准备工作 + +首先，再次查看歌曲数据。 + +1. 为每列创建一个箱线图，调用 `boxplot()`： + + ```python + plt.figure(figsize=(20,20), dpi=200) + + plt.subplot(4,3,1) + sns.boxplot(x = 'popularity', data = df) + + plt.subplot(4,3,2) + sns.boxplot(x = 'acousticness', data = df) + + plt.subplot(4,3,3) + sns.boxplot(x = 'energy', data = df) + + plt.subplot(4,3,4) + sns.boxplot(x = 'instrumentalness', data = df) + + plt.subplot(4,3,5) + sns.boxplot(x = 'liveness', data = df) + + plt.subplot(4,3,6) + sns.boxplot(x = 'loudness', data = df) + + plt.subplot(4,3,7) + sns.boxplot(x = 'speechiness', data = df) + + plt.subplot(4,3,8) + sns.boxplot(x = 'tempo', data = df) + + plt.subplot(4,3,9) + sns.boxplot(x = 'time_signature', data = df) + + plt.subplot(4,3,10) + sns.boxplot(x = 'danceability', data = df) + + plt.subplot(4,3,11) + sns.boxplot(x = 'length', data = df) + + plt.subplot(4,3,12) + sns.boxplot(x = 'release_date', data = df) + ``` + + 这些数据有点嘈杂：通过观察每列的箱线图，你可以看到异常值。 + +  + +你可以遍历数据集并删除这些异常值，但这会使数据变得非常少。 + +1. 现在，选择你将在聚类练习中使用的列。选择具有相似范围的列，并将 `artist_top_genre` 列编码为数值数据： + + ```python + from sklearn.preprocessing import LabelEncoder + le = LabelEncoder() + + X = df.loc[:, ('artist_top_genre','popularity','danceability','acousticness','loudness','energy')] + + y = df['artist_top_genre'] + + X['artist_top_genre'] = le.fit_transform(X['artist_top_genre']) + + y = le.transform(y) + ``` + +1. 现在你需要选择目标聚类的数量。你知道从数据集中提取了 3 种歌曲类型，所以我们试试 3 个聚类： + + ```python + from sklearn.cluster import KMeans + + nclusters = 3 + seed = 0 + + km = KMeans(n_clusters=nclusters, random_state=seed) + km.fit(X) + + # Predict the cluster for each data point + + y_cluster_kmeans = km.predict(X) + y_cluster_kmeans + ``` + +你会看到一个数组，打印出每行数据框的预测聚类（0、1 或 2）。 + +1. 使用此数组计算 'silhouette score'： + + ```python + from sklearn import metrics + score = metrics.silhouette_score(X, y_cluster_kmeans) + score + ``` + +## Silhouette 评分 + +寻找接近 1 的 silhouette 评分。此评分范围从 -1 到 1，如果评分为 1，聚类密集且与其他聚类分离良好。接近 0 的值表示聚类重叠，样本非常接近相邻聚类的决策边界。[(来源)](https://dzone.com/articles/kmeans-silhouette-score-explained-with-python-exam) + +我们的评分是 **0.53**，所以在中间。这表明我们的数据不太适合这种聚类，但让我们继续。 + +### 练习 - 构建模型 + +1. 导入 `KMeans` 并开始聚类过程。 + + ```python + from sklearn.cluster import KMeans + wcss = [] + + for i in range(1, 11): + kmeans = KMeans(n_clusters = i, init = 'k-means++', random_state = 42) + kmeans.fit(X) + wcss.append(kmeans.inertia_) + + ``` + + 这里有几个部分值得解释。 + + > 🎓 range: 这些是聚类过程的迭代次数 + + > 🎓 random_state: "确定质心初始化的随机数生成。" [来源](https://scikit-learn.org/stable/modules/generated/sklearn.cluster.KMeans.html#sklearn.cluster.KMeans) + + > 🎓 WCSS: "组内平方和" 测量聚类内所有点到聚类质心的平方平均距离。 [来源](https://medium.com/@ODSC/unsupervised-learning-evaluating-clusters-bd47eed175ce) + + > 🎓 惯性: K-Means 算法试图选择质心以最小化 '惯性'，"衡量聚类内部的一致性。" [来源](https://scikit-learn.org/stable/modules/clustering.html)。该值在每次迭代时附加到 wcss 变量上。 + + > 🎓 k-means++: 在 [Scikit-learn](https://scikit-learn.org/stable/modules/clustering.html#k-means) 中，你可以使用 'k-means++' 优化，它 "将质心初始化为（通常）彼此相距较远，从而可能比随机初始化产生更好的结果。 + +### 肘部法 + +之前，你推测因为你目标是 3 种歌曲类型，所以你应该选择 3 个聚类。但真的是这样吗？ + +1. 使用 '肘部法' 来确认。 + + ```python + plt.figure(figsize=(10,5)) + sns.lineplot(x=range(1, 11), y=wcss, marker='o', color='red') + plt.title('Elbow') + plt.xlabel('Number of clusters') + plt.ylabel('WCSS') + plt.show() + ``` + + 使用你在上一步中构建的 `wcss` 变量创建一个图表，显示肘部的 '弯曲' 位置，指示最佳的聚类数量。也许确实是 3！ + +  + +## 练习 - 显示聚类 + +1. 再次尝试此过程，这次设置三个聚类，并将聚类显示为散点图： + + ```python + from sklearn.cluster import KMeans + kmeans = KMeans(n_clusters = 3) + kmeans.fit(X) + labels = kmeans.predict(X) + plt.scatter(df['popularity'],df['danceability'],c = labels) + plt.xlabel('popularity') + plt.ylabel('danceability') + plt.show() + ``` + +1. 检查模型的准确性： + + ```python + labels = kmeans.labels_ + + correct_labels = sum(y == labels) + + print("Result: %d out of %d samples were correctly labeled." % (correct_labels, y.size)) + + print('Accuracy score: {0:0.2f}'. format(correct_labels/float(y.size))) + ``` + + 该模型的准确性不是很好，聚类的形状也给你一个提示。 + +  + + 这些数据太不平衡，相关性太小，各列值之间的方差太大，无法很好地聚类。事实上，形成的聚类可能受到我们上面定义的三种类型类别的严重影响或偏斜。这是一个学习过程！ + + 在 Scikit-learn 的文档中，你可以看到像这样的模型，聚类没有很好地划分，有 '方差' 问题： + +  + > 信息图来自 Scikit-learn + +## 方差 + +方差定义为 "平均平方差" [(来源)](https://www.mathsisfun.com/data/standard-deviation.html)。在这个聚类问题的背景下，它指的是我们数据集的数字倾向于从均值中偏离太多。 + +✅ 这是一个很好的时机来思考你可以用哪些方法来解决这个问题。稍微调整数据？使用不同的列？使用不同的算法？提示：尝试[缩放数据](https://www.mygreatlearning.com/blog/learning-data-science-with-k-means-clustering/)以标准化它并测试其他列。 + +> 试试这个 '[方差计算器](https://www.calculatorsoup.com/calculators/statistics/variance-calculator.php)' 来更好地理解这个概念。 + +--- + +## 🚀挑战 + +花一些时间在这个 notebook 上，调整参数。你能通过进一步清理数据（例如删除异常值）来提高模型的准确性吗？你可以使用权重来给某些数据样本更多的权重。你还能做些什么来创建更好的聚类？ + +提示：尝试缩放你的数据。notebook 中有注释代码，添加标准缩放以使数据列在范围上更相似。你会发现，虽然 silhouette 评分下降了，但肘部图的 '弯曲' 更加平滑。这是因为让数据不缩放会使方差较小的数据权重更大。阅读更多关于这个问题的信息 [这里](https://stats.stackexchange.com/questions/21222/are-mean-normalization-and-feature-scaling-needed-for-k-means-clustering/21226#21226)。 + +## [课后测验](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/30/) + +## 回顾与自学 + +看看一个 K-Means 模拟器 [比如这个](https://user.ceng.metu.edu.tr/~akifakkus/courses/ceng574/k-means/)。你可以使用这个工具来可视化样本数据点并确定其质心。你可以编辑数据的随机性、聚类数量和质心数量。这是否有助于你了解数据如何分组？ + +另外，看看斯坦福大学的 [K-Means 讲义](https://stanford.edu/~cpiech/cs221/handouts/kmeans.html)。 + +## 作业 + +[尝试不同的聚类方法](assignment.md) + +**免责声明**： +本文档使用基于机器的人工智能翻译服务进行翻译。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原文档的母语版本视为权威来源。对于关键信息，建议进行专业的人类翻译。对于因使用本翻译而引起的任何误解或误读，我们不承担任何责任。 \ No newline at end of file diff --git a/translations/zh/5-Clustering/2-K-Means/assignment.md b/translations/zh/5-Clustering/2-K-Means/assignment.md new file mode 100644 index 000000000..6e8701476 --- /dev/null +++ b/translations/zh/5-Clustering/2-K-Means/assignment.md @@ -0,0 +1,14 @@ +# 尝试不同的聚类方法 + +## 说明 + +在本课中，你学习了K-Means聚类。有时K-Means并不适合你的数据。请创建一个笔记本，使用这些课程中的数据或其他来源的数据（请注明来源），并展示一种不同于K-Means的聚类方法。你学到了什么？ + +## 评分标准 + +| 标准 | 杰出表现 | 合格表现 | 需要改进 | +| -------- | ------------------------------------------------------------------ | --------------------------------------------------------------- | ---------------------------- | +| | 提供了一个有详细文档记录的聚类模型的笔记本 | 提供了一个没有良好文档记录和/或不完整的笔记本 | 提交的作品不完整 | + +**免责声明**: +本文件使用基于机器的人工智能翻译服务进行翻译。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原文档的本国语言版本视为权威来源。对于关键信息，建议使用专业人工翻译。我们不对使用本翻译所产生的任何误解或误释承担责任。 \ No newline at end of file diff --git a/translations/zh/5-Clustering/2-K-Means/solution/Julia/README.md b/translations/zh/5-Clustering/2-K-Means/solution/Julia/README.md new file mode 100644 index 000000000..755dd134d --- /dev/null +++ b/translations/zh/5-Clustering/2-K-Means/solution/Julia/README.md @@ -0,0 +1,4 @@ + + +**免责声明**： +本文档使用基于机器的AI翻译服务进行翻译。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原始语言的文档视为权威来源。对于关键信息，建议使用专业的人类翻译。对于因使用此翻译而引起的任何误解或误读，我们概不负责。 \ No newline at end of file diff --git a/translations/zh/5-Clustering/README.md b/translations/zh/5-Clustering/README.md new file mode 100644 index 000000000..91e31f126 --- /dev/null +++ b/translations/zh/5-Clustering/README.md @@ -0,0 +1,31 @@ +# 机器学习中的聚类模型 + +聚类是一种机器学习任务，旨在寻找相似的对象并将它们分组到称为簇的组中。聚类与机器学习中的其他方法不同，因为它是自动发生的，实际上可以说它是监督学习的反面。 + +## 地区专题：为尼日利亚观众的音乐品味设计的聚类模型 🎧 + +尼日利亚的观众有着多样化的音乐品味。使用从Spotify抓取的数据（灵感来源于[这篇文章](https://towardsdatascience.com/country-wise-visual-analysis-of-music-taste-using-spotify-api-seaborn-in-python-77f5b749b421)，让我们看看尼日利亚流行的一些音乐。这个数据集包括关于各种歌曲的“舞蹈性”得分、“声学性”、响度、“演讲性”、流行度和能量的数据。发现这些数据中的模式将会很有趣！ + + + +> 照片由Marcela Laskoski拍摄，发布于Unsplash + +在这一系列课程中，你将发现使用聚类技术分析数据的新方法。当你的数据集缺乏标签时，聚类特别有用。如果数据集有标签，那么你在之前课程中学到的分类技术可能会更有用。但在你想要对未标记的数据进行分组的情况下，聚类是发现模式的好方法。 + +> 有一些有用的低代码工具可以帮助你学习如何使用聚类模型。试试[Azure ML来完成这个任务](https://docs.microsoft.com/learn/modules/create-clustering-model-azure-machine-learning-designer/?WT.mc_id=academic-77952-leestott) + +## 课程 + +1. [聚类简介](1-Visualize/README.md) +2. [K-Means聚类](2-K-Means/README.md) + +## 致谢 + +这些课程由[Jen Looper](https://www.twitter.com/jenlooper)精心编写，并得到了[Rishit Dagli](https://rishit_dagli)和[Muhammad Sakib Khan Inan](https://twitter.com/Sakibinan)的有益评审。 + +[Nigerian Songs](https://www.kaggle.com/sootersaalu/nigerian-songs-spotify)数据集来源于Kaggle，由Spotify抓取。 + +一些有用的K-Means示例对创建这节课提供了帮助，包括这个[iris探索](https://www.kaggle.com/bburns/iris-exploration-pca-k-means-and-gmm-clustering)，这个[入门笔记](https://www.kaggle.com/prashant111/k-means-clustering-with-python)，以及这个[假设的NGO示例](https://www.kaggle.com/ankandash/pca-k-means-clustering-hierarchical-clustering)。 + +**免责声明**: +本文件使用基于机器的人工智能翻译服务进行翻译。虽然我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原文档视为权威来源。对于关键信息，建议使用专业人工翻译。对于因使用本翻译而引起的任何误解或误读，我们不承担任何责任。 \ No newline at end of file diff --git a/translations/zh/6-NLP/1-Introduction-to-NLP/README.md b/translations/zh/6-NLP/1-Introduction-to-NLP/README.md new file mode 100644 index 000000000..25b13fbcd --- /dev/null +++ b/translations/zh/6-NLP/1-Introduction-to-NLP/README.md @@ -0,0 +1,168 @@ +# 自然语言处理简介 + +本课涵盖了*自然语言处理*（NLP）这一*计算语言学*的子领域的简史和重要概念。 + +## [课前测验](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/31/) + +## 介绍 + +NLP是机器学习应用和生产软件中最知名的领域之一。 + +✅ 你能想到每天使用的软件中可能嵌入了一些NLP吗？你经常使用的文字处理程序或移动应用程序呢？ + +你将学习： + +- **语言的概念**。语言是如何发展的，主要的研究领域是什么。 +- **定义和概念**。你还将学习计算机如何处理文本的定义和概念，包括解析、语法以及识别名词和动词。本课中有一些编码任务，并引入了一些重要概念，你将在接下来的课程中学习如何编码这些概念。 + +## 计算语言学 + +计算语言学是一个研究和开发领域，研究计算机如何处理、理解、翻译和与语言交流。自然语言处理（NLP）是一个相关领域，专注于计算机如何处理“自然”或人类语言。 + +### 示例 - 手机语音输入 + +如果你曾经使用手机语音输入而不是打字，或者向虚拟助手提问，你的语音会被转换为文本形式，然后进行处理或*解析*。检测到的关键词会被处理成手机或助手能够理解和执行的格式。 + + +> 真正的语言理解很难！图片由[Jen Looper](https://twitter.com/jenlooper)提供 + +### 这种技术是如何实现的？ + +这是因为有人编写了一个计算机程序来实现这一点。几年前，一些科幻作家预测人们主要会与计算机对话，计算机会总是准确理解他们的意思。遗憾的是，这个问题比许多人想象的要难得多，虽然今天我们对这个问题有了更好的理解，但在实现“完美”的自然语言处理方面仍然面临重大挑战，特别是在理解句子的意义时。这在理解幽默或检测句子中的情感（如讽刺）时尤其困难。 + +此时，你可能会回想起学校课堂上老师讲解句子语法部分的情景。在一些国家，学生会专门学习语法和语言学，但在许多国家，这些主题是作为学习语言的一部分：在小学学习母语（学习阅读和写作），可能在中学学习第二语言。如果你不擅长区分名词和动词或副词和形容词，也不用担心！ + +如果你在区分*简单现在时*和*现在进行时*方面有困难，你并不孤单。这对许多人来说是一个挑战，即使是某种语言的母语者。好消息是，计算机非常擅长应用正式规则，你将学习编写代码，能够像人类一样*解析*句子。更大的挑战是理解句子的*意义*和*情感*。 + +## 前提条件 + +本课的主要前提条件是能够阅读和理解本课的语言。本课没有数学问题或方程需要解决。虽然原作者用英语写了本课，但它也被翻译成其他语言，所以你可能在阅读翻译版本。有些例子使用了不同的语言（以比较不同语言的语法规则）。这些例子*没有*翻译，但解释性文本是翻译的，所以意思应该是清楚的。 + +对于编码任务，你将使用Python，例子使用的是Python 3.8。 + +在本节中，你将需要并使用： + +- **Python 3 理解**。编程语言理解Python 3，本课使用输入、循环、文件读取、数组。 +- **Visual Studio Code + 扩展**。我们将使用Visual Studio Code及其Python扩展。你也可以使用你喜欢的Python IDE。 +- **TextBlob**。[TextBlob](https://github.com/sloria/TextBlob)是一个简化的Python文本处理库。按照TextBlob网站上的说明将其安装到你的系统中（同时安装语料库，如下所示）： + + ```bash + pip install -U textblob + python -m textblob.download_corpora + ``` + +> 💡 提示：你可以直接在VS Code环境中运行Python。查看[文档](https://code.visualstudio.com/docs/languages/python?WT.mc_id=academic-77952-leestott)以获取更多信息。 + +## 与机器对话 + +让计算机理解人类语言的历史可以追溯到几十年前，最早考虑自然语言处理的科学家之一是*阿兰·图灵*。 + +### '图灵测试' + +当图灵在20世纪50年代研究*人工智能*时，他考虑是否可以给人类和计算机（通过打字通信）进行一个对话测试，让人类在对话中无法确定他们是在与另一个人还是计算机对话。 + +如果在一定长度的对话后，人类无法确定回答是否来自计算机，那么是否可以说计算机在*思考*？ + +### 灵感来源 - '模仿游戏' + +这个想法来自一个叫做*模仿游戏*的聚会游戏，审问者独自在一个房间里，任务是确定另一个房间里的两个人分别是男性和女性。审问者可以发送纸条，并且必须尝试提出问题，通过书面回答来揭示神秘人物的性别。当然，另一个房间里的玩家试图通过回答问题来误导或困惑审问者，同时给出看似诚实的回答。 + +### 开发Eliza + +在20世纪60年代，一位MIT科学家*约瑟夫·魏岑鲍姆*开发了[*Eliza*](https://wikipedia.org/wiki/ELIZA)，一个计算机“治疗师”，会向人类提问并给出理解他们答案的假象。然而，虽然Eliza可以解析句子并识别某些语法结构和关键词，从而给出合理的回答，但不能说它*理解*句子。如果Eliza遇到格式为“**我很** 难过”的句子，它可能会重新排列并替换句子中的单词，形成“你**一直** 难过多久了”的回答。 + +这给人一种Eliza理解了陈述并在问后续问题的印象，而实际上，它只是改变了时态并添加了一些单词。如果Eliza无法识别出有响应的关键词，它会给出一个随机的回答，这个回答可以适用于许多不同的陈述。例如，如果用户写“**你是** 自行车”，它可能会回答“我**一直**是 自行车多久了？”，而不是一个更合理的回答。 + +[](https://youtu.be/RMK9AphfLco "与Eliza聊天") + +> 🎥 点击上方图片观看关于原始ELIZA程序的视频 + +> 注意：如果你有ACM账户，可以阅读1966年发表的[Eliza](https://cacm.acm.org/magazines/1966/1/13317-elizaa-computer-program-for-the-study-of-natural-language-communication-between-man-and-machine/abstract)原始描述。或者，可以在[wikipedia](https://wikipedia.org/wiki/ELIZA)上了解Eliza + +## 练习 - 编写一个基本的对话机器人 + +一个对话机器人，如Eliza，是一个引导用户输入并似乎能够理解和智能回应的程序。与Eliza不同，我们的机器人不会有多个规则来让它看起来像是在进行智能对话。相反，我们的机器人只有一个功能，就是通过随机回应来保持对话，这些回应在几乎任何琐碎的对话中都可能有效。 + +### 计划 + +构建对话机器人的步骤： + +1. 打印指示，告知用户如何与机器人互动 +2. 开始一个循环 + 1. 接受用户输入 + 2. 如果用户要求退出，则退出 + 3. 处理用户输入并确定回应（在本例中，回应是从可能的通用回应列表中随机选择的） + 4. 打印回应 +3. 返回第2步循环 + +### 构建机器人 + +接下来让我们创建机器人。我们将从定义一些短语开始。 + +1. 使用以下随机回应在Python中自己创建这个机器人： + + ```python + random_responses = ["That is quite interesting, please tell me more.", + "I see. Do go on.", + "Why do you say that?", + "Funny weather we've been having, isn't it?", + "Let's change the subject.", + "Did you catch the game last night?"] + ``` + + 这里有一些示例输出供你参考（用户输入在以`>`开头的行上）： + + ```output + Hello, I am Marvin, the simple robot. + You can end this conversation at any time by typing 'bye' + After typing each answer, press 'enter' + How are you today? + > I am good thanks + That is quite interesting, please tell me more. + > today I went for a walk + Did you catch the game last night? + > I did, but my team lost + Funny weather we've been having, isn't it? + > yes but I hope next week is better + Let's change the subject. + > ok, lets talk about music + Why do you say that? + > because I like music! + Why do you say that? + > bye + It was nice talking to you, goodbye! + ``` + + 任务的一个可能解决方案在[这里](https://github.com/microsoft/ML-For-Beginners/blob/main/6-NLP/1-Introduction-to-NLP/solution/bot.py) + + ✅ 停下来思考 + + 1. 你认为随机回应会“骗”某人认为机器人真的理解他们吗？ + 2. 机器人需要哪些功能才能更有效？ + 3. 如果一个机器人真的能“理解”句子的意义，它是否需要“记住”对话中前面句子的意义？ + +--- + +## 🚀挑战 + +选择上面的一个“停下来思考”元素，尝试在代码中实现它们，或者用伪代码在纸上写出解决方案。 + +在下一课中，你将学习一些其他解析自然语言和机器学习的方法。 + +## [课后测验](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/32/) + +## 复习与自学 + +查看下面的参考资料，作为进一步阅读的机会。 + +### 参考资料 + +1. Schubert, Lenhart, "Computational Linguistics", *斯坦福哲学百科全书* (2020年春季版), Edward N. Zalta (编), URL =
+
+Here γ is the so-called **discount factor** that determines to which extent you should prefer the current reward over the future reward and vice versa.
+
+## Learning Algorithm
+
+Given the equation above, we can now write pseudo-code for our learning algorithm:
+
+* Initialize Q-Table Q with equal numbers for all states and actions
+* Set learning rate α ← 1
+* Repeat simulation many times
+ 1. Start at random position
+ 1. Repeat
+ 1. Select an action *a* at state *s*
+ 2. Execute action by moving to a new state *s'*
+ 3. If we encounter end-of-game condition, or total reward is too small - exit simulation
+ 4. Compute reward *r* at the new state
+ 5. Update Q-Function according to Bellman equation: *Q(s,a)* ← *(1-α)Q(s,a)+α(r+γ maxa'Q(s',a'))*
+ 6. *s* ← *s'*
+ 7. Update the total reward and decrease α.
+
+## Exploit vs. explore
+
+In the algorithm above, we did not specify how exactly we should choose an action at step 2.1. If we are choosing the action randomly, we will randomly **explore** the environment, and we are quite likely to die often as well as explore areas where we would not normally go. An alternative approach would be to **exploit** the Q-Table values that we already know, and thus to choose the best action (with higher Q-Table value) at state *s*. This, however, will prevent us from exploring other states, and it's likely we might not find the optimal solution.
+
+Thus, the best approach is to strike a balance between exploration and exploitation. This can be done by choosing the action at state *s* with probabilities proportional to values in the Q-Table. In the beginning, when Q-Table values are all the same, it would correspond to a random selection, but as we learn more about our environment, we would be more likely to follow the optimal route while allowing the agent to choose the unexplored path once in a while.
+
+## Python implementation
+
+We are now ready to implement the learning algorithm. Before we do that, we also need some function that will convert arbitrary numbers in the Q-Table into a vector of probabilities for corresponding actions.
+
+1. Create a function `probs()`：
+
+ ```python
+ def probs(v,eps=1e-4):
+ v = v-v.min()+eps
+ v = v/v.sum()
+ return v
+ ```
+
+ 我们在原始向量中添加了一些 `eps`，以避免在初始情况下，向量的所有分量相同时发生除以0的情况。
+
+通过5000次实验运行学习算法，也称为**epochs**：（代码块8）
+```python
+ for epoch in range(5000):
+
+ # Pick initial point
+ m.random_start()
+
+ # Start travelling
+ n=0
+ cum_reward = 0
+ while True:
+ x,y = m.human
+ v = probs(Q[x,y])
+ a = random.choices(list(actions),weights=v)[0]
+ dpos = actions[a]
+ m.move(dpos,check_correctness=False) # we allow player to move outside the board, which terminates episode
+ r = reward(m)
+ cum_reward += r
+ if r==end_reward or cum_reward < -1000:
+ lpath.append(n)
+ break
+ alpha = np.exp(-n / 10e5)
+ gamma = 0.5
+ ai = action_idx[a]
+ Q[x,y,ai] = (1 - alpha) * Q[x,y,ai] + alpha * (r + gamma * Q[x+dpos[0], y+dpos[1]].max())
+ n+=1
+```
+
+执行此算法后，Q-Table 应该会更新每一步中不同动作的吸引力值。我们可以尝试通过在每个单元格绘制一个指向期望移动方向的向量来可视化Q-Table。为了简化，我们画一个小圆圈代替箭头。
+
+## 检查策略
+
+由于Q-Table列出了每个状态下每个动作的“吸引力”，因此很容易使用它来定义在我们的世界中的高效导航。在最简单的情况下，我们可以选择对应于最高Q-Table值的动作：（代码块9）
+
+```python
+def qpolicy_strict(m):
+ x,y = m.human
+ v = probs(Q[x,y])
+ a = list(actions)[np.argmax(v)]
+ return a
+
+walk(m,qpolicy_strict)
+```
+
+> 如果你多次尝试上述代码，你可能会注意到有时它会“卡住”，你需要按下笔记本中的停止按钮来中断它。这是因为可能会出现两种状态在最优Q-Value方面“指向”彼此的情况，在这种情况下，智能体最终会在这些状态之间无限移动。
+
+## 🚀挑战
+
+> **任务1:** 修改 `walk` function to limit the maximum length of path by a certain number of steps (say, 100), and watch the code above return this value from time to time.
+
+> **Task 2:** Modify the `walk` function so that it does not go back to the places where it has already been previously. This will prevent `walk` from looping, however, the agent can still end up being "trapped" in a location from which it is unable to escape.
+
+## Navigation
+
+A better navigation policy would be the one that we used during training, which combines exploitation and exploration. In this policy, we will select each action with a certain probability, proportional to the values in the Q-Table. This strategy may still result in the agent returning back to a position it has already explored, but, as you can see from the code below, it results in a very short average path to the desired location (remember that `print_statistics` 运行模拟100次：（代码块10）
+
+```python
+def qpolicy(m):
+ x,y = m.human
+ v = probs(Q[x,y])
+ a = random.choices(list(actions),weights=v)[0]
+ return a
+
+print_statistics(qpolicy)
+```
+
+运行此代码后，你应该会得到比之前小得多的平均路径长度，大约在3-6之间。
+
+## 调查学习过程
+
+正如我们所提到的，学习过程是在探索和利用已获得的关于问题空间结构的知识之间的平衡。我们已经看到学习的结果（帮助智能体找到通向目标的短路径的能力）有所改善，但观察学习过程中平均路径长度的变化也很有趣：
+
+学习总结如下：
+
+- **平均路径长度增加**。我们看到的是，起初平均路径长度增加。这可能是因为当我们对环境一无所知时，我们可能会陷入不良状态，如水或狼。随着我们了解更多并开始使用这些知识，我们可以更长时间地探索环境，但我们仍然不知道苹果的位置。
+
+- **路径长度减少，随着我们学到更多**。一旦我们学到足够多，智能体更容易实现目标，路径长度开始减少。然而，我们仍然开放探索，因此我们经常偏离最佳路径，探索新选项，使路径比最优路径更长。
+
+- **长度突然增加**。我们在这个图表上还观察到某些时候，长度突然增加。这表明过程的随机性，并且我们可能会在某个时候通过用新值覆盖它们来“破坏”Q-Table系数。这理想情况下应该通过降低学习率来最小化（例如，在训练结束时，我们只调整Q-Table值一个小值）。
+
+总的来说，重要的是要记住，学习过程的成功和质量在很大程度上取决于参数，如学习率、学习率衰减和折扣因子。这些通常称为**超参数**，以区别于**参数**，我们在训练过程中优化（例如Q-Table系数）。找到最佳超参数值的过程称为**超参数优化**，它值得单独讨论。
+
+## [课后测验](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/46/)
+
+## 作业
+[一个更真实的世界](assignment.md)
+
+**免责声明**：
+本文档是使用基于机器的人工智能翻译服务翻译的。虽然我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原文档的本国语言版本视为权威来源。对于重要信息，建议使用专业人工翻译。对于因使用此翻译而引起的任何误解或误读，我们不承担责任。
\ No newline at end of file
diff --git a/translations/zh/8-Reinforcement/1-QLearning/assignment.md b/translations/zh/8-Reinforcement/1-QLearning/assignment.md
new file mode 100644
index 000000000..e77a1e41e
--- /dev/null
+++ b/translations/zh/8-Reinforcement/1-QLearning/assignment.md
@@ -0,0 +1,28 @@
+# 一个更真实的世界
+
+在我们的情境中，彼得几乎可以不感到疲倦或饥饿地四处移动。在一个更真实的世界中，他需要时不时地坐下来休息，还需要吃东西。让我们通过实现以下规则使我们的世界更加真实：
+
+1. 从一个地方移动到另一个地方时，彼得会失去**能量**并获得一些**疲劳**。
+2. 彼得可以通过吃苹果来获得更多能量。
+3. 彼得可以通过在树下或草地上休息来消除疲劳（即走到有树或草的棋盘位置 - 绿色区域）。
+4. 彼得需要找到并杀死狼。
+5. 为了杀死狼，彼得需要有一定的能量和疲劳水平，否则他会输掉战斗。
+## 指导
+
+使用原始的 [notebook.ipynb](../../../../8-Reinforcement/1-QLearning/notebook.ipynb) 笔记本作为解决方案的起点。
+
+根据游戏规则修改上述奖励函数，运行强化学习算法以学习赢得游戏的最佳策略，并比较随机漫步算法与您的算法在赢得和输掉游戏数量方面的结果。
+
+> **Note**: 在您的新世界中，状态更加复杂，除了人类位置外，还包括疲劳和能量水平。您可以选择将状态表示为元组 (Board,energy,fatigue)，或者为状态定义一个类（您也可以从 `Board` 派生它），甚至可以修改原始的 `Board` 类在 [rlboard.py](../../../../8-Reinforcement/1-QLearning/rlboard.py) 中。
+
+在您的解决方案中，请保留负责随机漫步策略的代码，并在最后将您的算法结果与随机漫步进行比较。
+
+> **Note**: 您可能需要调整超参数以使其正常工作，尤其是训练次数。由于游戏的成功（与狼战斗）是一个罕见事件，您可以预期更长的训练时间。
+## 评分标准
+
+| 标准 | 杰出 | 合格 | 需要改进 |
+| -------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | --------------------------------------------------------------------------------------------------------------------------------- |
+| | 提供了一个定义新世界规则的笔记本，Q-Learning 算法和一些文字解释。Q-Learning 能够显著改善与随机漫步相比的结果。 | 提供了笔记本，Q-Learning 已实现并改善了与随机漫步相比的结果，但并不显著；或者笔记本记录不充分，代码结构不良。 | 尝试重新定义世界规则，但 Q-Learning 算法不起作用，或者奖励函数未完全定义。 |
+
+**免责声明**：
+本文件使用基于机器的人工智能翻译服务进行翻译。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原始语言的文件视为权威来源。对于关键信息，建议进行专业的人工翻译。对于因使用本翻译而产生的任何误解或误读，我们不承担责任。
\ No newline at end of file
diff --git a/translations/zh/8-Reinforcement/1-QLearning/solution/Julia/README.md b/translations/zh/8-Reinforcement/1-QLearning/solution/Julia/README.md
new file mode 100644
index 000000000..ee7e14800
--- /dev/null
+++ b/translations/zh/8-Reinforcement/1-QLearning/solution/Julia/README.md
@@ -0,0 +1,4 @@
+
+
+**免责声明**:
+本文档使用基于机器的人工智能翻译服务进行翻译。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原文档的母语版本视为权威来源。对于关键信息，建议使用专业人工翻译。对于因使用此翻译而产生的任何误解或误读，我们不承担责任。
\ No newline at end of file
diff --git a/translations/zh/8-Reinforcement/1-QLearning/solution/R/README.md b/translations/zh/8-Reinforcement/1-QLearning/solution/R/README.md
new file mode 100644
index 000000000..709ed844b
--- /dev/null
+++ b/translations/zh/8-Reinforcement/1-QLearning/solution/R/README.md
@@ -0,0 +1,4 @@
+
+
+**免责声明**：
+本文档使用基于机器的人工智能翻译服务进行翻译。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原文档的母语版本视为权威来源。对于关键信息，建议进行专业的人类翻译。对于因使用此翻译而产生的任何误解或误释，我们不承担任何责任。
\ No newline at end of file
diff --git a/translations/zh/8-Reinforcement/2-Gym/README.md b/translations/zh/8-Reinforcement/2-Gym/README.md
new file mode 100644
index 000000000..ef2b871de
--- /dev/null
+++ b/translations/zh/8-Reinforcement/2-Gym/README.md
@@ -0,0 +1,342 @@
+# 小车杆平衡
+
+在前一课中我们解决的问题看起来像是一个玩具问题，似乎并不适用于实际场景。但事实并非如此，因为许多现实世界的问题也有类似的场景，包括下棋或围棋。它们是相似的，因为我们也有一个带有给定规则的棋盘和一个**离散状态**。
+
+## [课前测验](https://gray-sand-07a10f403.1.azurestaticapps.net/quiz/47/)
+
+## 介绍
+
+在本课中，我们将把Q学习的相同原理应用到一个**连续状态**的问题上，即由一个或多个实数给定的状态。我们将处理以下问题：
+
+> **问题**：如果彼得想要逃离狼，他需要能够更快地移动。我们将看看彼得如何学习滑冰，特别是如何通过Q学习保持平衡。
+
+
+
+> 彼得和他的朋友们想出妙招逃离狼！图片来自 [Jen Looper](https://twitter.com/jenlooper)
+
+我们将使用一种称为**小车杆**问题的简化平衡版本。在小车杆世界中，我们有一个可以左右移动的水平滑块，目标是让垂直杆在滑块上保持平衡。
+
+## 先决条件
+
+在本课中，我们将使用一个名为**OpenAI Gym**的库来模拟不同的**环境**。你可以在本地运行本课的代码（例如在Visual Studio Code中），在这种情况下，模拟将会在一个新窗口中打开。当在线运行代码时，你可能需要对代码进行一些调整，如[这里](https://towardsdatascience.com/rendering-openai-gym-envs-on-binder-and-google-colab-536f99391cc7)所述。
+
+## OpenAI Gym
+
+在前一课中，游戏的规则和状态由我们自己定义的`Board`类给出。这里我们将使用一个特殊的**模拟环境**，它将模拟平衡杆背后的物理现象。训练强化学习算法最流行的模拟环境之一是由[OpenAI](https://openai.com/)维护的[Gym](https://gym.openai.com/)。通过使用这个gym，我们可以创建从小车杆模拟到Atari游戏的不同**环境**。
+
+> **注意**：你可以在[这里](https://gym.openai.com/envs/#classic_control)查看OpenAI Gym提供的其他环境。
+
+首先，让我们安装gym并导入所需的库（代码块1）：
+
+```python
+import sys
+!{sys.executable} -m pip install gym
+
+import gym
+import matplotlib.pyplot as plt
+import numpy as np
+import random
+```
+
+## 练习 - 初始化一个小车杆环境
+
+要处理小车杆平衡问题，我们需要初始化相应的环境。每个环境都与一个：
+
+- **观察空间**相关，定义我们从环境中接收的信息结构。对于小车杆问题，我们接收杆的位置、速度和其他一些值。
+
+- **动作空间**相关，定义可能的动作。在我们的案例中，动作空间是离散的，由两个动作组成 - **左**和**右**。（代码块2）
+
+1. 要初始化，请输入以下代码：
+
+ ```python
+ env = gym.make("CartPole-v1")
+ print(env.action_space)
+ print(env.observation_space)
+ print(env.action_space.sample())
+ ```
+
+要查看环境如何工作，让我们运行一个100步的简短模拟。在每一步，我们提供一个要采取的动作 - 在此模拟中，我们只是随机选择一个来自`action_space`的动作。
+
+1. 运行下面的代码，看看会导致什么结果。
+
+ ✅ 记住，最好在本地Python安装中运行此代码！（代码块3）
+
+ ```python
+ env.reset()
+
+ for i in range(100):
+ env.render()
+ env.step(env.action_space.sample())
+ env.close()
+ ```
+
+ 你应该会看到类似这样的图像：
+
+ 
+
+1. 在模拟过程中，我们需要获取观察值以决定如何行动。事实上，step函数返回当前的观察值、奖励函数和一个表示是否继续模拟的完成标志：（代码块4）
+
+ ```python
+ env.reset()
+
+ done = False
+ while not done:
+ env.render()
+ obs, rew, done, info = env.step(env.action_space.sample())
+ print(f"{obs} -> {rew}")
+ env.close()
+ ```
+
+ 你将在笔记本输出中看到类似这样的内容：
+
+ ```text
+ [ 0.03403272 -0.24301182 0.02669811 0.2895829 ] -> 1.0
+ [ 0.02917248 -0.04828055 0.03248977 0.00543839] -> 1.0
+ [ 0.02820687 0.14636075 0.03259854 -0.27681916] -> 1.0
+ [ 0.03113408 0.34100283 0.02706215 -0.55904489] -> 1.0
+ [ 0.03795414 0.53573468 0.01588125 -0.84308041] -> 1.0
+ ...
+ [ 0.17299878 0.15868546 -0.20754175 -0.55975453] -> 1.0
+ [ 0.17617249 0.35602306 -0.21873684 -0.90998894] -> 1.0
+ ```
+
+ 在模拟的每一步返回的观察向量包含以下值：
+ - 小车的位置
+ - 小车的速度
+ - 杆的角度
+ - 杆的旋转速率
+
+1. 获取这些数字的最小值和最大值：（代码块5）
+
+ ```python
+ print(env.observation_space.low)
+ print(env.observation_space.high)
+ ```
+
+ 你可能还会注意到，每一步模拟的奖励值总是1。这是因为我们的目标是尽可能长时间地生存，即尽可能长时间地保持杆在合理的垂直位置。
+
+ ✅ 实际上，如果我们能在100次连续试验中平均获得195的奖励，小车杆模拟就被认为是解决了。
+
+## 状态离散化
+
+在Q学习中，我们需要构建Q表，定义在每个状态下该做什么。为了能够做到这一点，我们需要状态是**离散的**，更准确地说，它应该包含有限数量的离散值。因此，我们需要以某种方式**离散化**我们的观察值，将它们映射到有限的状态集合。
+
+有几种方法可以做到这一点：
+
+- **划分为箱子**。如果我们知道某个值的区间，我们可以将该区间划分为多个**箱子**，然后用它所属的箱子编号替换该值。这可以使用numpy的[`digitize`](https://numpy.org/doc/stable/reference/generated/numpy.digitize.html)方法来完成。在这种情况下，我们将准确知道状态的大小，因为它将取决于我们为数字化选择的箱子数量。
+
+✅ 我们可以使用线性插值将值带到某个有限区间（例如，从-20到20），然后通过四舍五入将数字转换为整数。这给了我们对状态大小的控制稍微少一些，特别是如果我们不知道输入值的确切范围。例如，在我们的例子中，4个值中的2个没有上/下限，这可能导致无限数量的状态。
+
+在我们的例子中，我们将使用第二种方法。正如你可能稍后注意到的，尽管没有明确的上/下限，这些值很少会取到某些有限区间之外的值，因此那些具有极端值的状态将非常罕见。
+
+1. 这是一个函数，它将从我们的模型中获取观察值并生成一个包含4个整数值的元组：（代码块6）
+
+ ```python
+ def discretize(x):
+ return tuple((x/np.array([0.25, 0.25, 0.01, 0.1])).astype(np.int))
+ ```
+
+1. 让我们还探索另一种使用箱子的离散化方法：（代码块7）
+
+ ```python
+ def create_bins(i,num):
+ return np.arange(num+1)*(i[1]-i[0])/num+i[0]
+
+ print("Sample bins for interval (-5,5) with 10 bins\n",create_bins((-5,5),10))
+
+ ints = [(-5,5),(-2,2),(-0.5,0.5),(-2,2)] # intervals of values for each parameter
+ nbins = [20,20,10,10] # number of bins for each parameter
+ bins = [create_bins(ints[i],nbins[i]) for i in range(4)]
+
+ def discretize_bins(x):
+ return tuple(np.digitize(x[i],bins[i]) for i in range(4))
+ ```
+
+1. 现在让我们运行一个简短的模拟并观察这些离散的环境值。随意尝试`discretize` and `discretize_bins`，看看是否有差异。
+
+ ✅ discretize_bins返回箱子编号，这是从0开始的。因此，对于接近0的输入变量值，它返回区间中间的数字（10）。在discretize中，我们不关心输出值的范围，允许它们为负，因此状态值没有偏移，0对应于0。（代码块8）
+
+ ```python
+ env.reset()
+
+ done = False
+ while not done:
+ #env.render()
+ obs, rew, done, info = env.step(env.action_space.sample())
+ #print(discretize_bins(obs))
+ print(discretize(obs))
+ env.close()
+ ```
+
+ ✅ 如果你想查看环境的执行情况，请取消注释以env.render开头的行。否则，你可以在后台执行它，这样更快。在我们的Q学习过程中，我们将使用这种“隐形”执行。
+
+## Q表结构
+
+在前一课中，状态是从0到8的简单数对，因此用形状为8x8x2的numpy张量表示Q表是方便的。如果我们使用箱子离散化，状态向量的大小也是已知的，所以我们可以使用相同的方法，用形状为20x20x10x10x2的数组表示状态（这里2是动作空间的维度，前面的维度对应于我们为观察空间中的每个参数选择的箱子数量）。
+
+然而，有时观察空间的确切维度是不知道的。在`discretize`函数的情况下，我们可能永远无法确定我们的状态是否保持在某些限制内，因为某些原始值没有限制。因此，我们将使用一种稍微不同的方法，用字典表示Q表。
+
+1. 使用对*(state,action)*作为字典键，值对应于Q表条目值。（代码块9）
+
+ ```python
+ Q = {}
+ actions = (0,1)
+
+ def qvalues(state):
+ return [Q.get((state,a),0) for a in actions]
+ ```
+
+ 这里我们还定义了一个函数`qvalues()`，它返回给定状态对应于所有可能动作的Q表值列表。如果Q表中没有该条目，我们将返回0作为默认值。
+
+## 开始Q学习
+
+现在我们准备教彼得保持平衡了！
+
+1. 首先，让我们设置一些超参数：（代码块10）
+
+ ```python
+ # hyperparameters
+ alpha = 0.3
+ gamma = 0.9
+ epsilon = 0.90
+ ```
+
+ 这里，`alpha` is the **learning rate** that defines to which extent we should adjust the current values of Q-Table at each step. In the previous lesson we started with 1, and then decreased `alpha` to lower values during training. In this example we will keep it constant just for simplicity, and you can experiment with adjusting `alpha` values later.
+
+ `gamma` is the **discount factor** that shows to which extent we should prioritize future reward over current reward.
+
+ `epsilon` is the **exploration/exploitation factor** that determines whether we should prefer exploration to exploitation or vice versa. In our algorithm, we will in `epsilon` percent of the cases select the next action according to Q-Table values, and in the remaining number of cases we will execute a random action. This will allow us to explore areas of the search space that we have never seen before.
+
+ ✅ In terms of balancing - choosing random action (exploration) would act as a random punch in the wrong direction, and the pole would have to learn how to recover the balance from those "mistakes"
+
+### Improve the algorithm
+
+We can also make two improvements to our algorithm from the previous lesson:
+
+- **Calculate average cumulative reward**, over a number of simulations. We will print the progress each 5000 iterations, and we will average out our cumulative reward over that period of time. It means that if we get more than 195 point - we can consider the problem solved, with even higher quality than required.
+
+- **Calculate maximum average cumulative result**, `Qmax`, and we will store the Q-Table corresponding to that result. When you run the training you will notice that sometimes the average cumulative result starts to drop, and we want to keep the values of Q-Table that correspond to the best model observed during training.
+
+1. Collect all cumulative rewards at each simulation at `rewards`向量以便进一步绘图。（代码块11）
+
+ ```python
+ def probs(v,eps=1e-4):
+ v = v-v.min()+eps
+ v = v/v.sum()
+ return v
+
+ Qmax = 0
+ cum_rewards = []
+ rewards = []
+ for epoch in range(100000):
+ obs = env.reset()
+ done = False
+ cum_reward=0
+ # == do the simulation ==
+ while not done:
+ s = discretize(obs)
+ if random.random()- [Python](2-Regression/1-Tools/README.md)
- [R](../../2-Regression/1-Tools/solution/R/lesson_1.html)
- Jen
- Eric Wanjau
- [Python](2-Regression/2-Data/README.md)
- [R](../../2-Regression/2-Data/solution/R/lesson_2.html)
- Jen
- Eric Wanjau
- [Python](2-Regression/3-Linear/README.md)
- [R](../../2-Regression/3-Linear/solution/R/lesson_3.html)
- Jen 和 Dmitry
- Eric Wanjau
- [Python](2-Regression/4-Logistic/README.md)
- [R](../../2-Regression/4-Logistic/solution/R/lesson_4.html)
- Jen
- Eric Wanjau
- [Python](4-Classification/1-Introduction/README.md)
- [R](../../4-Classification/1-Introduction/solution/R/lesson_10.html) |
- Jen 和 Cassie
- Eric Wanjau
- [Python](4-Classification/2-Classifiers-1/README.md)
- [R](../../4-Classification/2-Classifiers-1/solution/R/lesson_11.html) |
- Jen 和 Cassie
- Eric Wanjau
- [Python](4-Classification/3-Classifiers-2/README.md)
- [R](../../4-Classification/3-Classifiers-2/solution/R/lesson_12.html) |
- Jen 和 Cassie
- Eric Wanjau
- [Python](5-Clustering/1-Visualize/README.md)
- [R](../../5-Clustering/1-Visualize/solution/R/lesson_14.html) |
- Jen
- Eric Wanjau
- [Python](5-Clustering/2-K-Means/README.md)
- [R](../../5-Clustering/2-K-Means/solution/R/lesson_15.html) |
- Jen
- Eric Wanjau
.yml)。此工作流程将处理构建和部署过程。 + +6. 监控部署 +前往你的 GitHub 仓库中的“Actions”标签。 +你应该会看到一个工作流程正在运行。此工作流程将构建并部署你的静态网页应用到 Azure。 +一旦工作流程完成，你的应用将在提供的 Azure URL 上上线。 + +### 示例工作流程文件 + +以下是 GitHub Actions 工作流程文件的示例： +name: Azure Static Web Apps CI/CD +``` +on: + push: + branches: + - main + pull_request: + types: [opened, synchronize, reopened, closed] + branches: + - main + +jobs: + build_and_deploy_job: + runs-on: ubuntu-latest + name: Build and Deploy Job + steps: + - uses: actions/checkout@v2 + - name: Build And Deploy + id: builddeploy + uses: Azure/static-web-apps-deploy@v1 + with: + azure_static_web_apps_api_token: ${{ secrets.AZURE_STATIC_WEB_APPS_API_TOKEN }} + repo_token: ${{ secrets.GITHUB_TOKEN }} + action: "upload" + app_location: "/quiz-app" # App source code path + api_location: ""API source code path optional + output_location: "dist" #Built app content directory - optional +``` + +### 其他资源 +- [Azure 静态网页应用文档](https://learn.microsoft.com/azure/static-web-apps/getting-started) +- [GitHub Actions 文档](https://docs.github.com/actions/use-cases-and-examples/deploying/deploying-to-azure-static-web-app) + +**免责声明**： +本文档已使用基于机器的人工智能翻译服务进行翻译。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原始语言的文档视为权威来源。对于关键信息，建议使用专业的人类翻译。对于因使用此翻译而产生的任何误解或误读，我们概不负责。 \ No newline at end of file diff --git a/translations/zh/sketchnotes/LICENSE.md b/translations/zh/sketchnotes/LICENSE.md new file mode 100644 index 000000000..3343e533d --- /dev/null +++ b/translations/zh/sketchnotes/LICENSE.md @@ -0,0 +1,201 @@ +归属-相同方式共享 4.0 国际 + +======================================================================= + +知识共享公司（“知识共享”）不是一家律师事务所，不提供法律服务或法律建议。分发知识共享公共许可不会创建律师-客户或其他关系。知识共享在“按现状”基础上提供其许可和相关信息。知识共享对其许可、根据其条款和条件许可的任何材料或任何相关信息不作任何保证。知识共享在法律允许的最大范围内不承担因使用这些材料而导致的任何损害赔偿责任。 + +使用知识共享公共许可 + +知识共享公共许可提供了一套标准的条款和条件，创作者和其他权利持有人可以使用这些条款和条件来分享原创作品和其他受版权和以下公共许可中规定的某些其他权利保护的材料。以下注意事项仅供参考，不是详尽无遗的，并且不构成我们许可的一部分。 + + 许可人的注意事项：我们的公共许可是 + 供那些被授权给予公众使用材料的许可人 + 使用的，这些材料在没有授权的情况下会受到 + 版权和某些其他权利的限制。我们的许可是不可撤销的。 + 许可人在应用许可之前应阅读并理解 + 他们选择的许可的条款和条件。许可人还应在应用我们 + 的许可之前确保获得所有必要的权利，以便公众可以按预期 + 重新使用材料。许可人应明确标记任何不受许可 + 约束的材料。这包括其他CC许可的材料，或根据版权 + 例外或限制使用的材料。更多许可人的注意事项： + wiki.creativecommons.org/Considerations_for_licensors + + 公众的注意事项：通过使用我们的公共许可之一， + 许可人授予公众在指定条款和条件下使用许可材料的 + 权利。如果由于任何原因不需要许可人的许可——例如， + 由于任何适用的版权例外或限制——那么这种使用不受许可的 + 约束。我们的许可仅授予版权和某些其他许可人有权授予的 + 权利。使用许可材料可能仍然会受到其他原因的限制， + 包括因为其他人对材料拥有版权或其他权利。许可人可能 + 会提出特别请求，例如要求标记或描述所有更改。 + 虽然我们的许可不要求这样做，但建议在合理的情况下 + 尊重这些请求。更多公众的注意事项： + wiki.creativecommons.org/Considerations_for_licensees + +======================================================================= + +知识共享 归属-相同方式共享 4.0 国际公共许可 + +通过行使被许可的权利（定义如下），您接受并同意受此知识共享归属-相同方式共享 4.0 国际公共许可（“公共许可”）的条款和条件的约束。在此公共许可可能被解释为合同的范围内，您被授予被许可的权利，以换取您接受这些条款和条件，并且许可人授予您这些权利，以换取许可人从根据这些条款和条件提供被许可材料中获得的利益。 + +第1节 -- 定义。 + + a. 改编材料是指受版权和类似权利保护的材料，这些材料是从被许可材料衍生或基于被许可材料的，并且被许可材料以需要许可人持有的版权和类似权利许可的方式被翻译、改变、安排、转化或以其他方式修改。对于本公共许可的目的，当被许可材料是音乐作品、表演或声音录制时，改编材料总是在被许可材料与动态影像同步时产生。 + + b. 适配者许可是指您根据本公共许可的条款和条件对您在改编材料中的贡献所应用的许可。 + + c. BY-SA 兼容许可是指在 creativecommons.org/compatiblelicenses 列出的、由知识共享批准的、基本上等同于本公共许可的许可。 + + d. 版权和类似权利是指与版权密切相关的版权和/或类似权利，包括但不限于表演、广播、声音录制和独创性数据库权利，而不考虑权利的标签或分类。对于本公共许可的目的，第2节(b)(1)-(2)中规定的权利不属于版权和类似权利。 + + e. 有效技术措施是指在没有适当授权的情况下，根据1996年12月20日通过的《WIPO版权条约》第11条规定的义务和/或类似国际协议，不能被规避的措施。 + + f. 例外和限制是指适用于您使用被许可材料的合理使用、合理交易和/或任何其他对版权和类似权利的例外或限制。 + + g. 许可元素是指在知识共享公共许可名称中列出的许可属性。本公共许可的许可元素是归属和相同方式共享。 + + h. 被许可材料是指许可人应用本公共许可的艺术或文学作品、数据库或其他材料。 + + i. 被许可权利是指在本公共许可的条款和条件下授予您的权利，这些权利仅限于适用于您使用被许可材料的所有版权和类似权利，并且许可人有权许可这些权利。 + + j. 许可人是指根据本公共许可授予权利的个人或实体。 + + k. 分享是指通过任何需要根据被许可权利许可的方式或过程向公众提供材料，例如复制、公开展示、公开表演、分发、传播、通信或进口，以及以公众可以从他们选择的地点和时间访问材料的方式向公众提供材料。 + + l. 独创性数据库权利是指1996年3月11日欧洲议会和理事会关于数据库法律保护的指令96/9/EC修订和/或继承的权利，以及世界任何地方的其他基本等同权利。 + + m. 您是指根据本公共许可行使被许可权利的个人或实体。您的具有相应的含义。 + +第2节 -- 范围。 + + a. 许可授予。 + + 1. 根据本公共许可的条款和条件，许可人特此授予您全球范围内、免版税、不可转授权、非独占、不可撤销的许可，以行使被许可权利在被许可材料中： + + a. 复制和分享被许可材料，全部或部分；以及 + + b. 生产、复制和分享改编材料。 + + 2. 例外和限制。为避免疑义，如果例外和限制适用于您的使用，本公共许可不适用，您不需要遵守其条款和条件。 + + 3. 期限。本公共许可的期限在第6节(a)中规定。 + + 4. 媒体和格式；允许的技术修改。许可人授权您在现有或将来创建的所有媒体和格式中行使被许可权利，并进行必要的技术修改。许可人放弃和/或同意不主张任何权利或权威，以禁止您进行必要的技术修改以行使被许可权利，包括必要的技术修改以规避有效技术措施。对于本公共许可的目的，仅进行本第2节(a)(4)授权的修改从未产生改编材料。 + + 5. 下游接收者。 + + a. 许可人的提议 -- 被许可材料。每个被许可材料的接收者自动从许可人处获得根据本公共许可条款和条件行使被许可权利的提议。 + + b. 许可人的额外提议 -- 改编材料。每个从您那里接收改编材料的接收者自动从许可人处获得根据您应用的适配者许可条件行使改编材料中的被许可权利的提议。 + + c. 无下游限制。您不得对被许可材料提供或施加任何附加或不同的条款或条件，或应用任何有效技术措施，以限制任何被许可材料接收者行使被许可权利。 + + 6. 无认可。本公共许可中的任何内容均不构成或可被解释为允许主张或暗示您与许可人或其他根据第3节(a)(1)(A)(i)规定获得归属的人士有关联，或您的使用被许可材料获得许可人或其他人士的认可或授予官方地位。 + + b. 其他权利。 + + 1. 道德权利，例如完整权，不在本公共许可范围内，亦不包括宣传、隐私和/或其他类似的人格权；然而，在可能的范围内，许可人放弃和/或同意不主张许可人持有的此类权利，以有限的范围允许您行使被许可权利，但不包括其他情况。 + + 2. 专利和商标权不在本公共许可范围内。 + + 3. 在可能的范围内，许可人放弃向您收取行使被许可权利的任何权利，无论是直接收取还是通过任何自愿或可放弃的法定或强制许可计划的收款机构收取。在所有其他情况下，许可人明确保留收取此类权利的权利。 + +第3节 -- 许可条件。 + +您行使被许可权利明确受以下条件的约束。 + + a. 归属。 + + 1. 如果您分享被许可材料（包括修改形式），您必须： + + a. 保留许可人随被许可材料提供的以下内容： + + i. 以许可人要求的任何合理方式（包括如果指定的笔名）识别被许可材料的创作者和任何其他指定接收归属的人； + + ii. 版权声明； + + iii. 提及本公共许可的声明； + + iv. 提及免责声明的声明； + + v. 在合理可行的范围内，指向被许可材料的URI或超链接； + + b. 指出您是否修改了被许可材料，并保留任何先前修改的指示；以及 + + c. 指出被许可材料是根据本公共许可授权的，并包含本公共许可的文本或指向本公共许可的URI或超链接。 + + 2. 您可以根据您分享被许可材料的媒介、方式和上下文，以任何合理的方式满足第3节(a)(1)的条件。例如，提供指向包含所需信息的资源的URI或超链接可能是合理的。 + + 3. 如果许可人要求，您必须在合理可行的范围内删除第3节(a)(1)(A)要求的任何信息。 + + b. 相同方式共享。 + + 除第3节(a)的条件外，如果您分享您制作的改编材料，以下条件也适用。 + + 1. 您应用的适配者许可必须是具有相同许可元素的知识共享许可，本版本或后续版本，或BY-SA兼容许可。 + + 2. 您必须包含您应用的适配者许可的文本或指向适配者许可的URI或超链接。您可以根据您分享改编材料的媒介、方式和上下文，以任何合理的方式满足此条件。 + + 3. 您不得对改编材料提供或施加任何附加或不同的条款或条件，或应用任何有效技术措施，以限制根据您应用的适配者许可授予的权利的行使。 + +第4节 -- 独创性数据库权利。 + +如果被许可权利包括适用于您使用被许可材料的独创性数据库权利： + + a. 为避免疑义，第2节(a)(1)授予您提取、再利用、复制和分享数据库内容的全部或实质部分的权利； + + b. 如果您将全部或实质部分的数据库内容包含在您拥有独创性数据库权利的数据库中，那么您拥有独创性数据库权利的数据库（但不是其单独内容）是改编材料， + + 包括第3节(b)的目的；以及 + c. 如果您分享数据库内容的全部或实质部分，您必须遵守第3节(a)的条件。 + +为避免疑义，本第4节补充而不替代被许可权利包括其他版权和类似权利的情况下您在本公共许可下的义务。 + +第5节 -- 免责声明和责任限制。 + + a. 除非许可人另行单独承诺，在可能的范围内，许可人按现状和现有状态提供被许可材料，并且不对被许可材料作出任何形式的陈述或保证，无论是明示、暗示、法定或其他。这包括但不限于所有权保证、适销性、特定用途适用性、非侵权、无潜在或其他缺陷、准确性或错误的存在或不存在，无论是否已知或可发现。在全部或部分不允许免责声明的地方，本免责声明可能不适用于您。 + + b. 在可能的范围内，在任何情况下，许可人均不对您承担任何法律理论（包括但不限于过失）或其他原因导致的任何直接、特殊、间接、附带、后果性、惩罚性、示范性或其他损失、成本、费用或损害，即使许可人已被告知此类损失、成本、费用或损害的可能性。在全部或部分不允许责任限制的地方，本限制可能不适用于您。 + + c. 上述免责声明和责任限制应以尽可能接近绝对免责声明和放弃所有责任的方式解释。 + +第6节 -- 期限和终止。 + + a. 本公共许可适用于被许可的版权和类似权利的期限。然而，如果您未能遵守本公共许可，则您在本公共许可下的权利将自动终止。 + + b. 如果根据第6节(a)您的使用权利已终止，它将： + + 1. 在发现违规后的30天内自动恢复，前提是违规得到纠正；或 + + 2. 经许可人明确恢复。 + + 为避免疑义，本第6节(b)不影响许可人可能拥有的任何权利，以寻求对您违反本公共许可的补救措施。 + + c. 为避免疑义，许可人也可以在任何时间根据单独条款或条件提供被许可材料或停止分发被许可材料；然而，这样做不会终止本公共许可。 + + d. 第1节、第5节、第6节、第7节和第8节在本公共许可终止后继续有效。 + +第7节 -- 其他条款和条件。 + + a. 除非明确同意，否则许可人不受您传达的任何附加或不同条款或条件的约束。 + + b. 关于被许可材料的任何安排、理解或协议，不在本文中陈述的，均与本公共许可的条款和条件分开且独立。 + +第8节 -- 解释。 + + a. 为避免疑义，本公共许可不会也不应被解释为减少、限制、限制或施加条件于在没有本公共许可下的许可情况下可以合法进行的任何使用被许可材料的行为。 + + b. 在可能的范围内，如果本公共许可的任何条款被视为不可执行，它应自动调整到使其可执行的最小范围。如果该条款无法调整，它应从本公共许可中删除，而不影响其余条款和条件的可执行性。 + + c. 除非许可人明确同意，否则本公共许可的任何条款或条件都不会被放弃，也不会同意任何不遵守行为。 + + d. 本公共许可中的任何内容均不构成或可解释为对适用于许可人或您的任何特权和豁免的限制或放弃，包括任何司法管辖区或权威的法律程序。 + +======================================================================= + +知识共享不是其公共许可的当事人。尽管如此，知识共享可以选择将其公共许可应用于其发布的材料，在这些情况下将被视为“许可人”。知识共享公共许可的文本根据CC0公共领域献词专用于公共领域。除用于指示材料根据知识共享公共许可共享的有限目的或根据知识共享在creativecommons.org/policies发布的政策另行允许外，知识共享不授权在未经其事先书面同意的情况下使用“知识共享”商标或任何其他知识共享商标或徽标，包括但不限于与对其任何公共许可的任何未经授权的修改或任何其他关于使用被许可材料的安排、理解或协议有关。为避免疑义，本段不构成公共许可的一部分。 + +您可以通过 creativecommons.org 联系知识共享。 + +**免责声明**： +本文档使用基于机器的AI翻译服务进行翻译。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原文档视为权威来源。对于关键信息，建议使用专业人工翻译。对于因使用本翻译而产生的任何误解或误释，我们不承担任何责任。 \ No newline at end of file diff --git a/translations/zh/sketchnotes/README.md b/translations/zh/sketchnotes/README.md new file mode 100644 index 000000000..eae787cdd --- /dev/null +++ b/translations/zh/sketchnotes/README.md @@ -0,0 +1,10 @@ +所有课程的手绘笔记可以在这里下载。 + +🖨 如果需要打印高分辨率版本，可以在[这个仓库](https://github.com/girliemac/a-picture-is-worth-a-1000-words/tree/main/ml/tiff)找到TIFF版本。 + +🎨 创建者: [Tomomi Imura](https://github.com/girliemac) (Twitter: [@girlie_mac](https://twitter.com/girlie_mac)) + +[](https://creativecommons.org/licenses/by-sa/4.0/) + +**免责声明**: +本文档是使用基于机器的AI翻译服务翻译的。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应将原文档的母语版本视为权威来源。对于关键信息，建议使用专业人工翻译。我们对于使用此翻译而产生的任何误解或误读不承担责任。 \ No newline at end of file