# Рад са подацима: Припрема података | ](../../sketchnotes/08-DataPreparation.png)| |:---:| |Припрема података - _Скетч од [@nitya](https://twitter.com/nitya)_ | ## [Квиз пре предавања](https://purple-hill-04aebfb03.1.azurestaticapps.net/quiz/14) У зависности од извора, необрађени подаци могу садржати неке неконзистентности које ће представљати изазове у анализи и моделирању. Другим речима, ти подаци могу бити категорисани као „нечисти“ и потребно их је очистити. Ова лекција се фокусира на технике чишћења и трансформације података како би се решили изазови као што су недостајући, нетачни или непотпуни подаци. Теме обухваћене у овој лекцији користе Python и библиотеку Pandas и биће [демонстриране у нотебуку](../../../../2-Working-With-Data/08-data-preparation/notebook.ipynb) унутар овог директоријума. ## Значај чишћења података - **Лакше коришћење и поновна употреба**: Када су подаци правилно организовани и нормализовани, лакше их је претраживати, користити и делити са другима. - **Конзистентност**: Наука о подацима често захтева рад са више скупова података, где скупови из различитих извора треба да се споје. Осигуравање да сваки појединачни скуп података има заједничку стандардизацију обезбедиће да подаци остану корисни када се сви споје у један скуп. - **Тачност модела**: Подаци који су очишћени побољшавају тачност модела који се на њима заснивају. ## Уобичајени циљеви и стратегије чишћења - **Истраживање скупа података**: Истраживање података, које је обухваћено у [каснијој лекцији](https://github.com/microsoft/Data-Science-For-Beginners/tree/main/4-Data-Science-Lifecycle/15-analyzing), може вам помоћи да откријете податке које треба очистити. Визуелно посматрање вредности унутар скупа података може поставити очекивања о томе како ће остатак изгледати или дати идеју о проблемима који се могу решити. Истраживање може укључивати основно упитивање, визуализације и узорковање. - **Форматирање**: У зависности од извора, подаци могу имати неконзистентности у начину на који су представљени. То може изазвати проблеме у претраживању и представљању вредности, где се вредност види унутар скупа података, али није правилно представљена у визуализацијама или резултатима упита. Уобичајени проблеми са форматирањем укључују решавање празног простора, датума и типова података. Решавање проблема са форматирањем обично је задатак људи који користе податке. На пример, стандарди о томе како се датуми и бројеви представљају могу се разликовати од земље до земље. - **Дупликати**: Подаци који имају више од једне појаве могу произвести нетачне резултате и обично их треба уклонити. Ово може бити уобичајена појава када се спајају два или више скупова података. Међутим, постоје случајеви када дупликати у спојеним скуповима садрже делове који могу пружити додатне информације и можда их треба сачувати. - **Недостајући подаци**: Недостајући подаци могу изазвати нетачности као и слабе или пристрасне резултате. Понекад се ово може решити „поновним учитавањем“ података, попуњавањем недостајућих вредности рачунским методама и кодом као што је Python, или једноставно уклањањем вредности и одговарајућих података. Постоји много разлога зашто подаци могу недостајати, а акције које се предузимају да се реше те недостајуће вредности могу зависити од тога како и зашто су нестали. ## Истраживање информација у DataFrame-у > **Циљ учења:** До краја овог пододељка, требало би да будете у стању да пронађете опште информације о подацима који се чувају у pandas DataFrame-овима. Када учитате своје податке у pandas, они ће највероватније бити у DataFrame-у (погледајте претходну [лекцију](https://github.com/microsoft/Data-Science-For-Beginners/tree/main/2-Working-With-Data/07-python#dataframe) за детаљан преглед). Међутим, ако скуп података у вашем DataFrame-у има 60,000 редова и 400 колона, како уопште почети да разумете са чиме радите? Срећом, [pandas](https://pandas.pydata.org/) пружа неке погодне алате за брзо прегледање општих информација о DataFrame-у, као и првих и последњих неколико редова. Да бисмо истражили ову функционалност, увешћемо Python библиотеку scikit-learn и користити један познати скуп података: **Iris скуп података**. ```python import pandas as pd from sklearn.datasets import load_iris iris = load_iris() iris_df = pd.DataFrame(data=iris['data'], columns=iris['feature_names']) ``` | |дужина чашичног листа (cm)|ширина чашичног листа (cm)|дужина латице (cm)|ширина латице (cm)| |----------------------------------------|--------------------------|--------------------------|------------------|------------------| |0 |5.1 |3.5 |1.4 |0.2 | |1 |4.9 |3.0 |1.4 |0.2 | |2 |4.7 |3.2 |1.3 |0.2 | |3 |4.6 |3.1 |1.5 |0.2 | |4 |5.0 |3.6 |1.4 |0.2 | - **DataFrame.info**: За почетак, `info()` метода се користи за испис резимеа садржаја присутног у `DataFrame-у`. Погледајмо овај скуп података да видимо шта имамо: ```python iris_df.info() ``` ``` RangeIndex: 150 entries, 0 to 149 Data columns (total 4 columns): # Column Non-Null Count Dtype --- ------ -------------- ----- 0 sepal length (cm) 150 non-null float64 1 sepal width (cm) 150 non-null float64 2 petal length (cm) 150 non-null float64 3 petal width (cm) 150 non-null float64 dtypes: float64(4) memory usage: 4.8 KB ``` Из овога знамо да *Iris* скуп података има 150 уноса у четири колоне без недостајућих уноса. Сви подаци су сачувани као 64-битни бројеви са покретним зарезом. - **DataFrame.head()**: Затим, да бисмо проверили стварни садржај `DataFrame-а`, користимо `head()` методу. Погледајмо првих неколико редова нашег `iris_df`: ```python iris_df.head() ``` ``` sepal length (cm) sepal width (cm) petal length (cm) petal width (cm) 0 5.1 3.5 1.4 0.2 1 4.9 3.0 1.4 0.2 2 4.7 3.2 1.3 0.2 3 4.6 3.1 1.5 0.2 4 5.0 3.6 1.4 0.2 ``` - **DataFrame.tail()**: Супротно томе, да бисмо проверили последњих неколико редова `DataFrame-а`, користимо `tail()` методу: ```python iris_df.tail() ``` ``` sepal length (cm) sepal width (cm) petal length (cm) petal width (cm) 145 6.7 3.0 5.2 2.3 146 6.3 2.5 5.0 1.9 147 6.5 3.0 5.2 2.0 148 6.2 3.4 5.4 2.3 149 5.9 3.0 5.1 1.8 ``` > **Закључак:** Чак и само гледањем метаподатака о информацијама у DataFrame-у или првих и последњих неколико вредности у њему, можете добити тренутну идеју о величини, облику и садржају података са којима радите. ## Рад са недостајућим подацима > **Циљ учења:** До краја овог пододељка, требало би да знате како да замените или уклоните null вредности из DataFrame-ова. Већину времена скупови података које желите да користите (или морате да користите) имају недостајуће вредности. Начин на који се недостајући подаци обрађују носи са собом суптилне компромисе који могу утицати на вашу коначну анализу и исходе у стварном свету. Pandas обрађује недостајуће вредности на два начина. Први сте већ видели у претходним одељцима: `NaN`, или Not a Number. Ово је заправо посебна вредност која је део IEEE спецификације за бројеве са покретним зарезом и користи се само за означавање недостајућих вредности са покретним зарезом. За недостајуће вредности осим бројева са покретним зарезом, pandas користи Python објекат `None`. Иако може изгледати збуњујуће што ћете наићи на две различите врсте вредности које суштински говоре исту ствар, постоје добри програмски разлози за овај избор дизајна и, у пракси, овај приступ омогућава pandas-у да пружи добар компромис за велику већину случајева. Упркос томе, и `None` и `NaN` носе ограничења која треба имати на уму у погледу начина на који се могу користити. Погледајте више о `NaN` и `None` у [нотебуку](https://github.com/microsoft/Data-Science-For-Beginners/blob/main/4-Data-Science-Lifecycle/15-analyzing/notebook.ipynb)! - **Детектовање null вредности**: У `pandas`, методе `isnull()` и `notnull()` су ваши примарни алати за детектовање null података. Обе враћају Булове маске преко ваших података. Користићемо `numpy` за `NaN` вредности: ```python import numpy as np example1 = pd.Series([0, np.nan, '', None]) example1.isnull() ``` ``` 0 False 1 True 2 False 3 True dtype: bool ``` Пажљиво погледајте излаз. Да ли вас нешто изненађује? Иако је `0` аритметички null, он је ипак савршено добар целобројни број и pandas га тако третира. `''` је мало суптилнији. Иако смо га користили у Одељку 1 да представимо празну стринг вредност, он је ипак стринг објекат и није представљање null вредности у смислу pandas-а. Сада, окренимо ово и користимо ове методе на начин који је ближи ономе како ћете их користити у пракси. Можете користити Булове маске директно као индекс ``Series`` или ``DataFrame``, што може бити корисно када покушавате да радите са изолованим недостајућим (или присутним) вредностима. > **Закључак**: И `isnull()` и `notnull()` методе производе сличне резултате када их користите у `DataFrame-овима`: показују резултате и индекс тих резултата, што ће вам изузетно помоћи док се борите са својим подацима. - **Уклањање null вредности**: Поред идентификовања недостајућих вредности, pandas пружа погодан начин за уклањање null вредности из `Series` и `DataFrame-ова`. (Посебно код великих скупова података, често је препоручљивије једноставно уклонити недостајуће [NA] вредности из ваше анализе него се бавити њима на друге начине.) Да бисмо видели ово у пракси, вратићемо се на `example1`: ```python example1 = example1.dropna() example1 ``` ``` 0 0 2 dtype: object ``` Приметите да ово треба да изгледа као ваш излаз из `example3[example3.notnull()]`. Разлика је у томе што је, уместо само индексирања на маскиране вредности, `dropna` уклонио те недостајуће вредности из `Series` `example1`. Пошто `DataFrame`-ови имају две димензије, они пружају више опција за уклањање података. ```python example2 = pd.DataFrame([[1, np.nan, 7], [2, 5, 8], [np.nan, 6, 9]]) example2 ``` | | 0 | 1 | 2 | |------|---|---|---| |0 |1.0|NaN|7 | |1 |2.0|5.0|8 | |2 |NaN|6.0|9 | (Да ли сте приметили да је pandas променио тип две колоне у бројеве са покретним зарезом како би се прилагодио `NaN` вредностима?) Не можете уклонити једну вредност из `DataFrame-а`, тако да морате уклонити целе редове или колоне. У зависности од онога што радите, можда ћете желети да урадите једно или друго, па pandas пружа опције за оба. Пошто у науци о подацима колоне генерално представљају променљиве, а редови представљају опсервације, вероватније је да ћете уклонити редове података; подразумевана поставка за `dropna()` је да уклони све редове који садрже било које null вредности: ```python example2.dropna() ``` ``` 0 1 2 1 2.0 5.0 8 ``` Ако је потребно, можете уклонити NA вредности из колона. Користите `axis=1` да то урадите: ```python example2.dropna(axis='columns') ``` ``` 2 0 7 1 8 2 9 ``` Приметите да ово може уклонити много података које можда желите да задржите, посебно у мањим скуповима података. Шта ако желите да уклоните само редове или колоне који садрже неколико или чак све null вредности? Те поставке можете одредити у `dropna` помоћу параметара `how` и `thresh`. Подразумевано, `how='any'` (ако желите да проверите сами или видите које друге параметре метода има, покрените `example4.dropna?` у код ћелији). Можете алтернативно одредити `how='all'` како бисте уклонили само редове или колоне који садрже све null вредности. Проширимо наш пример `DataFrame-а` да видимо ово у пракси. ```python example2[3] = np.nan example2 ``` | |0 |1 |2 |3 | |------|---|---|---|---| |0 |1.0|NaN|7 |NaN| |1 |2.0|5.0|8 |NaN| |2 |NaN|6.0|9 |NaN| Параметар `thresh` вам даје прецизнију контролу: постављате број *не-null* вредности које ред или колона треба да имају да би били задржани: ```python example2.dropna(axis='rows', thresh=3) ``` ``` 0 1 2 3 1 2.0 5.0 8 NaN ``` Овде су први и последњи ред уклоњени, јер садрже само две не-null вредности. - **Попуњавање null вредности**: У зависности од вашег скупа података, понекад може имати више смисла да попуните null вредности валидним него да их уклоните. Могли бисте користити `isnull` да то урадите на лицу места, али то може бити напорно, посебно ако имате много вредности за попуњавање. Пошто је ово тако уобичајен задатак у науци о подацима, pandas пружа `fillna`, који враћа копију `Series` или `DataFrame-а` са недостајућим вредностима замењеним једном по вашем избору. Направимо још један пример `Series` да видимо како ово функционише у пракси. ```python example3 = pd.Series([1, np.nan, 2, None, 3], index=list('abcde')) example3 ``` ``` a 1.0 b NaN c 2.0 d NaN e 3.0 dtype: float64 ``` Можете попунити све недостајуће уносе једном вредношћу, као што је `0`: ```python example3.fillna(0) ``` ``` a 1.0 b 0.0 c 2.0 d 0.0 e 3.0 dtype: float64 ``` Можете **попунити унапред** null вредности, што значи да користите последњу валидну вредност за попуњавање null: ```python example3.fillna(method='ffill') ``` ``` a 1.0 b 1.0 c 2.0 d 2.0 e 3.0 dtype: float64 ``` Такође можете **попунити уназад** да бисте пренели следећу валидну вредност уназад за попуњавање null: ```python example3.fillna(method='bfill') ``` ``` a 1.0 b 2.0 c 2.0 d 3.0 e 3.0 dtype: float64 ``` Као што можете претпоставити, ово функционише исто са `DataFrame-овима`, али можете такође одредити `axis` д > **Закључак:** Постоји више начина за решавање проблема са недостајућим вредностима у вашим скуповима података. Конкретна стратегија коју користите (уклањање, замена или начин на који их замењујете) треба да буде диктирана специфичностима тих података. Што више радите са скуповима података, боље ћете разумети како да се носите са недостајућим вредностима. ## Уклањање дуплираних података > **Циљ учења:** До краја овог пододељка, требало би да будете сигурни у идентификовање и уклањање дуплираних вредности из DataFrame-ова. Поред недостајућих података, често ћете наићи на дуплиране податке у скуповима података из стварног света. Срећом, `pandas` пружа једноставан начин за откривање и уклањање дуплираних уноса. - **Идентификовање дупликата: `duplicated`**: Лако можете уочити дуплиране вредности користећи метод `duplicated` у pandas-у, који враћа Булову маску која показује да ли је неки унос у `DataFrame`-у дупликат претходног. Хајде да направимо још један пример `DataFrame`-а како бисмо видели како то функционише. ```python example4 = pd.DataFrame({'letters': ['A','B'] * 2 + ['B'], 'numbers': [1, 2, 1, 3, 3]}) example4 ``` | |слова |бројеви| |------|-------|-------| |0 |A |1 | |1 |B |2 | |2 |A |1 | |3 |B |3 | |4 |B |3 | ```python example4.duplicated() ``` ``` 0 False 1 False 2 True 3 False 4 True dtype: bool ``` - **Брисање дупликата: `drop_duplicates`:** једноставно враћа копију података за које су све `duplicated` вредности `False`: ```python example4.drop_duplicates() ``` ``` letters numbers 0 A 1 1 B 2 3 B 3 ``` И `duplicated` и `drop_duplicates` подразумевано разматрају све колоне, али можете навести да разматрају само подскуп колона у вашем `DataFrame`-у: ```python example4.drop_duplicates(['letters']) ``` ``` letters numbers 0 A 1 1 B 2 ``` > **Закључак:** Уклањање дуплираних података је суштински део готово сваког пројекта у области науке о подацима. Дуплирани подаци могу променити резултате ваших анализа и довести до нетачних закључака! ## 🚀 Изазов Сви материјали који су обрађени доступни су као [Jupyter Notebook](https://github.com/microsoft/Data-Science-For-Beginners/blob/main/2-Working-With-Data/08-data-preparation/notebook.ipynb). Поред тога, након сваког одељка постоје вежбе – испробајте их! ## [Квиз након предавања](https://ff-quizzes.netlify.app/en/ds/) ## Преглед и самостално учење Постоји много начина за истраживање и приступ припреми ваших података за анализу и моделирање, а чишћење података је важан корак који захтева практично искуство. Испробајте ове изазове са Kaggle-а како бисте истражили технике које ова лекција није покрила. - [Изазов чишћења података: Парсирање датума](https://www.kaggle.com/rtatman/data-cleaning-challenge-parsing-dates/) - [Изазов чишћења података: Скалирање и нормализација података](https://www.kaggle.com/rtatman/data-cleaning-challenge-scale-and-normalize-data) ## Задатак [Оцењивање података из обрасца](assignment.md) --- **Одрицање од одговорности**: Овај документ је преведен коришћењем услуге за превођење помоћу вештачке интелигенције [Co-op Translator](https://github.com/Azure/co-op-translator). Иако се трудимо да обезбедимо тачност, молимо вас да имате у виду да аутоматизовани преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не преузимамо одговорност за било каква погрешна тумачења или неспоразуме који могу настати услед коришћења овог превода.