Data-Science-For-Beginners/translations/cs/4-Data-Science-Lifecycle/15-analyzing

Životní cyklus datové vědy: Analýza

Životní cyklus datové vědy: Analýza - Sketchnote od @nitya

Kvíz před přednáškou

Kvíz před přednáškou

Analýza v životním cyklu dat potvrzuje, že data mohou odpovědět na položené otázky nebo vyřešit konkrétní problém. Tento krok se také zaměřuje na ověření, zda model správně řeší tyto otázky a problémy. Tato lekce se soustředí na průzkumnou analýzu dat (Exploratory Data Analysis, EDA), což jsou techniky pro definování vlastností a vztahů v datech, které mohou být použity k přípravě dat pro modelování.

Použijeme příklad datové sady z Kaggle, abychom ukázali, jak lze tyto techniky aplikovat pomocí Pythonu a knihovny Pandas. Tato datová sada obsahuje počty některých běžných slov nalezených v e-mailech, přičemž zdroje těchto e-mailů jsou anonymní. Použijte notebook v tomto adresáři, abyste mohli postupovat podle příkladu.

Průzkumná analýza dat

Fáze zachycení v životním cyklu je místem, kde jsou data získávána, stejně jako problémy a otázky, které je třeba řešit. Jak ale zjistíme, zda data mohou podpořit konečný výsledek? Připomeňme si, že datový vědec může při získávání dat klást následující otázky:

• Mám dostatek dat k vyřešení tohoto problému?
• Jsou data dostatečně kvalitní pro tento problém?
• Pokud prostřednictvím těchto dat objevíme další informace, měli bychom zvážit změnu nebo přehodnocení cílů? Průzkumná analýza dat je proces, jak se s daty seznámit, a může být použita k zodpovězení těchto otázek, stejně jako k identifikaci výzev při práci s datovou sadou. Zaměřme se na některé techniky, které se k tomu používají.

Profilování dat, popisná statistika a Pandas

Jak můžeme zhodnotit, zda máme dostatek dat k vyřešení problému? Profilování dat může shrnout a shromáždit obecné informace o naší datové sadě prostřednictvím technik popisné statistiky. Profilování dat nám pomáhá pochopit, co máme k dispozici, a popisná statistika nám pomáhá pochopit, kolik toho máme.

V několika předchozích lekcích jsme použili Pandas k poskytování popisné statistiky pomocí funkce describe(). Tato funkce poskytuje počet, maximální a minimální hodnoty, průměr, standardní odchylku a kvantily pro numerická data. Použití popisné statistiky, jako je funkce describe(), vám může pomoci zhodnotit, kolik dat máte a zda potřebujete více.

Vzorkování a dotazování

Prozkoumávání všeho v rozsáhlé datové sadě může být velmi časově náročné a obvykle je to úkol, který se přenechává počítači. Vzorkování je však užitečný nástroj pro pochopení dat a umožňuje nám lépe porozumět tomu, co datová sada obsahuje a co reprezentuje. S vzorkem můžete aplikovat pravděpodobnost a statistiku, abyste dospěli k obecným závěrům o svých datech. Ačkoli neexistuje žádné pevně stanovené pravidlo, kolik dat byste měli vzorkovat, je důležité poznamenat, že čím více dat vzorkujete, tím přesnější generalizaci můžete o datech učinit. Pandas má funkci sample(), kde můžete zadat argument, kolik náhodných vzorků chcete získat a použít.

Obecné dotazování na data vám může pomoci odpovědět na některé obecné otázky a teorie, které můžete mít. Na rozdíl od vzorkování vám dotazy umožňují mít kontrolu a zaměřit se na konkrétní části dat, na které máte otázky. Funkce query() v knihovně Pandas vám umožňuje vybrat sloupce a získat jednoduché odpovědi o datech prostřednictvím získaných řádků.

Prozkoumávání pomocí vizualizací

Nemusíte čekat, až budou data důkladně vyčištěna a analyzována, abyste mohli začít vytvářet vizualizace. Ve skutečnosti může vizuální reprezentace při prozkoumávání pomoci identifikovat vzory, vztahy a problémy v datech. Navíc vizualizace poskytují prostředek komunikace s těmi, kteří nejsou zapojeni do správy dat, a mohou být příležitostí k sdílení a objasnění dalších otázek, které nebyly řešeny ve fázi zachycení. Podívejte se na sekci o vizualizacích, kde se dozvíte více o některých populárních způsobech vizuálního prozkoumávání.

Prozkoumávání za účelem identifikace nesrovnalostí

Všechny témata v této lekci mohou pomoci identifikovat chybějící nebo nekonzistentní hodnoty, ale Pandas poskytuje funkce, které mohou některé z nich zkontrolovat. isna() nebo isnull() mohou zkontrolovat chybějící hodnoty. Důležitou součástí prozkoumávání těchto hodnot ve vašich datech je zjistit, proč se tak staly. To vám může pomoci rozhodnout, jaké kroky podniknout k jejich vyřešení.

Kvíz po přednášce

Úkol

Prozkoumávání odpovědí

---

Prohlášení:
Tento dokument byl přeložen pomocí služby pro automatický překlad Co-op Translator. I když se snažíme o co největší přesnost, mějte prosím na paměti, že automatické překlady mohou obsahovat chyby nebo nepřesnosti. Původní dokument v jeho původním jazyce by měl být považován za závazný zdroj. Pro důležité informace doporučujeme profesionální lidský překlad. Neodpovídáme za žádná nedorozumění nebo nesprávné výklady vyplývající z použití tohoto překladu.