Data-Science-For-Beginners/translations/sw/1-Introduction/01-defining-data-science

Kufafanua Sayansi ya Takwimu

Kufafanua Sayansi ya Takwimu - Sketchnote na @nitya

---

Jaribio la kabla ya somo

Takwimu ni nini?

Katika maisha yetu ya kila siku, tunazungukwa na takwimu kila wakati. Maandishi unayosoma sasa ni takwimu. Orodha ya namba za simu za marafiki wako kwenye simu yako ni takwimu, pamoja na muda wa sasa unaoonyeshwa kwenye saa yako. Kama binadamu, tunafanya kazi na takwimu kwa asili kwa kuhesabu pesa tulizo nazo au kwa kuandika barua kwa marafiki zetu.

Hata hivyo, takwimu zimekuwa muhimu zaidi na kuundwa kwa kompyuta. Kazi kuu ya kompyuta ni kufanya mahesabu, lakini zinahitaji takwimu ili kufanya kazi. Kwa hivyo, tunahitaji kuelewa jinsi kompyuta zinavyohifadhi na kuchakata takwimu.

Kwa kuibuka kwa mtandao, jukumu la kompyuta kama vifaa vya kushughulikia takwimu limeongezeka. Ukifikiria, sasa tunatumia kompyuta zaidi na zaidi kwa uchakataji wa takwimu na mawasiliano, badala ya mahesabu halisi. Tunapoandika barua pepe kwa rafiki au kutafuta taarifa fulani kwenye mtandao - kimsingi tunatengeneza, kuhifadhi, kusambaza, na kuendesha takwimu.

Je, unaweza kukumbuka mara ya mwisho ulipotumia kompyuta kufanya mahesabu halisi?

Sayansi ya Takwimu ni nini?

Kulingana na Wikipedia, Sayansi ya Takwimu inafafanuliwa kama sehemu ya kisayansi inayotumia mbinu za kisayansi kutoa maarifa na ufahamu kutoka kwa takwimu zilizopangwa na zisizo na mpangilio, na kutumia maarifa na ufahamu wa vitendo kutoka kwa takwimu katika nyanja mbalimbali za matumizi.

Ufafanuzi huu unaangazia vipengele muhimu vya sayansi ya takwimu:

• Lengo kuu la sayansi ya takwimu ni kutoa maarifa kutoka kwa takwimu, kwa maneno mengine - kuelewa takwimu, kutafuta uhusiano uliofichika na kujenga mfano.
• Sayansi ya takwimu hutumia mbinu za kisayansi, kama vile uwezekano na takwimu. Kwa kweli, wakati neno sayansi ya takwimu lilipoanzishwa, baadhi ya watu walidai kuwa sayansi ya takwimu ilikuwa tu jina jipya la kifahari la takwimu. Siku hizi imekuwa dhahiri kwamba uwanja huu ni mpana zaidi.
• Maarifa yaliyopatikana yanapaswa kutumika kuzalisha ufahamu wa vitendo, yaani, maarifa ya vitendo ambayo unaweza kutumia katika hali halisi za biashara.
• Tunapaswa kuwa na uwezo wa kufanya kazi na takwimu zilizopangwa na zisizo na mpangilio. Tutarejea kujadili aina tofauti za takwimu baadaye katika kozi.
• Nyanja ya matumizi ni dhana muhimu, na wanasayansi wa takwimu mara nyingi wanahitaji angalau kiwango fulani cha utaalamu katika nyanja ya tatizo, kwa mfano: fedha, tiba, masoko, n.k.

Kipengele kingine muhimu cha Sayansi ya Takwimu ni kwamba inachunguza jinsi takwimu zinavyoweza kukusanywa, kuhifadhiwa na kuendeshwa kwa kutumia kompyuta. Wakati takwimu zinatupa misingi ya hisabati, sayansi ya takwimu hutumia dhana za hisabati kutoa ufahamu halisi kutoka kwa takwimu.

Njia moja (inayohusishwa na Jim Gray) ya kuangalia sayansi ya takwimu ni kuiona kama dhana tofauti ya sayansi:

• Empirika, ambapo tunategemea zaidi uchunguzi na matokeo ya majaribio
• Nadharia, ambapo dhana mpya zinatokana na maarifa ya kisayansi yaliyopo
• Kompyuta, ambapo tunagundua kanuni mpya kulingana na majaribio ya kompyuta
• Inayotokana na Takwimu, inayotegemea kugundua uhusiano na mifumo katika takwimu

Nyanja Nyingine Zinazohusiana

Kwa kuwa takwimu zipo kila mahali, sayansi ya takwimu yenyewe pia ni uwanja mpana, unaogusa taaluma nyingi nyingine.

Hifadhidata

Jambo muhimu ni jinsi ya kuhifadhi takwimu, yaani jinsi ya kuipanga kwa njia inayoruhusu uchakataji wa haraka. Kuna aina tofauti za hifadhidata zinazohifadhi takwimu zilizopangwa na zisizo na mpangilio, ambazo tutazichunguza katika kozi yetu.

Takwimu Kubwa

Mara nyingi tunahitaji kuhifadhi na kuchakata kiasi kikubwa cha takwimu zenye muundo rahisi. Kuna mbinu maalum na zana za kuhifadhi takwimu hizo kwa njia ya kusambazwa kwenye klasta ya kompyuta, na kuzichakata kwa ufanisi.

Ujifunzaji wa Mashine

Njia moja ya kuelewa takwimu ni kujenga mfano ambao utaweza kutabiri matokeo yanayotarajiwa. Kuunda mifano kutoka kwa takwimu kunaitwa ujifunzaji wa mashine. Unaweza kutaka kuangalia Mtaala wa Ujifunzaji wa Mashine kwa Wanaoanza ili kujifunza zaidi kuhusu hili.

Akili Bandia

Eneo la ujifunzaji wa mashine linalojulikana kama akili bandia (AI) pia linategemea takwimu, na linahusisha kujenga mifano ya hali ya juu inayofanana na michakato ya kufikiri ya binadamu. Mbinu za AI mara nyingi hutuwezesha kubadilisha takwimu zisizo na mpangilio (mfano lugha asilia) kuwa ufahamu ulio na muundo.

Uwasilishaji wa Takwimu

Kiasi kikubwa cha takwimu ni vigumu kueleweka kwa binadamu, lakini mara tunapounda uwasilishaji wa maana kwa kutumia takwimu hizo, tunaweza kuelewa zaidi takwimu hizo, na kutoa hitimisho fulani. Kwa hivyo, ni muhimu kujua njia nyingi za kuwasilisha taarifa - jambo ambalo tutalifundisha katika Sehemu ya 3 ya kozi yetu. Nyanja zinazohusiana pia ni pamoja na Infographics, na Uingiliano wa Binadamu na Kompyuta kwa ujumla.

Aina za Takwimu

Kama tulivyokwisha taja, takwimu zipo kila mahali. Tunahitaji tu kuzichukua kwa njia sahihi! Ni muhimu kutofautisha kati ya takwimu zilizopangwa na zisizo na mpangilio. Takwimu zilizopangwa kwa kawaida huwakilishwa kwa muundo mzuri, mara nyingi kama jedwali au idadi ya majedwali, wakati takwimu zisizo na mpangilio ni mkusanyiko wa faili. Wakati mwingine tunaweza pia kuzungumzia takwimu zisizo na mpangilio wa nusu, ambazo zina aina fulani ya muundo unaoweza kutofautiana sana.

Zilizopangwa	Zisizo na mpangilio wa nusu	Zisizo na mpangilio
Orodha ya watu na namba zao za simu	Kurasa za Wikipedia zenye viungo	Maandishi ya Encyclopedia Britannica
Joto katika vyumba vyote vya jengo kila dakika kwa miaka 20 iliyopita	Mkusanyiko wa makala za kisayansi katika muundo wa JSON na waandishi, tarehe ya kuchapishwa, na muhtasari	Hifadhi ya faili yenye nyaraka za kampuni
Takwimu za umri na jinsia ya watu wote wanaoingia jengoni	Kurasa za mtandao	Video ghafi kutoka kamera ya ulinzi

Wapi pa Kupata Takwimu

Kuna vyanzo vingi vinavyowezekana vya takwimu, na itakuwa vigumu kuorodhesha vyote! Hata hivyo, hebu tutaje baadhi ya maeneo ya kawaida ambapo unaweza kupata takwimu:

• Zilizopangwa
  • Mtandao wa Vitu (IoT), ikiwa ni pamoja na takwimu kutoka kwa sensa tofauti, kama vile sensa za joto au shinikizo, hutoa takwimu nyingi za manufaa. Kwa mfano, ikiwa jengo la ofisi limewekwa sensa za IoT, tunaweza kudhibiti kiotomatiki joto na taa ili kupunguza gharama.
  • Utafiti tunaowauliza watumiaji kukamilisha baada ya ununuzi, au baada ya kutembelea tovuti.
  • Uchambuzi wa tabia unaweza, kwa mfano, kutusaidia kuelewa jinsi mtumiaji anavyotumia tovuti, na sababu ya kawaida ya kuondoka kwenye tovuti.
• Zisizo na mpangilio
  • Maandishi yanaweza kuwa chanzo kikubwa cha ufahamu, kama vile alama ya jumla ya hisia, au kutoa maneno muhimu na maana ya kisemantiki.
  • Picha au Video. Video kutoka kamera ya ulinzi inaweza kutumika kukadiria trafiki barabarani, na kuwajulisha watu kuhusu msongamano wa magari.
  • Kumbukumbu za seva za mtandao zinaweza kutumika kuelewa ni kurasa zipi za tovuti yetu zinatembelewa mara nyingi zaidi, na kwa muda gani.
• Zisizo na mpangilio wa nusu
  • Mitandao ya Kijamii inaweza kuwa vyanzo vikubwa vya takwimu kuhusu tabia za watumiaji na ufanisi wa kueneza taarifa.
  • Tunapokuwa na mkusanyiko wa picha kutoka sherehe, tunaweza kujaribu kutoa takwimu za Dinamiki ya Kundi kwa kujenga grafu ya watu wanaopiga picha pamoja.

Kwa kujua vyanzo tofauti vya takwimu vinavyowezekana, unaweza kujaribu kufikiria kuhusu hali tofauti ambapo mbinu za sayansi ya takwimu zinaweza kutumika kujua hali vizuri zaidi, na kuboresha michakato ya biashara.

Unachoweza Kufanya na Takwimu

Katika Sayansi ya Takwimu, tunazingatia hatua zifuatazo za safari ya takwimu:

1) Upatikanaji wa Takwimu

Hatua ya kwanza ni kukusanya takwimu. Ingawa katika hali nyingi inaweza kuwa mchakato rahisi, kama vile takwimu zinazoingia kwenye hifadhidata kutoka kwa programu ya mtandao, wakati mwingine tunahitaji kutumia mbinu maalum. Kwa mfano, takwimu kutoka sensa za IoT zinaweza kuwa nyingi, na ni mazoea mazuri kutumia vituo vya kuhifadhi kama IoT Hub kukusanya takwimu zote kabla ya uchakataji zaidi.

2) Uhifadhi wa Takwimu

Kuhifadhi takwimu kunaweza kuwa changamoto, hasa ikiwa tunazungumzia takwimu kubwa. Wakati wa kuamua jinsi ya kuhifadhi takwimu, inafaa kutarajia jinsi unavyotaka kuuliza takwimu hizo baadaye. Kuna njia kadhaa za kuhifadhi takwimu:

• Hifadhidata ya uhusiano huhifadhi mkusanyiko wa majedwali, na hutumia lugha maalum inayoitwa SQL kuyauliza. Kwa kawaida, majedwali hupangwa katika vikundi tofauti vinavyoitwa schemas. Katika hali nyingi tunahitaji kubadilisha takwimu kutoka muundo wa awali ili kuendana na schema.
• Hifadhidata ya NoSQL, kama vile CosmosDB, haifungi takwimu kwenye schemas, na inaruhusu kuhifadhi takwimu ngumu zaidi, kwa mfano, nyaraka za JSON za kihierarkia au grafu. Hata hivyo, hifadhidata za NoSQL hazina uwezo wa kuuliza takwimu kwa kina kama SQL, na haziwezi kuweka uadilifu wa marejeleo, yaani, sheria za jinsi takwimu zinavyopangwa kwenye majedwali na zinavyohusiana.
• Uhifadhi wa Ziwa la Takwimu hutumika kwa makusanyo makubwa ya takwimu katika muundo ghafi, usio na mpangilio. Maziwa ya takwimu mara nyingi hutumika na takwimu kubwa, ambapo takwimu zote haziwezi kutoshea kwenye mashine moja, na lazima zihifadhiwe na kuchakatwa na klasta ya seva. Parquet ni muundo wa takwimu ambao mara nyingi hutumika pamoja na takwimu kubwa.

3) Uchakataji wa Takwimu

Hii ndiyo sehemu ya kusisimua zaidi ya safari ya takwimu, ambayo inahusisha kubadilisha takwimu kutoka muundo wake wa awali kuwa muundo unaoweza kutumika kwa uwasilishaji/mafunzo ya mfano. Tunaposhughulika na takwimu zisizo na mpangilio kama vile maandishi au picha, tunaweza kuhitaji kutumia mbinu za AI kutoa sifa kutoka kwa takwimu, hivyo kuibadilisha kuwa muundo uliopangwa.

4) Uwasilishaji / Ufahamu wa Binadamu

Mara nyingi, ili kuelewa takwimu, tunahitaji kuziwasilisha. Kwa kuwa na mbinu nyingi tofauti za uwasilishaji katika zana zetu, tunaweza kupata mtazamo sahihi wa kutoa ufahamu. Mara nyingi, mwanasayansi wa takwimu anahitaji "kucheza na takwimu", kuziwasilisha mara nyingi na kutafuta uhusiano fulani. Pia, tunaweza kutumia mbinu za takwimu kujaribu dhana au kuthibitisha uhusiano kati ya vipande tofauti vya takwimu.

5) Mafunzo ya mfano wa utabiri

Kwa sababu lengo kuu la sayansi ya takwimu ni kuwa na uwezo wa kufanya maamuzi kulingana na takwimu, tunaweza kutaka kutumia mbinu za Ujifunzaji wa Mashine kujenga mfano wa utabiri. Tunaweza kisha kutumia hii kufanya utabiri kwa kutumia seti mpya za takwimu zenye muundo sawa.

Bila shaka, kulingana na takwimu halisi, baadhi ya hatua zinaweza kukosekana (mfano, wakati tayari tuna takwimu kwenye hifadhidata, au wakati hatuhitaji mafunzo ya mfano), au baadhi ya hatua zinaweza kurudiwa mara kadhaa (kama vile uchakataji wa takwimu).

Kidigitali na Mabadiliko ya Kidigitali

Katika muongo uliopita, biashara nyingi zimeanza kuelewa umuhimu wa takwimu wakati wa kufanya maamuzi ya kibiashara. Ili kutumia kanuni za sayansi ya takwimu katika kuendesha biashara, mtu anahitaji kwanza kukusanya takwimu fulani, yaani kutafsiri michakato ya biashara kuwa muundo wa kidigitali. Hii inajulikana kama kidigitali. Kutumia mbinu za sayansi ya takwimu kwa takwimu hizi kuongoza maamuzi kunaweza kusababisha ongezeko kubwa la tija (au hata mabadiliko ya biashara), yanayoitwa mabadiliko ya kidigitali.

Hebu tuchukue mfano. Tuseme tuna kozi ya sayansi ya takwimu (kama hii) ambayo tunatoa mtandaoni kwa wanafunzi, na tunataka kutumia sayansi ya takwimu kuiboresha. Tunawezaje kufanya hivyo?

Tunaweza kuanza kwa kujiuliza "Ni nini kinaweza kubadilishwa kuwa kidigitali?" Njia rahisi itakuwa kupima muda unaochukua kila mwanafunzi kukamilisha kila moduli, na kupima maarifa yaliyopatikana kwa kutoa jaribio la chaguo nyingi mwishoni mwa kila moduli. Kwa kuhesabu wastani wa muda wa kukamilisha kwa wanafunzi wote, tunaweza kugundua ni moduli zipi zinazosababisha ugumu zaidi kwa wanafunzi, na kufanya kazi ya kuziboresha.

Unaweza kusema kwamba mbinu hii si bora, kwa sababu moduli zinaweza kuwa na urefu tofauti. Inawezekana ni haki zaidi kugawanya muda kwa urefu wa moduli (kwa idadi ya herufi), na kulinganisha thamani hizo badala yake.

Tunapoanza kuchambua matokeo ya mitihani ya kuchagua jibu sahihi, tunaweza kujaribu kubaini ni dhana zipi ambazo wanafunzi wanapata ugumu wa kuzielewa, na kutumia taarifa hiyo kuboresha maudhui. Ili kufanya hivyo, tunahitaji kubuni mitihani kwa namna ambayo kila swali linahusiana na dhana fulani au kipande cha maarifa.

Ikiwa tunataka kufanya uchambuzi wa kina zaidi, tunaweza kuchora muda unaotumika kwa kila moduli dhidi ya kundi la umri wa wanafunzi. Tunaweza kugundua kwamba kwa baadhi ya makundi ya umri inachukua muda mrefu kupita kiasi kukamilisha moduli, au kwamba wanafunzi wanajiondoa kabla ya kuikamilisha. Hii inaweza kutusaidia kutoa mapendekezo ya umri kwa moduli, na kupunguza kutoridhika kwa watu kutokana na matarajio yasiyo sahihi.

🚀 Changamoto

Katika changamoto hii, tutajaribu kutafuta dhana zinazohusiana na uwanja wa Sayansi ya Takwimu kwa kuangalia maandishi. Tutachukua makala ya Wikipedia kuhusu Sayansi ya Takwimu, kupakua na kuchakata maandishi, kisha kujenga wingu la maneno kama hili:

Tembelea notebook.ipynb kusoma kupitia msimbo. Unaweza pia kuendesha msimbo huo, na kuona jinsi unavyofanya mabadiliko yote ya data kwa wakati halisi.

Ikiwa hujui jinsi ya kuendesha msimbo katika Jupyter Notebook, angalia makala hii.

Jaribio la baada ya somo

Majukumu

• Kazi ya 1: Badilisha msimbo hapo juu ili kutafuta dhana zinazohusiana na nyanja za Big Data na Machine Learning
• Kazi ya 2: Fikiria Kuhusu Matukio ya Sayansi ya Takwimu

Shukrani

Somo hili limeandikwa kwa ♥️ na Dmitry Soshnikov

---

Kanusho:
Hati hii imetafsiriwa kwa kutumia huduma ya tafsiri ya AI Co-op Translator. Ingawa tunajitahidi kwa usahihi, tafadhali fahamu kuwa tafsiri za kiotomatiki zinaweza kuwa na makosa au kutokuwa sahihi. Hati ya asili katika lugha yake ya awali inapaswa kuzingatiwa kama chanzo cha mamlaka. Kwa taarifa muhimu, tafsiri ya kitaalamu ya binadamu inapendekezwa. Hatutawajibika kwa kutoelewana au tafsiri zisizo sahihi zinazotokana na matumizi ya tafsiri hii.