6.6 KiB
定義資料
 |
|---|
| 定義資料 - Sketchnote 由 @nitya 製作 |
資料是用於發現新知與支持明智決策的事實、資訊、觀察與測量值。資料點是資料集內單一單位的資料，而資料集則是由數個資料點組成。資料集可呈現不同的格式和結構，通常依據其來源，也就是資料來自哪裡而定。例如，一間公司的每月盈餘可能儲存在試算表中，但智慧手錶的每小時心率資料可能是以 JSON 格式呈現。資料科學家經常會在同一資料集中處理不同類型的資料。
本課程聚焦於依據資料特性及來源辨識與分類資料。
課前測驗
資料的描述方式
原始資料
原始資料是來自其來源的初始狀態資料，尚未被分析或組織。為了理解資料集的內容，需要將其整理成讓人類以及用來進一步分析的技術能理解的格式。資料集的結構描述其組織方式，且可分類為結構化、非結構化及半結構化。這些結構類型會依據來源有所不同，但最終皆隸屬上述三種分類。
量化資料
量化資料是在資料集中屬於數值的觀察值，通常可以被分析、測量並以數學方式使用。量化資料的例子包括：一個國家的人口、一個人的身高或一間公司的季報盈餘。經過進一步分析後，量化資料可用來發現空氣品質指數（AQI）的季節性趨勢，或估計典型工作日的尖峰時段交通機率。
質性資料
質性資料又稱為類別資料，是無法像量化資料那樣被客觀測量的資料。它通常是各種主觀資料形式，捕捉某物的品質，例如產品或流程。有時質性資料是數值型態但通常不會用數學方式操作，如電話號碼或時間戳。質性資料的例子包括：影片留言、汽車的品牌與型號，或你最親近朋友的最愛顏色。質性資料可用來了解消費者最喜愛的產品，或辨識求職履歷中的熱門關鍵字。
結構化資料
結構化資料以列與欄組織，每列擁有相同的欄位集合。欄位代表特定類型的數值，並以名稱辨識欄位代表的內容，而列則包含實際數值。欄位常有特定規則或限制，以確保數值能準確代表欄位內容。例如，假設一份客戶試算表中，每列必須有電話號碼，且電話號碼內不含英文字母。電話號碼欄位可能會有規則，確保其不為空值且只包含數字。
結構化資料的優點是能以某種方式組織，使其可以與其他結構化資料建立關聯。然而，因為資料設計成特定組織形式，變更整體結構通常需要大量努力。例如，想在客戶試算表新增非空的電子郵件欄，必須想辦法為現有每列客戶填入其電子郵件資料。
結構化資料範例：試算表、關聯式資料庫、電話號碼、銀行對帳單
非結構化資料
非結構化資料通常無法分類成列或欄，且沒有固定格式或規則。因為非結構化資料結構限制較少，相較於結構化資料更容易新增資訊。例如，若一個每兩分鐘測量氣壓的感測器更新為能測量與記錄溫度，若資料為非結構化不需修改既有資料。然而，這可能導致分析此類資料時花費更多時間。譬如，一位科學家想計算前一個月感測器記錄的平均溫度，卻發現某些記錄數據中用字母「e」標記感測器故障，而非典型的數字，表示資料不完整。
非結構化資料範例：文字檔案、簡訊、影片檔案
半結構化資料
半結構化資料兼具結構化與非結構化資料的特點。它通常不遵循列與欄的格式，但依然以某種被視為結構化的方式組織，可能遵循固定格式或規則。其結構會依據來源不同而異，從明確階層到更具彈性，方便整合新資訊。元資料是協助決定資料如何組織與儲存的指標，根據資料類型有各種名稱，常見有標籤、元素、實體與屬性。例如，典型email訊息會有主旨、內容與收件者群，且可根據寄件人或寄送時間組織。
半結構化資料範例：HTML、CSV 檔案、JavaScript 物件表示法 (JSON)
資料來源
資料來源是資料產生的初始位置，也就是資料「所在的位置」，會依資料如何及何時被收集而異。由使用者產生的資料稱為原始資料，次級資料則是指由其他來源收集供一般使用的資料。例如，一群科學家在雨林收集觀察資料則被視為原始資料；若他們決定與其他科學家分享，對那些使用者而言即為次級資料。
資料庫是常見資料來源，依賴資料庫管理系統來管理及維護資料，使用者用稱為查詢的指令來探索資料。檔案作為資料來源可能包括音訊、影像和影片檔案，以及像 Excel 這類的試算表。網際網路是一個常見的資料寄存位置，裡面包含資料庫與檔案。應用程式介面（API）允許程式設計師透過網路與外部使用者共享資料，而網路爬蟲則是從網頁擷取資料的過程。與資料共事課程講授如何使用各種資料來源。
結論
本課程學習了：
- 什麼是資料
- 資料如何被描述
- 資料如何被分類與歸類
- 資料可以從哪裡取得
🚀 挑戰
Kaggle 是極佳的公開資料集來源。使用 資料集搜尋工具 找尋有趣的資料集，並依照以下條件分類 3-5 個資料集：
- 該資料是量化還是質性？
- 該資料是結構化、非結構化，還是半結構化？
課後測驗
複習與自學
- 微軟學習單元 識別資料格式 詳細解析結構化、半結構化及非結構化資料。
作業
免責聲明： 此文件已使用 AI 翻譯服務 Co-op Translator 進行翻譯。雖然我們努力追求準確性，但請注意自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應視為權威來源。對於關鍵資訊，建議採用專業人工翻譯。我們不對因使用此翻譯所產生的任何誤解或誤譯承擔責任。