19 KiB

Raw Permalink Blame History Unescape Escape

與資料共舞：Python 與 Pandas 函式庫


與 Python 共舞 - 速記筆記作者 @nitya

雖然資料庫提供非常有效率的方式來存放資料並使用查詢語言查詢，但處理資料最靈活的方式是撰寫自己的程式來操作資料。許多情況下，使用資料庫查詢會是更有效率的方式。然而當需要複雜的資料處理時，用 SQL 就無法輕易完成。資料處理可以用任何程式語言進行，但某些語言在資料操作方面層級較高。資料科學家通常偏好以下其中一種語言：

Python，一種通用程式語言，由於簡單易學，經常被認為是初學者最佳選擇。Python 擁有許多額外的函式庫，可以幫助你解決許多實際問題，例如從 ZIP 壓縮檔案擷取資料，或將圖片轉成灰階。除了資料科學之外，Python 也常用於網站開發。
R 是專門為統計資料處理設計的傳統工具箱。它擁有龐大的函式庫資源庫 (CRAN)，因此是資料處理的良好選擇。但 R 不是通用程式語言，在資料科學領域之外很少使用。
Julia 是另種專為資料科學開發的語言，目標是比 Python 擁有更好的效能，是科學實驗的絕佳工具。

本課程將專注於使用 Python 進行簡單資料處理，假設你對該語言有基本熟悉。如果你想深入學習 Python，可以參考以下資源：

有趣學習 Python：烏龜圖形與分形 – GitHub 上的 Python 快速入門課程
Python 入門初階學習路線，在 Microsoft Learn 平台提供

資料的型態多種多樣。這堂課將討論三種資料形式——表格式資料、文字資料及影像資料。

我們將著重幾個資料處理範例，而非完整介紹所有相關函式庫。這將幫助你理解其中的主要概念，並為你提供在需要時尋找解決方案的方法。

最實用的建議：當你想進行某項資料操作，但不知道怎麼做時，請嘗試在網路上搜尋。Stackoverflow 通常有許多 Python 範例程式碼，可以應用於各種典型任務。

課前小考

表格式資料與 DataFrame

在談到關聯式資料庫時，你已經接觸過表格式資料。當你有龐大資料且包含多個相互連結的資料表時，使用 SQL 來處理非常合理。然而，許多情況是我們擁有一張資料表，希望獲得該資料的認識或洞察，例如分佈情況、數值間的相關性等。在資料科學中，許多情況需要對原始資料進行轉換，接著進行視覺化。這些任務都可以透過 Python 輕鬆完成。

Python 有兩個最常用的函式庫幫助你處理表格式資料：

Pandas 允許你操作稱為 Dataframe 的結構，它類似於關聯型資料表。你可以擁有具名稱的欄位，且能對列、欄及整個 Dataframe 執行各種操作。
Numpy 是操作張量（即多維度陣列）的函式庫。陣列採用相同底層型態，結構較 Dataframe 簡單，但提供更多數學運算且開銷較小。

另外還有幾個你應該知道的函式庫：

Matplotlib 是用於資料視覺化與繪圖的函式庫
SciPy 包含額外的科學運算功能，之前談到機率與統計時已出現過它

下面是一段通常用作於 Python 程式開頭，導入上述函式庫的範例代碼：

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from scipy import ... # 你需要指定你所需的確切子套件

Pandas 依靠幾個基本概念構成。

Series

Series 是一系列數值序列，類似清單或 numpy 陣列。主要差異是 series 擁有 索引值，且當我們對 series 操作（如相加）時，會考慮索引。索引可簡單為整數列號（當從清單或陣列建立 series 時預設使用），也可以是複雜的結構，例如日期區間。

注意：附帶的筆記本 notebook.ipynb 含有 Pandas 入門範例。我們此處只大略說明部分範例，你也非常歡迎閱讀完整筆記本。

以範例說明：假設我們想分析冰淇淋店的銷售量。先生成一段銷售數量（每日銷售件數）的 series：

start_date = "Jan 1, 2020"
end_date = "Mar 31, 2020"
idx = pd.date_range(start_date,end_date)
print(f"Length of index is {len(idx)}")
items_sold = pd.Series(np.random.randint(25,50,size=len(idx)),index=idx)
items_sold.plot()

假設每週我們會為朋友聚會準備額外 10 包冰淇淋，並且以週為索引建立另一個 series，來表示額外銷售量：

additional_items = pd.Series(10,index=pd.date_range(start_date,end_date,freq="W"))

將兩個 series 相加，得到總銷售數量：

total_items = items_sold.add(additional_items,fill_value=0)
total_items.plot()

注意：我們沒有直接使用簡單語法 total_items+additional_items。如果如此，我們會得到許多 NaN（非數值）在結果 series 中。原因是 additional_items series 的部分索引值不存在，任何數值與 NaN 相加均為 NaN。因此在相加時需指定 fill_value 參數。

對於時間序列，我們也能重新取樣成不同時間間隔。例如，要計算每月平均銷售量，可用以下代碼：

monthly = total_items.resample("1M").mean()
ax = monthly.plot(kind='bar')

DataFrame

DataFrame 實際上是多個相同索引的 series 集合。我們可以將數個 series 合成一個 DataFrame：

a = pd.Series(range(1,10))
b = pd.Series(["I","like","to","play","games","and","will","not","change"],index=range(0,9))
df = pd.DataFrame([a,b])

這會建立如下橫向資料表：

	0	1	2	3	4	5	6	7	8
0	1	2	3	4	5	6	7	8	9
1	I	like	to	use	Python	and	Pandas	very	much

也可以將 Series 作為欄位，並透過字典指定欄位名稱：

df = pd.DataFrame({ 'A' : a, 'B' : b })

這會產生如下資料表：

	A	B
0	1	I
1	2	like
2	3	to
3	4	use
4	5	Python
5	6	and
6	7	Pandas
7	8	very
8	9	much

注意我們也能透過轉置前表格來得到同樣結果，例如寫成

df = pd.DataFrame([a,b]).T.rename(columns={ 0 : 'A', 1 : 'B' })

這裡 .T 表示 DataFrame 轉置操作，即行列交換，rename 則可以重命名欄位符合前例。

以下是我們可以對 DataFrame 執行的幾項重要操作：

欄位選擇。可用 df['A'] 選取單一欄，回傳一個 Series。也可用 df[['B','A']] 選取子欄位集合，回傳另一個 DataFrame。

篩選特定列。比如，留下欄位 A 值大於 5 的列，可寫為 df[df['A']>5]。

注意：篩選是如此工作的。表達式 df['A']<5 回傳布林型 Series，表示 df['A'] 中各元素是否符合條件。當用此布林型 Series 做為索引時，會回傳 DataFrame 的子集列。因此無法用一般 Python 布林表達式，例如 df[df['A']>5 and df['A']<7] 是錯誤的。應使用布林 Series 的特殊 & 運算，寫為 df[(df['A']>5) & (df['A']<7)]（括號很重要）。

建立新的可計算欄位。我們可以用直覺式表達式輕鬆建立新欄位：

df['DivA'] = df['A']-df['A'].mean()

此範例計算欄位 A 相對其均值的偏差。實際上，我們先計算一個 Series，再將其指派給左邊的欄位，新增一欄。因此不可用與 Series 不相容的操作，否則會錯誤，例如下例：

# 錯誤的程式碼 -> df['ADescr'] = "Low" if df['A'] < 5 else "Hi"
df['LenB'] = len(df['B']) # <- 錯誤的結果

這個例子雖語法正確，但結果錯誤，因為它將欄位 B 的整體長度指派給所有列，而非意圖的各元素長度。

如果需計算較複雜的表達式，可用 apply 函數。之前例子也可改寫為：

df['LenB'] = df['B'].apply(lambda x : len(x))
# 或者
df['LenB'] = df['B'].apply(len)

執行上述操作後，我們得到以下 DataFrame：

	A	B	DivA	LenB
0	1	I	-4.0	1
1	2	like	-3.0	4
2	3	to	-2.0	2
3	4	use	-1.0	3
4	5	Python	0.0	6
5	6	and	1.0	3
6	7	Pandas	2.0	6
7	8	very	3.0	4
8	9	much	4.0	4

依照列號選取列可用 iloc。例如，選取前 5 列：

df.iloc[:5]

分組常用於得到類似 Excel 中 樞紐分析表 的效果。假設想計算欄位 A 於每個 LenB 群組的平均值，可對 DataFrame 依 LenB 分組，再呼叫 mean：

df.groupby(by='LenB')[['A','DivA']].mean()

若同時計算群組數量與平均值，可用較複雜的 aggregate 函數：

df.groupby(by='LenB') \
 .aggregate({ 'DivA' : len, 'A' : lambda x: x.mean() }) \
 .rename(columns={ 'DivA' : 'Count', 'A' : 'Mean'})

結果會得到這張表：

LenB	Count	Mean
1	1	1.000000
2	1	3.000000
3	2	5.000000
4	3	6.333333
6	2	6.000000

獲取資料

我們已經看到了從 Python 物件構造 Series 和 DataFrames 是多麼簡單。然而，資料通常以文字檔案或 Excel 表格的形式出現。幸運的是，Pandas 提供了從磁盤加載資料的簡單方法。例如，讀取 CSV 檔案就像這樣簡單：

df = pd.read_csv('file.csv')

我們將在「挑戰」部分看到更多載入資料的範例，包括從外部網站抓取資料

列印與繪圖

資料科學家經常需要探索資料，因此能夠視覺化資料非常重要。當 DataFrame 很大時，很多時候我們只想確保所有操作正確無誤，這時候可以只列印出前幾行。這可以透過調用 df.head() 來完成。如果你是在 Jupyter Notebook 中運行，會以漂亮的表格形式印出 DataFrame。

我們也看到了使用 plot 函數來視覺化部分欄位。雖然 plot 對許多任務很有用，並且支持透過 kind= 參數繪製多種不同的圖形類型，但你也可以使用原生 matplotlib 函式庫來繪出更複雜的圖形。我們會在單獨的課程中詳細講解資料視覺化。

本概述涵蓋了 Pandas 最重要的概念，不過這個函式庫功能非常豐富，幾乎沒有你不能做到的事情！現在讓我們運用這些知識來解決特定問題。

🚀 挑戰 1：分析 COVID 傳播

我們首個關注的問題是模擬 COVID-19 流行病的傳播。為此，我們將使用由約翰霍普金斯大學的系統科學與工程中心（CSSE）提供的不同國家感染者人數資料。資料集可在這個 GitHub 倉庫取得。

因為我們想示範如何處理資料，邀請你打開 notebook-covidspread.ipynb 並從頭到尾閱讀。你也可以執行其中的程式碼區塊，並完成我們在最後留給你的挑戰。

如果你不知道如何在 Jupyter Notebook 中執行程式碼，請參考這篇文章。

處理非結構化資料

雖然資料往往以表格形式出現，但在某些情況下，我們需要處理較不結構化的資料，例如文字或圖片。在這種情況下，要應用上述資料處理技術，我們需要以某種方式擷取結構化的資料。以下是幾個範例：

從文字中擷取關鍵字，並統計這些關鍵字出現的頻率
使用神經網絡擷取圖片中物件的資訊
獲取影片畫面中人們的情緒資訊

🚀 挑戰 2：分析 COVID 論文

在這個挑戰中，我們將繼續探討 COVID 疫情的主題，重點放在處理相關的科學論文。有一個 CORD-19 資料集，截至撰寫時收錄了超過 7000 篇關於 COVID 的論文，並附有元資料與摘要（約一半論文還附有全文）。

使用 Text Analytics for Health 認知服務分析此資料集的完整範例在這篇部落格文章中有說明。我們將討論其簡化版本的分析。

注意：本倉庫中並未提供資料集副本。你可能需要先從 Kaggle 的此資料集下載 metadata.csv 檔案。註冊 Kaggle 可能是必要的。你也可以不需註冊從這裡下載，但裡面包含所有全文以及元資料檔。

打開 notebook-papers.ipynb，從頭到尾閱讀。你也可執行其中的程式碼區塊並完成最後留給你的挑戰。

處理影像資料

近來開發出非常強大的 AI 模型，使我們能夠理解影像。有許多任務可以使用預先訓練的神經網絡或雲端服務來解決。一些範例如下：

影像分類，幫助你將影像分類到預訂的類別中。你也可以使用如 Custom Vision 等服務輕鬆訓練自己的影像分類器
物件偵測，用於辨識影像中的不同物件。像是 computer vision 服務可以偵測多種常見物件，你也可以訓練 Custom Vision 模型來偵測一些特定的關注物件。
臉部偵測，包括年齡、性別和情緒偵測。可透過 Face API 完成。

這些雲端服務皆可使用 Python SDKs 呼叫，因此能輕鬆整合入你的資料探索工作流程。

這裡是一些來自影像資料源探索資料的範例：

在部落格文章如何在不寫程式下學習資料科學中，我們探索 Instagram 照片，嘗試理解什麼因素使人們給照片按讚更多。我們先使用 computer vision 擷取照片中的最多資訊，接著使用 Azure Machine Learning AutoML 建立可解釋的模型。
在 Facial Studies Workshop 中，我們利用 Face API 從活動照片中擷取人物的情緒，試圖理解什麼會讓人快樂。

結論

無論你已有結構化或非結構化資料，使用 Python 你都可以執行所有與資料處理與理解相關的步驟。它可能是最靈活的資料處理方式，這也是大多數資料科學家將 Python 當作主要工具的原因。如果你對資料科學之路抱持認真態度，深入學習 Python 很可能是個好主意！

課後測驗

複習與自學

書籍

Wes McKinney. Python for Data Analysis: Data Wrangling with Pandas, NumPy, and IPython

線上資源

官方 10 分鐘入門 Pandas 教程
Pandas 視覺化文件

學習 Python

用海龜繪圖和分形有趣學 Python
Python 入門第一步學習路徑，發布於 Microsoft Learn

作業

針對上述挑戰進行更細緻的資料研究

致謝

本課程由 Dmitry Soshnikov 用 ♥️ 創作

免責聲明：此文件已使用 AI 翻譯服務 Co-op Translator 進行翻譯。雖然我們努力追求準確性，但請注意自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應視為權威來源。對於關鍵資訊，建議採用專業人工翻譯。我們不對因使用此翻譯所產生的任何誤解或誤譯承擔責任。

19 KiB Raw Permalink Blame History Unescape Escape