教學機器人 資料科學導論-1

編著: 夏肇毅

初版: 2026/5/10

1.1 資料科學定義與歷史

資料科學是一門結合統計學、計算機科學與領域知識的交叉學科，目的是從大量資料中提取有價值的資訊。其起源可追溯至統計分析與資料挖掘技術的發展。隨著大數據與人工智慧技術的普及，資料科學已廣泛應用於金融、醫療、零售、行銷與工業等領域。資料科學流程包括資料收集、清理、探索分析、建模、驗證及部署。進階實務中還需考慮資料倫理、隱私保護與決策影響。資料科學家的角色不僅是技術執行者，也需具備業務理解與問題解決能力。

1.2 資料科學流程與方法

資料科學流程通常包含五個主要階段：資料收集（Data Acquisition）、資料清理與前處理（Data Cleaning & Preprocessing）、探索性資料分析（EDA）、建模與算法設計（Modeling）、結果解釋與決策支持（Interpretation & Decision Making）。在資料收集階段，需要確保資料完整性與合法性。清理與前處理包括處理缺失值、異常值、資料轉換與標準化。探索性分析使用統計圖表、描述性統計與相關性分析揭示資料特性。建模階段可使用回歸、分類、聚類、降維等算法，並透過交叉驗證與參數調整提高模型性能。最終結果需與業務目標結合，提出可操作的決策建議。

1.3 資料類型與來源

資料科學處理的資料類型多樣，包括結構化資料（如關聯式資料庫）、非結構化資料（如文字、圖片、影片）、半結構化資料（如JSON、XML）。資料來源可以是企業內部系統（ERP、CRM）、公共資料集、感測器與物聯網裝置、社群媒體或網頁爬蟲。進階實務中需考慮資料可靠性、更新頻率及存取權限，並對不同來源資料進行整合、標準化與清理，確保資料分析與模型建立的正確性與有效性。

1.4 資料科學應用案例

資料科學在各行各業的應用極為廣泛。金融領域可用於風險管理、詐欺偵測與投資策略；醫療領域應用於疾病預測、臨床決策與個人化治療；零售與行銷領域可用於顧客行為分析、推薦系統及庫存管理；工業與物聯網領域可用於設備預測維護與生產優化。進階應用中還可結合機器學習、深度學習與自然語言處理技術，進行自動化決策與智慧化分析，將資料價值轉化為業務優勢。

1.5 描述性統計

描述性統計用於總結與描述資料特性，包括集中趨勢（平均數、中位數、眾數）、離散程度（變異數、標準差、四分位距）、分布形態（偏態、峰度）及資料可視化（直方圖、箱線圖、散點圖）。這些工具可幫助資料科學家快速理解資料特性、檢測異常值及評估資料分布情況。進階實務中還需針對不同資料類型選擇適合的統計指標與可視化方法，例如類別資料可使用頻率分布表、條形圖或圓餅圖。有效的描述性統計是後續建模與分析的基礎。

1.6 機率與隨機變數

機率是資料科學的核心理論，用於描述事件發生的不確定性。隨機變數（Random Variable）分為離散與連續型，可透過機率質量函數（PMF）或機率密度函數（PDF）表示其分布。進階實務中還需理解期望值、變異數、共變異數及相關性，這些指標可量化資料間的關聯性。機率理論支撐統計推論、假設檢定、貝葉斯分析與機器學習算法設計，使資料科學家能基於有限資料作出合理預測與決策。

1.7 常用分布模型

資料科學中常用分布包括常態分布（Normal Distribution）、二項分布（Binomial Distribution）、泊松分布（Poisson Distribution）、指數分布（Exponential Distribution）及卡方分布（Chi-square Distribution）。這些分布模型可用於描述資料特性、估計參數及進行假設檢定。進階實務中需根據資料型態選擇適合分布模型，並透過機率圖、Q-Q圖或統計檢定評估擬合效果。掌握分布模型是統計推論與機器學習建模的重要基礎。

1.8 假設檢定與推論

假設檢定用於評估資料是否支持特定假設，包括單樣本t檢定、雙樣本t檢定、卡方檢定、ANOVA等。進階實務中需設定顯著性水平（α）、選擇適合檢定方法、計算p值、評估檢定力並解釋結果。統計推論還包括估計參數區間（Confidence Interval）、樣本與母體推論及貝葉斯推論。正確應用假設檢定與推論有助於資料科學家從樣本資料推廣至整體情況，支持科學決策。