|
|
11 months ago | |
|---|---|---|
| .. | ||
| solution | 11 months ago | |
| README.md | 11 months ago | |
| assignment.md | 11 months ago | |
| notebook.ipynb | 11 months ago | |
README.md
ประเภทของข้อมูล
อย่างที่เราได้กล่าวไปแล้ว ข้อมูลมีอยู่ทุกที่ เราแค่ต้องจับมันให้ถูกวิธี! การแยกแยะระหว่าง ข้อมูลที่มีโครงสร้าง และ ข้อมูลที่ไม่มีโครงสร้าง เป็นสิ่งที่มีประโยชน์ ข้อมูลที่มีโครงสร้างมักจะถูกนำเสนอในรูปแบบที่มีโครงสร้างชัดเจน เช่น ตารางหรือหลายตาราง ในขณะที่ข้อมูลที่ไม่มีโครงสร้างเป็นเพียงชุดของไฟล์ บางครั้งเรายังสามารถพูดถึง ข้อมูลกึ่งโครงสร้าง ซึ่งมีโครงสร้างบางส่วนที่อาจแตกต่างกันไปอย่างมาก
| มีโครงสร้าง | กึ่งโครงสร้าง | ไม่มีโครงสร้าง |
|---|---|---|
| รายชื่อคนพร้อมเบอร์โทรศัพท์ของพวกเขา | หน้าของ Wikipedia พร้อมลิงก์ | ข้อความของสารานุกรม Britannica |
| อุณหภูมิในทุกห้องของอาคารในทุกนาทีตลอด 20 ปีที่ผ่านมา | ชุดบทความวิชาการในรูปแบบ JSON พร้อมผู้เขียน วันที่เผยแพร่ และบทคัดย่อ | ไฟล์แชร์ที่มีเอกสารขององค์กร |
| ข้อมูลอายุและเพศของทุกคนที่เข้ามาในอาคาร | หน้าเว็บ | วิดีโอสดจากกล้องวงจรปิด |
แหล่งข้อมูล
มีแหล่งข้อมูลมากมาย และคงเป็นไปไม่ได้ที่จะระบุทั้งหมด! อย่างไรก็ตาม เรามาพูดถึงสถานที่ทั่วไปที่คุณสามารถหาข้อมูลได้:
- ข้อมูลที่มีโครงสร้าง
- Internet of Things (IoT) รวมถึงข้อมูลจากเซ็นเซอร์ต่าง ๆ เช่น เซ็นเซอร์อุณหภูมิหรือแรงดัน ซึ่งให้ข้อมูลที่มีประโยชน์มากมาย ตัวอย่างเช่น หากอาคารสำนักงานติดตั้งเซ็นเซอร์ IoT เราสามารถควบคุมการทำความร้อนและแสงสว่างโดยอัตโนมัติเพื่อลดค่าใช้จ่าย
- แบบสำรวจ ที่เราขอให้ผู้ใช้กรอกหลังการซื้อสินค้าหรือหลังการเยี่ยมชมเว็บไซต์
- การวิเคราะห์พฤติกรรม เช่น การเข้าใจว่าผู้ใช้เข้าไปในเว็บไซต์ลึกแค่ไหน และเหตุผลทั่วไปที่ทำให้ผู้ใช้ออกจากเว็บไซต์
- ข้อมูลที่ไม่มีโครงสร้าง
- ข้อความ สามารถเป็นแหล่งข้อมูลที่อุดมไปด้วยข้อมูลเชิงลึก เช่น คะแนนความรู้สึกโดยรวม หรือการดึงคำสำคัญและความหมายเชิงความหมาย
- ภาพ หรือ วิดีโอ วิดีโอจากกล้องวงจรปิดสามารถใช้ประเมินการจราจรบนถนน และแจ้งเตือนผู้คนเกี่ยวกับการจราจรติดขัด
- Logs ของเซิร์ฟเวอร์เว็บสามารถใช้เพื่อเข้าใจว่าหน้าใดของเว็บไซต์ที่มีการเยี่ยมชมบ่อยที่สุด และใช้เวลานานแค่ไหน
- ข้อมูลกึ่งโครงสร้าง
- กราฟเครือข่ายสังคม สามารถเป็นแหล่งข้อมูลที่ดีเกี่ยวกับบุคลิกภาพของผู้ใช้และประสิทธิภาพในการเผยแพร่ข้อมูล
- เมื่อเรามีภาพถ่ายจำนวนมากจากงานปาร์ตี้ เราสามารถลองดึงข้อมูล พลวัตของกลุ่ม โดยการสร้างกราฟของคนที่ถ่ายภาพร่วมกัน
เมื่อรู้แหล่งข้อมูลที่เป็นไปได้ต่าง ๆ คุณสามารถลองคิดถึงสถานการณ์ต่าง ๆ ที่เทคนิควิทยาศาสตร์ข้อมูลสามารถนำไปใช้เพื่อเข้าใจสถานการณ์ได้ดีขึ้น และปรับปรุงกระบวนการทางธุรกิจ
สิ่งที่คุณสามารถทำได้กับข้อมูล
ในวิทยาศาสตร์ข้อมูล เรามุ่งเน้นไปที่ขั้นตอนต่าง ๆ ของการเดินทางของข้อมูล:
แน่นอนว่า ขึ้นอยู่กับข้อมูลจริง บางขั้นตอนอาจหายไป (เช่น เมื่อเรามีข้อมูลอยู่ในฐานข้อมูลแล้ว หรือเมื่อเราไม่จำเป็นต้องฝึกโมเดล) หรือบางขั้นตอนอาจถูกทำซ้ำหลายครั้ง (เช่น การประมวลผลข้อมูล)
การแปลงเป็นดิจิทัลและการเปลี่ยนแปลงทางดิจิทัล
ในทศวรรษที่ผ่านมา ธุรกิจหลายแห่งเริ่มเข้าใจถึงความสำคัญของข้อมูลในการตัดสินใจทางธุรกิจ เพื่อใช้หลักการวิทยาศาสตร์ข้อมูลในการดำเนินธุรกิจ สิ่งแรกที่ต้องทำคือรวบรวมข้อมูลบางอย่าง กล่าวคือ แปลงกระบวนการทางธุรกิจให้อยู่ในรูปแบบดิจิทัล ซึ่งเรียกว่า การแปลงเป็นดิจิทัล การใช้เทคนิควิทยาศาสตร์ข้อมูลกับข้อมูลนี้เพื่อเป็นแนวทางในการตัดสินใจสามารถนำไปสู่การเพิ่มประสิทธิภาพอย่างมาก (หรือแม้กระทั่งการเปลี่ยนแปลงธุรกิจ) ซึ่งเรียกว่า การเปลี่ยนแปลงทางดิจิทัล
ลองพิจารณาตัวอย่าง สมมติว่าเรามีหลักสูตรวิทยาศาสตร์ข้อมูล (เช่นหลักสูตรนี้) ที่เราสอนออนไลน์ให้กับนักเรียน และเราต้องการใช้วิทยาศาสตร์ข้อมูลเพื่อปรับปรุงหลักสูตร เราจะทำได้อย่างไร?
เราสามารถเริ่มต้นด้วยการถามว่า "อะไรที่สามารถแปลงเป็นดิจิทัลได้?" วิธีที่ง่ายที่สุดคือการวัดเวลาที่นักเรียนแต่ละคนใช้ในการทำแต่ละโมดูลให้เสร็จ และวัดความรู้ที่ได้รับโดยการให้แบบทดสอบแบบเลือกตอบหลังจากแต่ละโมดูล โดยการเฉลี่ยเวลาที่ใช้ในการทำโมดูลให้เสร็จในหมู่นักเรียนทั้งหมด เราสามารถค้นหาได้ว่าโมดูลใดที่ทำให้นักเรียนมีความยากลำบากมากที่สุด และทำงานเพื่อทำให้มันง่ายขึ้น คุณอาจแย้งว่าวิธีนี้ไม่ใช่วิธีที่เหมาะสมที่สุด เพราะโมดูลอาจมีความยาวต่างกัน อาจจะยุติธรรมกว่าถ้าแบ่งเวลาโดยพิจารณาจากความยาวของโมดูล (ในจำนวนตัวอักษร) แล้วเปรียบเทียบค่าที่ได้แทน เมื่อเราเริ่มวิเคราะห์ผลของการทดสอบแบบปรนัย เราสามารถพยายามระบุแนวคิดที่นักเรียนมีปัญหาในการทำความเข้าใจ และใช้ข้อมูลนั้นเพื่อปรับปรุงเนื้อหาได้ ในการทำเช่นนั้น เราจำเป็นต้องออกแบบการทดสอบในลักษณะที่แต่ละคำถามเชื่อมโยงกับแนวคิดหรือส่วนความรู้เฉพาะ
หากเราต้องการวิเคราะห์ในเชิงลึกยิ่งขึ้น เราสามารถวางแผนเปรียบเทียบเวลาที่ใช้ในแต่ละโมดูลกับกลุ่มอายุของนักเรียนได้ เราอาจพบว่าในบางกลุ่มอายุใช้เวลานานเกินไปในการทำโมดูลให้เสร็จ หรือว่านักเรียนบางคนเลิกเรียนก่อนที่จะทำโมดูลเสร็จ ข้อมูลนี้สามารถช่วยให้เราแนะนำอายุที่เหมาะสมสำหรับโมดูล และลดความไม่พอใจของผู้เรียนที่เกิดจากความคาดหวังที่ไม่ตรงกัน
🚀 ความท้าทาย
ในความท้าทายนี้ เราจะพยายามค้นหาแนวคิดที่เกี่ยวข้องกับสาขาวิทยาศาสตร์ข้อมูล (Data Science) โดยการดูจากข้อความ เราจะนำบทความจาก Wikipedia เกี่ยวกับวิทยาศาสตร์ข้อมูลมาดาวน์โหลดและประมวลผลข้อความ จากนั้นสร้างแผนภาพคำ (Word Cloud) เช่นตัวอย่างนี้:
ไปที่ notebook.ipynb เพื่ออ่านโค้ด คุณยังสามารถรันโค้ดและดูว่ามันทำการแปลงข้อมูลแบบเรียลไทม์ได้อย่างไร
หากคุณไม่ทราบวิธีการรันโค้ดใน Jupyter Notebook ลองดู บทความนี้
แบบทดสอบหลังการบรรยาย
งานที่ได้รับมอบหมาย
- งานที่ 1: แก้ไขโค้ดด้านบนเพื่อค้นหาแนวคิดที่เกี่ยวข้องกับสาขา Big Data และ Machine Learning
- งานที่ 2: คิดเกี่ยวกับสถานการณ์ในวิทยาศาสตร์ข้อมูล
เครดิต
บทเรียนนี้ถูกเขียนขึ้นด้วย ♥️ โดย Dmitry Soshnikov
ข้อจำกัดความรับผิดชอบ:
เอกสารนี้ได้รับการแปลโดยใช้บริการแปลภาษา AI Co-op Translator แม้ว่าเราจะพยายามให้การแปลมีความถูกต้องมากที่สุด แต่โปรดทราบว่าการแปลอัตโนมัติอาจมีข้อผิดพลาดหรือความไม่ถูกต้อง เอกสารต้นฉบับในภาษาดั้งเดิมควรถือเป็นแหล่งข้อมูลที่เชื่อถือได้ สำหรับข้อมูลที่สำคัญ ขอแนะนำให้ใช้บริการแปลภาษามืออาชีพ เราไม่รับผิดชอบต่อความเข้าใจผิดหรือการตีความผิดที่เกิดจากการใช้การแปลนี้
