Data Factory คืออะไร

Data Factory หรือ Azure Data Factory เป็นบริการบนคลาวด์ที่ช่วยสร้าง จัดการ ตรวจสอบ และดูแลการจัดการข้อมูลที่ให้เราสามารถจัดการและดำเนินการแปลงข้อมูลขนาดใหญ่ ในการประมวลผลแบบคลาวด์ ได้อย่างมีประสิทธิภาพ ข้อมูลจะถูกเก็บในที่ต่างๆ บน Azure รวมถึง Azure Data Lake Storage, Azure Blob Storage, Azure SQL Data Warehouse, และอื่นๆ อีกมากมาย ทั้ง Cloud และ On-Premise
Data Factory ช่วยให้คุณสามารถสร้างสรุป, จัดการ, และวางแผนการทำงานสำหรับข้อมูลขนาดใหญ่ คุณสามารถสร้างกระบวนการ ETL (Extract, Transform, Load) และผสานความสามารถของ Power Query และ Dataflow ในการทำงานได้อีกด้วย

Source : Microsoft

Data Factory ทำงานอย่างไร

Data Factory มีกระบวนการทำงานในหลาย ๆ ส่วน แยกได้ดังนี้

• Ingest สามารถเชื่อมโยงไปยัง Data Source ต่าง ๆ ได้มากมายทั้ง Cloud และ On-Premise
• Control Flow สามารถกำหนดควบคุม สั่งการ กำหนดเงื่อนไขในการทำ Workflow ได้
• Data Flow ออกแบบกระบวนการงาน ETL ได้แบบ Visual
• Schedule กำหนดเวลาในการทำงานได้
• Monitor ติดตามการดำเนินงานของ Flow ได้ พร้อมมีการแจ้งเตือนได้

การใช้งาน Data Factory ใน Microsoft Fabric

หากใช้งาน Fabric แล้วจะมีคำสั่ง เพื่อมายังหน้าจอของ Data Factory ตามภาพนี้

Data Factory เป็นส่วนหนึ่งของ Microsoft Fabric

Data Factory เป็นส่วนหนึ่งของ Microsoft Fabric ที่เป็นโซลูชันเพื่อการวิเคราะห์ข้อมูล (Data) ครบวงจร ระดับองค์กร ที่ให้ความสามารถในการจัดการทุกๆ หน้าที่ที่เกี่ยวข้องกับข้อมูลทั้งหมด ในองค์กร

ตัวอย่าง ความสามารถของ Data Factory

1. สามารถเชื่อมต่อและเข้าถึงข้อมูลจากแหล่งที่หลากหลาย
2. ทำการแปลงและดำเนินการกับข้อมูลโดยใช้ภาษาที่คุณคุ้นเคย เช่น SQL, Python, หรือ Scala
3. ทำการจัดการข้อมูลและสร้างกระบวนการประมวลผลข้อมูลขนาดใหญ่ในที่เก็บข้อมูลบนคลาวด์
4. ประมวลผลและโหลดข้อมูลลงใน Data Warehouse เพื่อการวิเคราะห์ข้อมูล
5. สร้างและตรวจสอบข้อมูลจากกระบวนการจัดการข้อมูลและเข้าถึง insights ที่สำคัญจากข้อมูลในแบบ real-time
6. Data Factory เป็นเครื่องมือที่มีประสิทธิภาพสำหรับการจัดการและการประมวลผลข้อมูลขนาดใหญ่ในการประมวลผลแบบคลาวด์

Data Factory สามารถทำงานกับ Dataflow ได้

Data Factory สามารถสร้าง Dataflow ซึ่งเป็นความสามารถทำการ ETL (Extract Transform Load) ข้อมูล มีความคล้าย Power Query ที่อยู่ใน Power BI Desktop ทำให้คนที่เคยใช้งาน Power BI อยู่แล้วสามารถใช้งานได้ไม่ยาก และยังมี User Interface (UI) ที่น่าใช้งานอีกด้วย

ตัวอย่าง Data Factory สำหรับธุรกิจ

1. ค้าปลีก ธุรกิจค้าปลีกสามารถใช้ Data Factory เพื่อรวมข้อมูลจากแหล่งต่างๆ เช่นระบบจุดขาย, แพลตฟอร์มการช็อปปิ้งออนไลน์, การติชมจากลูกค้า, และสื่อสังคม ข้อมูลที่รวมนี้สามารถนำมาใช้ในการสร้างภาพรวมในพฤติกรรมและความชอบของลูกค้าซึ่งสามารถแนะนำแผนการตลาดและการขาย
2. การดูแลสุขภาพ องค์กรด้านสุขภาพสามารถใช้ Data Factory เพื่อทำกระบวนการรวมข้อมูลผู้ป่วยจากระบบต่างๆ (เช่น EMR, HMS เป็นต้น) และแปลงเป็นรูปแบบที่เหมาะสมสำหรับการวิเคราะห์ขั้นสูง ข้อมูลที่ได้จากการวิเคราะห์นี้สามารถช่วยปรับปรุงการดูแลผู้ป่วยและประสิทธิภาพการดำเนินงาน
3. การเงิน สถาบันการเงินสามารถใช้ Data Factory เพื่อย้ายและแปลงปริมาณข้อมูลธุรกรรมที่ใหญ่สำหรับการวิเคราะห์ความเสี่ยง, ตรวจจับการฉ้อโกง, และการรายงานตามกฎหมาย การนำมาซึ่งผลที่แม่นยำมากขึ้นและการตัดสินใจที่เร็วขึ้นทำให้สามารถจัดการความเสี่ยงและปฏิบัติตามข้อกำหนดทางกฎหมายได้ดียิ่งขึ้น
4. การผลิต บริษัทการผลิตสามารถใช้ Data Factory เพื่อรวมข้อมูลจากส่วนต่างๆ ของการดำเนินงานของเขาเช่นการผลิต, การจัดการโซ่อุปทาน, และการขาย การดูทั้งหมดทำให้บริษัทสามารถระบุปัญหา ปรับปรุงกระบวนการ และทำนายความต้องการอย่างแม่นยำได้มากขึ้น

แนะนำ Data Factory โดย 9Expert Training จาก Live ที่ผ่านมา