การประยุกต์ใช้การเรียนรู้แบบเสริมกาลังเพื่อเพิ่มประสิทธิภาพในการจัดการค่าใช้จ่ายในการใช้งานระบบคลาวด์

ระบบคลาวด์คอมพิวติ้งได้กลายเป็นโครงสร้างพื้นฐานหลักขององค์กรหลายแห่ง เนื่องจากสามารถปรับเปลี่ยนการจัดสรรทรัพยากรได้อย่างยืดหยุ่นโดยไม่ต้องลงทุนล่วงหน้ากับฮาร์ดแวร์จริง อย่างไรก็ตาม การจัดสรรทรัพยากรยังคงเป็นปัญหาสำคัญที่ส่งผลให้เกิดการสูญเสียงบประมาณโดยไม่จำเป็น วิธีการที่มีอยู่ในปัจจุบันมักพึ่งพาแผนการประหยัดของผู้ให้บริการคลาวด์ ซึ่งแลกความยืดหยุ่นกับค่าใช้จ่ายที่ถูกลงโดยต้องมีการผูกมัดการใช้งาน หรืออาศัยการจัดตารางด้วยตนเอง ซึ่งไม่เหมาะสมในสภาพแวดล้อมที่ซับซ้อนและมีเครื่องจำนวนมาก งานค้นคว้าอิสระนี้ นำเสนอการใช้เทคนิคการเรียนรู้แบบเสริมกำลัง (Reinforcement Learning) เพื่อแก้ปัญหาดังกล่าว โดยให้ตัวแทน (agent) ทำหน้าที่แทนมนุษย์ในการเรียนรู้และตัดสินใจจัดสรร ให้เหมาะสมกับสถานการณ์ความต้องการใช้งานของผู้ใช้ ผู้วิจัยได้ออกแบบสภาพแวดล้อม (environment) และฟังก์ชันรางวัล (reward function) หลายรูปแบบเพื่อตอบสนองต่อสถานการณ์การใช้งานที่หลากหลาย โดยพิจารณาจากการใช้งานหน่วยประมวลผลกลาง (CPU) ราคาค่าใช้งานเครื่องคอมพิวเตอร์เสมือนต่อชั่วโมง และค่าจ้างแรงงานต่อชั่วโมง ผลการจำลองการใช้งานโมเดลในสถานการณ์ที่แตกต่างกัน แสดงให้เห็นว่า ตัวแทนที่ฝึกในสภาพแวดล้อมแบบที่ 6: Saving Gap Reward สามารถดำเนินการได้อย่างมีประสิทธิภาพเทียบเท่า หรือดีกว่าการใช้แผนการกำหนดราคาตามการใช้งานจริง (On demand pricing) งานวิจัยนี้สรุปด้วยการอภิปรายถึงความเป็นไปได้ในการนำระบบดังกล่าวไปใช้งานจริง เพื่อลดค่าใช้จ่ายด้านโครงสร้างพื้นฐานคลาวด์ ในขณะที่ยังคงความยืดหยุ่นในการใช้งานแบบไม่ผูกมัด