การเร ยนร แบบถ ายโอน transfer learning เป นสาขาหน งของการว จ ยการเร ยนร ของเคร อง ท ม งเน นการสะสมความร ท ได ร บในขณะท แ

การเรียนรู้แบบถ่ายโอน (transfer learning) เป็นสาขาหนึ่งของการวิจัยการเรียนรู้ของเครื่อง ที่มุ่งเน้นการสะสมความรู้ที่ได้รับในขณะที่แก้ปัญหาหนึ่งและนำไปใช้กับปัญหาอื่น ๆ ที่เกี่ยวข้อง ตัวอย่างเช่น ความรู้ที่ได้รับในการรู้จำแบบสำหรับรถเก๋ง อาจสามารถนำมาประยุกต์ใช้ในการรู้จำแบบสำหรับรถบรรทุกได้ การวิจัยสาขานี้มีความเชื่อมโยงกับในสาขาจิตวิทยาซึ่งมีประวัติศาสตร์มายาวนาน แต่การเชื่อมโยงในทางปฏิบัติระหว่างทั้งสองสาขานั้นมีข้อจำกัด ในทางปฏิบัติแล้ว การนำมาใช้ซ้ำหรือการถ่ายโอนข้อมูลจากงานที่เรียนรู้ก่อนหน้านี้เพื่อการเรียนรู้งานใหม่อาจช่วยปรับปรุงประสิทธิภาพตัวอย่างของวิธีได้อย่างมีนัยสำคัญ

ภาพวาดประกอบแสดงแนวคิดการเรียนรู้แบบถ่ายโอน

ประวัติศาสตร์

ในปี 1976 สเตโว โบซีนอฟสกี (Stevo Bozinovski) และ อันเต ฟุลโกซี (Ante Fulgosi) ได้ตีพิมพ์บทความที่กล่าวถึงการเรียนรู้แบบถ่ายโอนในการฝึกโครงข่ายประสาทเทียม บทความนี้นำเสนอแบบจำลองทางคณิตศาสตร์และเรขาคณิตของการเรียนรู้แบบถ่ายโอน ในปี 1981 มีรายงานการศึกษาเรื่องโครงข่ายประสาทเทียมโดยการประยุกต์ใช้การเรียนรู้แบบถ่ายโอนกับชุดข้อมูลรูปภาพที่แสดงถึงอักษรบนคอมพิวเตอร์ มีการทดลองการเรียนรู้แบบถ่ายโอนทั้งเชิงบวกและเชิงลบ

ในปี 1992 (Lorien Pratt) ตีพิมพ์บทความเกี่ยวกับการถ่ายโอนในการเรียนรู้ของเครื่อง และกำหนดขั้นตอนวิธีการถ่ายโอนโดยพิจารณาจากความสามารถในการแยกแยะ

แอนดรูว์ อึ่ง เน้นย้ำถึงความสำคัญของการเรียนรู้แบบถ่ายโอนในบทเรียนช่วยสอน NIPS 2016 ของเขา โดยกล่าวว่าถัดจากการเรียนรู้แบบมีผู้สอน การเรียนรู้แบบถ่ายโอนจะเป็นแรงผลักดันเบื้องหลังความสำเร็จเชิงพาณิชย์ของการเรียนรู้ของเครื่อง

อ้างอิง

West, Jeremy; Ventura, Dan; Warnick, Sean (2007). "Spring Research Presentation: A Theoretical Foundation for Inductive Transfer". Brigham Young University, College of Physical and Mathematical Sciences. คลังข้อมูลเก่าเก็บจากแหล่งเดิมเมื่อ 2007-08-01. สืบค้นเมื่อ 2007-08-05.
George Karimpanal, Thommen; Bouffanais, Roland (2019). "Self-organizing maps for storage and transfer of knowledge in reinforcement learning". Adaptive Behavior. 27 (2): 111–126. :1811.08318. doi:10.1177/1059712318818568. ISSN 1059-7123.
Stevo. Bozinovski and Ante Fulgosi (1976). "The influence of pattern similarity and transfer learning upon the training of a base perceptron B2." (original in Croatian) Proceedings of Symposium Informatica 3-121-5, Bled.
Stevo Bozinovski (2020) "Reminder of the first paper on transfer learning in neural networks, 1976". Informatica 44: 291–302.
S. Bozinovski (1981). "Teaching space: A representation concept for adaptive pattern classification." COINS Technical Report, the University of Massachusetts at Amherst, No 81-28 [available online: UM-CS-1981-028.pdf]
Pratt, L. Y. (1992). "Discriminability-based transfer between neural networks" (PDF). NIPS Conference: Advances in Neural Information Processing Systems 5. Morgan Kaufmann Publishers. pp. 204–211.
NIPS 2016 tutorial: "Nuts and bolts of building AI applications using Deep Learning" by Andrew Ng (ภาษาอังกฤษ), สืบค้นเมื่อ 2019-12-28
"NIPS 2016 Schedule". nips.cc. สืบค้นเมื่อ 2019-12-28.
Nuts and bolts of building AI applications using Deep Learning, slides

[1] West, Jeremy; Ventura, Dan; Warnick, Sean (2007). "Spring Research Presentation: A Theoretical Foundation for Inductive Transfer". Brigham Young University, College of Physical and Mathematical Sciences. คลังข้อมูลเก่าเก็บจากแหล่งเดิมเมื่อ 2007-08-01. สืบค้นเมื่อ 2007-08-05.

[2] George Karimpanal, Thommen; Bouffanais, Roland (2019). "Self-organizing maps for storage and transfer of knowledge in reinforcement learning". Adaptive Behavior. 27 (2): 111–126. :1811.08318. doi:10.1177/1059712318818568. ISSN 1059-7123.

[3] Stevo. Bozinovski and Ante Fulgosi (1976). "The influence of pattern similarity and transfer learning upon the training of a base perceptron B2." (original in Croatian) Proceedings of Symposium Informatica 3-121-5, Bled.

[4] Stevo Bozinovski (2020) "Reminder of the first paper on transfer learning in neural networks, 1976". Informatica 44: 291–302.

[5] S. Bozinovski (1981). "Teaching space: A representation concept for adaptive pattern classification." COINS Technical Report, the University of Massachusetts at Amherst, No 81-28 [available online: UM-CS-1981-028.pdf]

[6] Pratt, L. Y. (1992). "Discriminability-based transfer between neural networks" (PDF). NIPS Conference: Advances in Neural Information Processing Systems 5. Morgan Kaufmann Publishers. pp. 204–211.

[7] NIPS 2016 tutorial: "Nuts and bolts of building AI applications using Deep Learning" by Andrew Ng (ภาษาอังกฤษ), สืบค้นเมื่อ 2019-12-28

[8] "NIPS 2016 Schedule". nips.cc. สืบค้นเมื่อ 2019-12-28.

[9] Nuts and bolts of building AI applications using Deep Learning, slides