ตัวเข้ารหัสอัตโนมัติ (autoencoder) เป็นขั้นตอนวิธีสำหรับการลดมิติโดยใช้โครงข่ายประสาทเทียมในการเรียนรู้ของเครื่อง วิธีนี้ถูกเสนอครั้งแรกโดยเจฟฟรีย์ ฮินตันในปี 2006
ภาพรวม
ตัวเข้ารหัสอัตโนมัติเป็นโครงข่ายประสาทเทียมสามชั้นที่ทำการเรียนรู้แบบไม่มีผู้สอนโดยใช้ข้อมูลเดียวกันสำหรับชั้นป้อนเข้าและชั้นขาออก เมื่อข้อมูลการฝึกเป็นมูลค่าจริงและไม่มีการแบ่งเป็นช่วง ฟังก์ชันกระตุ้นของชั้นขาออกมักจะถูกเลือกเป็นฟังก์ชันเอกลักษณ์ (นั่นคือชั้นขาออกเป็นการแปลงเชิงเส้น) หากเราเลือกใช้ฟังก์ชันเอกลักษณะเป็นฟังก์ชันกระตุ้นของชั้นตรงกลาง ผลลัพธ์จะแทบไม่ต่างจาก ในทางปฏิบัติวิธีนี้สามารถใช้เพื่อทำโดยพิจารณาความแตกต่างระหว่างค่าข้อมูลป้อนเข้าและข้อมูลขาออก
ลักษณะเด่นและข้อจำกัด
ตัวเข้ารหัสอัตโนมัติได้รับการออกแบบให้มีคุณสมบัติที่จำเป็นสำหรับการลดมิติ
โครงสร้างภายในตัวเข้ารหัสอัตโนมัติถูกออกแบบให้จำนวนขนาดของชั้นที่ซ่อนอยู่ มีขนาดเล็กกว่าจำนวนของชั้นป้อนเข้าและชั้นขาออก เนื่องจากว่าถ้าหาก แล้ว ตัวเข้ารหัสอัตโนมัติจะสามารถทำให้ผิดพลาดในการสร้างใหม่เป็นศูนย์ได้โดยใช้เพียงการแปลงเอกลักษณ์เท่านั้น
ตัวเข้ารหัสอัตโนมัติสามารถทำการลดมิติข้อมุลลง แต่ไม่ได้หมายความว่าจะสามารถใช้เป็นที่ดีเสมอไป การลดค่า ลงจะทำให้คงไว้แค่ค่าลักษณะที่มีปริมาณข้อมูลมากภายในค่าป้อนเข้า เรียกว่าเป็น
ทฤษฎี
ได้มีการวิเคราะห์ทางทฤษฎีถึงเหตุผลที่การเข้ารหัสอัตโนมัติสามารถเรียนรู้การสร้างใหม่พร้อมทั้งทำการลดมิติได้
โครงข่ายตัวเข้ารหัสอัตโนมัติ ประกอบขึ้นจากโครงข่ายตัวเข้ารหัส และโครงข่ายตัวถอดรหัส ในการตีความเชิงกำหนด AE จะให้ข้อมูลที่สร้างขึ้นใหม่จากข้อมูลขาเข้าที่ป้อนเข้าไปโดยตรง นั่นคือ
การตีความเชิงความน่าจะเป็น
ตัวเข้ารหัสอัตโนมัติถือได้ว่าเป็นแบบจำลองตัวแปรแฝงเชิงลึกประเภทหนึ่งจากมุมมองของ แบบจำลองความน่าจะเป็น และสามารถเขียนเป็นสูตรได้ดังต่อไปนี้
นั่นคือสามารถอธิบายได้ว่า จะให้ค่าพารามิเตอร์การแจกแจง และได้ค่า โดยการแจกแจง เมื่อใช้ ร่วมกันภายในตัวเข้ารหัสอัตโนมัติสามารถแสดงได้ในรูปนิพจน์ความน่าจะเป็นดังต่อไปนี้:
ต่าง ๆ รวมถึง (MSE, L2) ถูกนำมาใช้เชิงประจักษ์ (จากมุมมองที่กำหนด) สำหรับการเรียนรู้ของตัวเข้ารหัสอัตโนมัติ ผลที่ได้เป็นเพียงเชิงประจักษ์และไม่อาจรับประกันได้ว่าการเรียนรู้จะสิ้นสุดโดยลู่เข้าเสมอไป
แบบจำลองการแจกแจงแบบปรกติความแปรปรวนคงที่
เมื่อพิจารณาการแจกแจงแบบปกติที่มีความแปรปรวนคงที่ ค่าลบของลอการิทึมภาวะน่าจะเป็น จะได้เป็น:
ซึ่งสามารถตีความได้ว่าเป็นค่าคลาดเคลื่อนกำลังสองของ และ นั่นคือการทำให้ค่าลบของลอการิทึมภาวะน่าจะเป็นของ มีค่าต่ำสุด ถือได้ว่าเทียบเท่ากับการทำให้ค่าคลาดเคลื่อนกำลังสองของ มีค่าต่ำสุด กล่าวอีกนัยหนึ่งคือ แบบจำลองการเข้ารหัสอัตโนมัติที่ได้รับการฝึกให้เรียนรู้โดยมีค่าคลาดเคลื่อนกำลังสองสามารถมองได้ว่าเป็น แบบจำลองสุ่มตัวอย่างค่าความถี่สูงสุดจากการแจกแจงแบบปรกติความแปรปรวนคงที่ซึ่งถูกประมาณว่าภาวะน่าจะเป็นสูงสุด
อ้างอิง
- Geoffrey E. Hinton; R. R. Salakhutdinov (2006-07-28). "Reducing the Dimensionality of Data with Neural Networks" (PDF). Science. 313 (5786): 504–507.
- "autoencoder where Y is of the same dimensionality as X (or larger) can achieve perfect reconstruction simply by learning an identity mapping." Vincent. (2010). Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion.
- "The criterion that representation Y should retain information about input X is not by itself sufficient to yield a useful representation." Vincent. (2010). Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion.
- "a deterministic mapping from X to Y, that is, ... equivalently ... The deterministic mapping that transforms an input vector into hidden representation is called the encoder." Vincent. (2010). Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion.
- ". This mapping is called the decoder. ... In general is not to be interpreted as an exact reconstruction of , but rather in probabilistic terms as the parameters (typically the mean) of a distribution " Vincent. (2010). Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion.
- " is called the decoder ... ... associated loss function ... ... This yields ... This is the squared error objective found in most traditional autoencoders." Vincent. (2010). Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion.
wikipedia, แบบไทย, วิกิพีเดีย, วิกิ หนังสือ, หนังสือ, ห้องสมุด, บทความ, อ่าน, ดาวน์โหลด, ฟรี, ดาวน์โหลดฟรี, mp3, วิดีโอ, mp4, 3gp, jpg, jpeg, gif, png, รูปภาพ, เพลง, เพลง, หนัง, หนังสือ, เกม, เกม, มือถือ, โทรศัพท์, Android, iOS, Apple, โทรศัพท์โมบิล, Samsung, iPhone, Xiomi, Xiaomi, Redmi, Honor, Oppo, Nokia, Sonya, MI, PC, พีซี, web, เว็บ, คอมพิวเตอร์
twekharhsxtonmti autoencoder epnkhntxnwithisahrbkarldmitiodyichokhrngkhayprasathethiyminkareriynrukhxngekhruxng withinithukesnxkhrngaerkodyecffriy hintninpi 2006phaphrwmtwekharhsxtonmtiepnokhrngkhayprasathethiymsamchnthithakareriynruaebbimmiphusxnodyichkhxmulediywknsahrbchnpxnekhaaelachnkhaxxk emuxkhxmulkarfukepnmulkhacringaelaimmikaraebngepnchwng fngkchnkratunkhxngchnkhaxxkmkcathukeluxkepnfngkchnexklksn nnkhuxchnkhaxxkepnkaraeplngechingesn hakeraeluxkichfngkchnexklksnaepnfngkchnkratunkhxngchntrngklang phllphthcaaethbimtangcak inthangptibtiwithinisamarthichephuxthaodyphicarnakhwamaetktangrahwangkhakhxmulpxnekhaaelakhxmulkhaxxklksnaednaelakhxcakdtwekharhsxtonmtiidrbkarxxkaebbihmikhunsmbtithicaepnsahrbkarldmiti okhrngsrangphayintwekharhsxtonmtithukxxkaebbihcanwnkhnadkhxngchnthisxnxyu dm displaystyle d m mikhnadelkkwacanwnkhxngchnpxnekhaaelachnkhaxxk di o displaystyle d i o enuxngcakwathahak di o dm displaystyle d i o leqq d m aelw twekharhsxtonmticasamarththaihphidphladinkarsrangihmepnsunyidodyichephiyngkaraeplngexklksnethann twekharhsxtonmtisamarththakarldmitikhxmullng aetimidhmaykhwamwacasamarthichepnthidiesmxip karldkha dm displaystyle d m lngcathaihkhngiwaekhkhalksnathimiprimankhxmulmakphayinkhapxnekha eriykwaepnthvsdiidmikarwiekhraahthangthvsdithungehtuphlthikarekharhsxtonmtisamartheriynrukarsrangihmphrxmthngthakarldmitiid okhrngkhaytwekharhsxtonmti AEϕ 8 x displaystyle AE phi theta x prakxbkhuncakokhrngkhaytwekharhs NNϕ x displaystyle NN phi x aelaokhrngkhaytwthxdrhs NN8 x displaystyle NN theta x inkartikhwamechingkahnd AE caihkhxmulthisrangkhunihmcakkhxmulkhaekhathipxnekhaipodytrng nnkhux x AEϕ 8 x NN8 NNϕ x displaystyle hat x AE phi theta x NN theta NN phi x kartikhwamechingkhwamnacaepn twekharhsxtonmtithuxidwaepnaebbcalxngtwaepraefngechinglukpraephthhnungcakmummxngkhxng aebbcalxngkhwamnacaepn aelasamarthekhiynepnsutriddngtxipni z x pϕ Z X p Z l NNϕ X d Z NNϕ X x z p8 X Z p X m NN8 Z displaystyle begin aligned z x sim p phi Z X amp p Z lambda NN phi X delta Z NN phi X hat x z sim p theta hat X Z amp p hat X mu NN theta Z end aligned nnkhuxsamarthxthibayidwa NNϕ x NN8 x displaystyle NN phi x NN theta x caihkhapharamietxrkaraeckaecng l m displaystyle lambda mu aelaidkha z x displaystyle z hat x odykaraeckaecng emuxich NNϕ x NN8 x displaystyle NN phi x NN theta x rwmknphayintwekharhsxtonmtisamarthaesdngidinrupniphcnkhwamnacaepndngtxipni x x p X m AEϕ 8 X displaystyle hat x x sim p hat X mu AE phi theta X tang rwmthung MSE L2 thuknamaichechingpracks cakmummxngthikahnd sahrbkareriynrukhxngtwekharhsxtonmti phlthiidepnephiyngechingpracksaelaimxacrbpraknidwakareriynrucasinsudodyluekhaesmxip aebbcalxngkaraeckaecngaebbprktikhwamaeprprwnkhngthi emuxphicarnakaraeckaecngaebbpktithimikhwamaeprprwnkhngthi N X m8 s displaystyle N X mu theta sigma khalbkhxnglxkarithumphawanacaepn Ln 8 displaystyle L n theta caidepn Ln 8 x m8 22s2 log 2ps2 x m8 2 displaystyle L n theta frac x mu theta 2 2 sigma 2 log sqrt 2 pi sigma 2 propto x mu theta 2 sungsamarthtikhwamidwaepnkhakhladekhluxnkalngsxngkhxng x displaystyle x aela m8 displaystyle mu theta nnkhuxkarthaihkhalbkhxnglxkarithumphawanacaepnkhxng N X m8 AEϕ 8 x s displaystyle N X mu theta AE phi theta x sigma mikhatasud thuxidwaethiybethakbkarthaihkhakhladekhluxnkalngsxngkhxng x AEϕ 8 x displaystyle hat x AE phi theta x mikhatasud klawxiknyhnungkhux aebbcalxngkarekharhsxtonmtithiidrbkarfukiheriynruodymikhakhladekhluxnkalngsxngsamarthmxngidwaepn aebbcalxngsumtwxyangkhakhwamthisungsudcakkaraeckaecngaebbprktikhwamaeprprwnkhngthisungthukpramanwaphawanacaepnsungsud N X m8 AEϕ 8 x s displaystyle N X mu theta AE phi theta x sigma xangxingGeoffrey E Hinton R R Salakhutdinov 2006 07 28 Reducing the Dimensionality of Data with Neural Networks PDF Science 313 5786 504 507 autoencoder where Y is of the same dimensionality as X or larger can achieve perfect reconstruction simply by learning an identity mapping Vincent 2010 Stacked Denoising Autoencoders Learning Useful Representations in a Deep Network with a Local Denoising Criterion The criterion that representation Y should retain information about input X is not by itself sufficient to yield a useful representation Vincent 2010 Stacked Denoising Autoencoders Learning Useful Representations in a Deep Network with a Local Denoising Criterion a deterministic mapping from X to Y that is equivalently q Y X 8 d Y f8 X displaystyle q Y X theta delta Y f theta X The deterministic mapping f8 displaystyle f theta that transforms an input vector x displaystyle boldsymbol x into hidden representation y displaystyle boldsymbol y is called the encoder Vincent 2010 Stacked Denoising Autoencoders Learning Useful Representations in a Deep Network with a Local Denoising Criterion z g8 y displaystyle boldsymbol z g theta boldsymbol y This mapping g8 displaystyle g theta is called the decoder In general z displaystyle boldsymbol z is not to be interpreted as an exact reconstruction of x displaystyle boldsymbol x but rather in probabilistic terms as the parameters typically the mean of a distribution p X Z z displaystyle p X Z boldsymbol z Vincent 2010 Stacked Denoising Autoencoders Learning Useful Representations in a Deep Network with a Local Denoising Criterion g8 displaystyle g theta is called the decoder Z g8 y displaystyle Z g theta boldsymbol y associated loss function L x z displaystyle L boldsymbol x boldsymbol z X z N z s2I displaystyle X boldsymbol z sim N boldsymbol z boldsymbol sigma 2 boldsymbol I This yields L x z L2 x z C s2 x z 2 displaystyle L boldsymbol x boldsymbol z L 2 boldsymbol x boldsymbol z C sigma 2 boldsymbol x boldsymbol z 2 This is the squared error objective found in most traditional autoencoders Vincent 2010 Stacked Denoising Autoencoders Learning Useful Representations in a Deep Network with a Local Denoising Criterion