การฝ งคำ word embedding เป นคำเร ยกรวมว ธ การสร างแบบจำลองภาษา และว ธ การเร ยนร ของเคร องในการประมวลภาษาธรรมชาต โดยแปลงค

การฝังคำ (word embedding) เป็นคำเรียกรวมวิธีการสร้างแบบจำลองภาษา และวิธีการเรียนรู้ของเครื่องในการประมวลภาษาธรรมชาติ โดยแปลงคำหรือวลีให้อยู่ในจำนวนจริง ในทางคณิตศาสตร์ทำการแปลงข้อมูลจากปริภูมิที่มีจำนวนมิติเท่ากับจำนวนคำไปสู่ปริภูมิเวกเตอร์ที่มีจำนวนมิติน้อยกว่ามาก

วิธีการสร้างแผนจับโยงนี้ได้แก่ โครงข่ายประสาทเทียม, การลดมิติของเมทริกซ์แสดงการปรากฏร่วมกันของคำ, แบบจำลองความน่าจะเป็น, วิธีการที่ยืนพื้นความรู้ที่อธิบายได้, การแสดงออกแบบชัดเจนของคำในบริบทที่คำนั้นปรากฏ ฯลฯ

การใช้เทคนิคการฝังคำและวลีเป็นค่าป้อนเข้าช่วยเพิ่มประสิทธิภาพในงานด้านการประมวลภาษาธรรมชาติ เช่น และ

การพัฒนาเทคนิค

ในทางภาษาศาสตร์ มีการกล่าวถึงการฝังคำในสาขาอรรถศาสตร์ มีจุดมุ่งหมายเพื่อหาปริมาณและจำแนกความคล้ายคลึงทางความหมายระหว่างรายการทางภาษาตามลักษณะการแจกแจงของตัวอย่างข้อมูลทางภาษาจำนวนมาก แนวคิดพื้นฐานที่ว่า "คำหนึ่ง ๆ ถูกกำหนดลักษณะโดยบริบทโดยรอบ" ได้รับการแผยแผ่โดย

วิธีการแสดงคำในรูปแบบเวกเตอร์มีรากฐานมาจากการพัฒนาแบบจำลองปริภูมิเวกเตอร์ สำหรับการค้นคืนสารสนเทศในทศวรรษ 1960 ถูกนำมาใช้ในช่วงปลายทศวรรษ 1980 โดยการลดจำนวนมิติโดยใช้ "แบบจำลองภาษาความน่าจะเป็นทางประสาท'' ที่เสนอขึ้นโดยและคณะในรายงานชุดหนึ่งในปี 2000 ลดมิติสูงของการแทนคำในบริบทโดย "การเรียนรู้การแทนคำแบบแจกแจง'' การฝังคำแบ่งเป็น 2 แบบที่แตกต่างกัน แบบหนึ่งคือ แสดงคำในรูปเวกเตอร์ของคำที่ปรากฏด้วยกัน และอีกแบบหนึ่งคือแสดงเป็นเวกเตอร์ของบริบททางภาษาที่คำนั้นปรากฏขึ้น โรไวส์และซอลได้ตีพิมพ์ในวารสารไซเอินซ์แสดงวิธี (LLE) เพื่อค้นหารูปแบบตัวแทนของโครงสร้างข้อมูลมิติสูง งานวิจัยในสาขานี้ค่อย ๆ พัฒนาและเติบโตอย่ารวดเร็วหลังปี 2010 โดยสาเหตุหนึ่งมาจากความเร็วในการฝึกแบบจำลอง

ทีมวิจัยจำนวนมากได้ทำงานวิจัยและพัฒนาเทคนิคการฝังคำ ในปี 2013 ทีมงานของกูเกิลนำโดย (Tomáš Mikolov) ได้พัฒนาชุดเครื่องมือการฝังคำที่เรียกว่า word2vec การใช้ word2vec ทำให้สามารถฝึกแบบจำลองปริภูมิเวกเตอร์ได้อย่างรวดเร็ว เทคนิคการฝังคำใหม่ ๆ ส่วนใหญ่จะขึ้นอยู่กับสถาปัตยกรรมโครงข่ายประสาทเทียม มากกว่าแบบจำลอง แบบดั้งเดิมหรือ การเรียนรู้แบบไม่มีผู้สอน

การจัดการกับคำพ้องความหมาย

ข้อจำกัดที่สำคัญของการฝังคำ (โดยทั่วไปคือ แบบจำลองปริภูมิเวกเตอร์ของคำ) คือคำที่มีความหมายหลากหลายจะถูกรวมเข้าเป็นคำเดียว (เวกเตอร์เดียวในปริภูมิความหมาย) กล่าวอีกนัยหนึ่ง คำพ้องความหมายไม่ได้รับการจัดการอย่างเหมาะสม ตัวอย่างเช่น ในประโยค "The club I tried yesterday was great!" นั้นคำว่า "club" อาจมีความหมายหลากหลาย เช่น club sandwich (), clubhouse (), golf club (ไม้กอล์ฟ) เป็นต้น จึงอาจไม่รู้ชัดเจนว่ากำลังหมายถึงอะไร เนื่องจากความจำเป็นในการเชื่อมโยงความหมายหลายคำของแต่ละคำกับเวกเตอร์ที่แตกต่างกัน บางครั้งจึงอาจแยกเป็นการฝังแบบหลายนัย

แนวทางส่วนใหญ่ในการสร้างการฝังแบบหลายนัยสามารถจำแนกได้เป็นการเรียนรู้แบบไม่มีผู้สอนและการเรียนรู้บนฐานความรู้ โดยเน้นที่การแสดงความหมายคำ Multi-Sense Skip-Gram (MSSG) ซึ่งใช้ word2vec skip-gram ดำเนินการระบุนัยของคำและฝังไปพร้อม ๆ กัน ปรับปรุงเวลาการฝึกอบรมในขณะที่สมมติจำนวนนัยที่แน่นอนสำหรับแต่ละคำ ใน Non-Parametric Multi-Sense Skip-Gram (NP-MSSG) ตัวเลขนี้จะแตกต่างกันไปในแต่ละคำ Most Suitable Sense Annotation (MSSA) รวมความรู้เดิม เช่น ฐานข้อมูลคำศัพท์ (WordNet, , ฯลฯ) การฝังคำ และความกำกวมของความหมายของคำ โดยใช้แนวทางแบบไม่มีผู้สอน และอิงความรู้เพื่อติดป้ายกำกับความหมายของคำโดยพิจารณาจากบริบทของหน้าต่างบริบทแบบเลื่อน เมื่อได้ความหมายของคำชัดเจนแล้ว ก็สามารถนำมาใช้กับเทคนิคการฝังคำมาตรฐานได้ ทำให้สร้างการฝังแบบหลายนัยได้ สถาปัตยกรรมของ MSSA ช่วยให้กระบวนการแก้ความกำกวมและคำอธิบายประกอบสามารถทำซ้ำและปรับปรุงตนเองได้

เป็นที่รู้กันว่าการฝังแบบหลายนัยช่วยปรับปรุงประสิทธิภาพในงานการประมวลภาษาธรรมชาติหลายอย่าง รวมถึงการแท็กส่วนของคำพูด การระบุความสัมพันธ์ทางความหมาย และการเชื่อมโยงทางความหมาย อย่างไรก็ตาม งานที่เกี่ยวข้องกับ และการวิเคราะห์ความรู้สึกอาจไม่ค่อยได้รับประโยชน์จากการแสดงด้วยเวกเตอร์หลายตัว

ซอฟต์แวร์

ซอฟต์แวร์สำหรับการฝึกอบรมและการใช้การฝังคำ ได้แก่ word2vec ของ , [en] ของมหาวิทยาลัยสแตนฟอร์ด, [en] ของ AllenNLP, [en], Gensim, Indra, Deeplearning4j เป็นต้น (PCA) และ การฝังเพื่อนบ้านแบบเฟ้นสุ่มแจกแจง t (t-SNE) ก็ถูกนำมาใช้เพื่อลดมิติของปริภูมิเวกเตอร์ของคำ และแสดงภาพการฝังคำและกลุ่ม

ตัวอย่างการใช้งาน

fastText ถูกนำมาใช้ในการคำนวณการฝังคำสำหรับคลังข้อความใน Sketch Engine ออนไลน์

อ้างอิง

Mikolov, Tomas; Sutskever, Ilya. "Distributed Representations of Words and Phrases and their Compositionality". :1310.4546 [cs.CL].
Lebret, Rémi; Collobert, Ronan (2013). "Word Emdeddings through Hellinger PCA". Conference of the European Chapter of the Association for Computational Linguistics (EACL). 2014. :1312.5542. Bibcode:2013arXiv1312.5542L.
Levy, Omer; Goldberg, Yoav (2014). Neural Word Embedding as Implicit Matrix Factorization (PDF). NIPS.
Li, Yitan; Xu, Linli (2015). Word Embedding Revisited: A New Representation Learning and Explicit Matrix Factorization Perspective (PDF). Int'l J. Conf. on Artificial Intelligence (IJCAI).
Globerson, Amir (2007). "Euclidean Embedding of Co-occurrence Data" (PDF). Journal of Machine Learning Research.
Qureshi, M. Atif; Greene, Derek (2018-06-04). "EVE: explainable vector based embedding technique using Wikipedia". Journal of Intelligent Information Systems (ภาษาอังกฤษ). 53: 137–165. :1702.06891. doi:10.1007/s10844-018-0511-x. ISSN 0925-9902.
Levy, Omer; Goldberg, Yoav (2014). Linguistic Regularities in Sparse and Explicit Word Representations (PDF). CoNLL. pp. 171–180.
Socher, Richard; Bauer, John; Manning, Christopher; Ng, Andrew (2013). Parsing with compositional vector grammars (PDF). Proc. ACL Conf.
Socher, Richard; Perelygin, Alex; Wu, Jean; Chuang, Jason; Manning, Chris; Ng, Andrew; Potts, Chris (2013). Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank (PDF). EMNLP.
Firth, J.R. (1957). "A synopsis of linguistic theory 1930-1955". Studies in Linguistic Analysis: 1–32. Reprinted in F.R. Palmer, บ.ก. (1968). Selected Papers of J.R. Firth 1952-1959. London: Longman.
Sahlgren, Magnus. "A brief history of word embeddings". สืบค้นเมื่อ 2020-12-16.
Bengio, Yoshua; Schwenk, Holger; Senécal, Jean-Sébastien; Morin, Fréderic; Gauvain, Jean-Luc (2006). A Neural Probabilistic Language Model. Studies in Fuzziness and Soft Computing. Vol. 194. pp. 137–186. doi:10.1007/3-540-33486-6_6. ISBN .
Lavelli, Alberto; Sebastiani, Fabrizio; Zanoli, Roberto (2004). Distributional term representations: an experimental comparison. 13th ACM International Conference on Information and Knowledge Management. pp. 615–624. doi:10.1145/1031171.1031284.
Roweis, Sam T.; Saul, Lawrence K. (2000). "Nonlinear Dimensionality Reduction by Locally Linear Embedding". Science. 290 (5500): 2323–6. Bibcode:2000Sci...290.2323R. doi:10.1126/science.290.5500.2323. PMID 11125150.
word2vec
"A Scalable Hierarchical Distributed Language Model". Advances in Neural Information Processing Systems 21 (NIPS 2008). Curran Associates, Inc.: 1081–1088 2009.
Reisinger, Joseph; Mooney, Raymond J. (2010). Multi-Prototype Vector-Space Models of Word Meaning. Vol. Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics. Los Angeles, California: Association for Computational Linguistics. pp. 109–117. ISBN . สืบค้นเมื่อ October 25, 2019.
Huang, Eric. (2012). Improving word representations via global context and multiple word prototypes. OCLC 857900050.
Camacho-Collados, Jose; Pilehvar, Mohammad Taher (2018). From Word to Sense Embeddings: A Survey on Vector Representations of Meaning. Bibcode:2018arXiv180504032C.
Neelakantan, Arvind; Shankar, Jeevan; Passos, Alexandre; McCallum, Andrew (2014). "Efficient Non-parametric Estimation of Multiple Embeddings per Word in Vector Space". Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). Stroudsburg, PA, USA: Association for Computational Linguistics: 1059–1069. :1504.06654. doi:10.3115/v1/d14-1113.
Ruas, Terry; Grosky, William; Aizawa, Akiko (2019-12-01). "Multi-sense embeddings through a word sense disambiguation process". Expert Systems with Applications. 136: 288–303. doi:10.1016/j.eswa.2019.06.026. ISSN 0957-4174.
Li, Jiwei; Jurafsky, Dan (2015). "Do Multi-Sense Embeddings Improve Natural Language Understanding?". Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. Stroudsburg, PA, USA: Association for Computational Linguistics: 1722–1732. :1506.01070. doi:10.18653/v1/d15-1200.
"GloVe". สืบค้นเมื่อ 2020-12-16.
"Elmo". สืบค้นเมื่อ 2020-12-16.
"Gensim". สืบค้นเมื่อ 2020-12-16.
"Indra". 2018-10-25. สืบค้นเมื่อ 2020-12-16.
Ghassemi, Mohammad; Mark, Roger; Nemati, Shamim (2015). "A Visualization of Evolving Clinical Sentiment Using Vector Representations of Clinical Notes" (PDF). Computing in Cardiology.
"Embedding Viewer". Embedding Viewer. Lexical Computing. สืบค้นเมื่อ 7 Feb 2018.

[1] Mikolov, Tomas; Sutskever, Ilya. "Distributed Representations of Words and Phrases and their Compositionality". :1310.4546 [cs.CL].

[2] Lebret, Rémi; Collobert, Ronan (2013). "Word Emdeddings through Hellinger PCA". Conference of the European Chapter of the Association for Computational Linguistics (EACL). 2014. :1312.5542. Bibcode:2013arXiv1312.5542L.

[3] Levy, Omer; Goldberg, Yoav (2014). Neural Word Embedding as Implicit Matrix Factorization (PDF). NIPS.

[4] Li, Yitan; Xu, Linli (2015). Word Embedding Revisited: A New Representation Learning and Explicit Matrix Factorization Perspective (PDF). Int'l J. Conf. on Artificial Intelligence (IJCAI).

[5] Globerson, Amir (2007). "Euclidean Embedding of Co-occurrence Data" (PDF). Journal of Machine Learning Research.

[6] Qureshi, M. Atif; Greene, Derek (2018-06-04). "EVE: explainable vector based embedding technique using Wikipedia". Journal of Intelligent Information Systems (ภาษาอังกฤษ). 53: 137–165. :1702.06891. doi:10.1007/s10844-018-0511-x. ISSN 0925-9902.

[7] Levy, Omer; Goldberg, Yoav (2014). Linguistic Regularities in Sparse and Explicit Word Representations (PDF). CoNLL. pp. 171–180.

[8] Socher, Richard; Bauer, John; Manning, Christopher; Ng, Andrew (2013). Parsing with compositional vector grammars (PDF). Proc. ACL Conf.

[9] Socher, Richard; Perelygin, Alex; Wu, Jean; Chuang, Jason; Manning, Chris; Ng, Andrew; Potts, Chris (2013). Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank (PDF). EMNLP.

[10] Firth, J.R. (1957). "A synopsis of linguistic theory 1930-1955". Studies in Linguistic Analysis: 1–32. Reprinted in F.R. Palmer, บ.ก. (1968). Selected Papers of J.R. Firth 1952-1959. London: Longman.

[11] Sahlgren, Magnus. "A brief history of word embeddings". สืบค้นเมื่อ 2020-12-16.

[12] Bengio, Yoshua; Schwenk, Holger; Senécal, Jean-Sébastien; Morin, Fréderic; Gauvain, Jean-Luc (2006). A Neural Probabilistic Language Model. Studies in Fuzziness and Soft Computing. Vol. 194. pp. 137–186. doi:10.1007/3-540-33486-6_6. ISBN .

[13] Lavelli, Alberto; Sebastiani, Fabrizio; Zanoli, Roberto (2004). Distributional term representations: an experimental comparison. 13th ACM International Conference on Information and Knowledge Management. pp. 615–624. doi:10.1145/1031171.1031284.

[14] Roweis, Sam T.; Saul, Lawrence K. (2000). "Nonlinear Dimensionality Reduction by Locally Linear Embedding". Science. 290 (5500): 2323–6. Bibcode:2000Sci...290.2323R. doi:10.1126/science.290.5500.2323. PMID 11125150.

[15] word2vec

[16] "A Scalable Hierarchical Distributed Language Model". Advances in Neural Information Processing Systems 21 (NIPS 2008). Curran Associates, Inc.: 1081–1088 2009.

[17] Reisinger, Joseph; Mooney, Raymond J. (2010). Multi-Prototype Vector-Space Models of Word Meaning. Vol. Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics. Los Angeles, California: Association for Computational Linguistics. pp. 109–117. ISBN . สืบค้นเมื่อ October 25, 2019.

[18] Huang, Eric. (2012). Improving word representations via global context and multiple word prototypes. OCLC 857900050.

[19] Camacho-Collados, Jose; Pilehvar, Mohammad Taher (2018). From Word to Sense Embeddings: A Survey on Vector Representations of Meaning. Bibcode:2018arXiv180504032C.

[20] Neelakantan, Arvind; Shankar, Jeevan; Passos, Alexandre; McCallum, Andrew (2014). "Efficient Non-parametric Estimation of Multiple Embeddings per Word in Vector Space". Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). Stroudsburg, PA, USA: Association for Computational Linguistics: 1059–1069. :1504.06654. doi:10.3115/v1/d14-1113.

[21] Ruas, Terry; Grosky, William; Aizawa, Akiko (2019-12-01). "Multi-sense embeddings through a word sense disambiguation process". Expert Systems with Applications. 136: 288–303. doi:10.1016/j.eswa.2019.06.026. ISSN 0957-4174.

[22] Li, Jiwei; Jurafsky, Dan (2015). "Do Multi-Sense Embeddings Improve Natural Language Understanding?". Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. Stroudsburg, PA, USA: Association for Computational Linguistics: 1722–1732. :1506.01070. doi:10.18653/v1/d15-1200.

[23] "GloVe". สืบค้นเมื่อ 2020-12-16.

[24] "Elmo". สืบค้นเมื่อ 2020-12-16.

[25] "Gensim". สืบค้นเมื่อ 2020-12-16.

[26] "Indra". 2018-10-25. สืบค้นเมื่อ 2020-12-16.

[27] Ghassemi, Mohammad; Mark, Roger; Nemati, Shamim (2015). "A Visualization of Evolving Clinical Sentiment Using Vector Representations of Clinical Notes" (PDF). Computing in Cardiology.

[28] "Embedding Viewer". Embedding Viewer. Lexical Computing. สืบค้นเมื่อ 7 Feb 2018.