LaMDA (ย่อมาจาก Language Model for Dialogue Applications) เป็นตระกูลแบบจำลองภาษาขนาดใหญ่ที่พัฒนาโดยกูเกิล
นักพัฒนา | |
---|---|
ประเภท | แบบจำลองภาษาขนาดใหญ่ |
สัญญาอนุญาต | ซอฟต์แวร์จำกัดสิทธิ์ |
LaMDA รุ่นแรกได้รับการพัฒนาและประกาศในปี 2020 ในชื่อ Meena และได้ประกาศเปิดตัวที่งาน (Google I/O) ในปี 2021 และรุ่นที่สองได้ประกาศในปีถัดมา LaMDA ได้รับความสนใจอย่างกว้างขวางในเดือนมิถุนายน 2022 เมื่อ เบลก เลอมวน (Blake Lemoine) วิศวกรของกูเกิล อ้างว่า "จักรกลสนทนาเริ่มมีสติสัมปชัญญะแล้ว" ชุมชนวิทยาศาสตร์ส่วนใหญ่ปฏิเสธคำกล่าวอ้างของเลอมวนแต่นำไปสู่การอภิปรายเกี่ยวกับความถูกต้องของการทดสอบทัวริง ซึ่งกำหนดว่าคอมพิวเตอร์สามารถแสร้งเป็นมนุษย์ได้หรือไม่ ในเดือนกุมภาพันธ์ ปี 2023 กูเกิลได้ประกาศเปิดตัวบาร์ด ซึ่งเป็นจักรกลสนทนาที่ใช้ปัญญาประดิษฐ์ ซึ่งทำงานโดยใช้ LaMDA เพื่อมาแข่งตีตลาดกับแชตจีพีทีของ OpenAI
ตัวแบบ
LaMDA ใช้แบบจำลองภาษา ทรานส์ฟอร์เมอร์ ในส่วนของตัวถอดรหัส ได้รับการฝึกด้วยคลังข้อความทั้งหมดจำนวน 1.56 ล้านล้านคำ ซึ่งรวมทั้งเอกสารและบทสนทนา และได้รับการใส่คำอธิบายประกอบเพิ่มเติมในส่วนของ ความสมเหตุสมผล (sensibleness) ความน่าสนใจ (interestingness) และความปลอดภัย (safety) ได้มีการปรับแต่งอย่างละเอียดผ่านการฝึกอบรมเพิ่มเติมโดยใช้ข้อมูลการตอบสนอง การทดสอบของกูเกิลได้แสดงให้เห็นว่า LaMDA มีประสิทธิภาพเหนือกว่ามนุษย์ในด้านของความน่าสนใจ LaMDA ปรับปรุงความถูกต้องแม่นยำของข้อเท็จจริงที่มอบให้กับผู้ใช้โดยการโต้ตอบกับแบบจำลองทรานส์ฟอร์เมอร์และระบบค้นข้อมูลภายนอก
การทดสอบดำเนินการในแบบจำลองที่แตกต่างกัน 3 แบบ โดยรุ่นที่ใหญ่ที่สุดมีพารามิเตอร์ที่ไม่ฝังถึง 137 พันล้านตัว
จำนวนพารามิเตอร์ | จำนวนชั้น | จำนวนหน่วย (dmodel) | จำนวนหัว |
---|---|---|---|
2B | 10 | 2560 | 40 |
8B | 16 | 4096 | 64 |
137B | 64 | 8192 | 128 |
อ้างอิง
- Thoppilan et al. 2022, section 3.
- Thoppilan et al. 2022, section 3 and appendix E.
- Thoppilan et al. 2022, section 5 and 6.
- Hager, Ryne (June 16, 2022). "How Google's LaMDA AI works, and why it seems so much smarter than it is". Android Police. เก็บจากแหล่งเดิมเมื่อ June 16, 2022. สืบค้นเมื่อ June 19, 2022.
- Thoppilan et al. 2022, section 6.2.
- Thoppilan et al. 2022, section 3 and appendix D.
wikipedia, แบบไทย, วิกิพีเดีย, วิกิ หนังสือ, หนังสือ, ห้องสมุด, บทความ, อ่าน, ดาวน์โหลด, ฟรี, ดาวน์โหลดฟรี, mp3, วิดีโอ, mp4, 3gp, jpg, jpeg, gif, png, รูปภาพ, เพลง, เพลง, หนัง, หนังสือ, เกม, เกม, มือถือ, โทรศัพท์, Android, iOS, Apple, โทรศัพท์โมบิล, Samsung, iPhone, Xiomi, Xiaomi, Redmi, Honor, Oppo, Nokia, Sonya, MI, PC, พีซี, web, เว็บ, คอมพิวเตอร์
LaMDA yxmacak Language Model for Dialogue Applications epntrakulaebbcalxngphasakhnadihythiphthnaodykuekilLaMDAnkphthnapraephthaebbcalxngphasakhnadihysyyaxnuyatsxftaewrcakdsiththi LaMDA runaerkidrbkarphthnaaelaprakasinpi 2020 inchux Meena aelaidprakasepidtwthingan Google I O inpi 2021 aelarunthisxngidprakasinpithdma LaMDA idrbkhwamsnicxyangkwangkhwangineduxnmithunayn 2022 emux eblk elxmwn Blake Lemoine wiswkrkhxngkuekil xangwa ckrklsnthnaerimmistismpchyyaaelw chumchnwithyasastrswnihyptiesthkhaklawxangkhxngelxmwnaetnaipsukarxphiprayekiywkbkhwamthuktxngkhxngkarthdsxbthwring sungkahndwakhxmphiwetxrsamarthaesrngepnmnusyidhruxim ineduxnkumphaphnth pi 2023 kuekilidprakasepidtwbard sungepnckrklsnthnathiichpyyapradisth sungthanganodyich LaMDA ephuxmaaekhngtitladkbaechtciphithikhxng OpenAItwaebbLaMDA ichaebbcalxngphasa thransfxremxr inswnkhxngtwthxdrhs idrbkarfukdwykhlngkhxkhwamthnghmdcanwn 1 56 lanlankha sungrwmthngexksaraelabthsnthna aelaidrbkariskhaxthibayprakxbephimetiminswnkhxng khwamsmehtusmphl sensibleness khwamnasnic interestingness aelakhwamplxdphy safety idmikarprbaetngxyanglaexiydphankarfukxbrmephimetimodyichkhxmulkartxbsnxng karthdsxbkhxngkuekilidaesdngihehnwa LaMDA miprasiththiphaphehnuxkwamnusyindankhxngkhwamnasnic LaMDA prbprungkhwamthuktxngaemnyakhxngkhxethccringthimxbihkbphuichodykarottxbkbaebbcalxngthransfxremxraelarabbkhnkhxmulphaynxk karthdsxbdaeninkarinaebbcalxngthiaetktangkn 3 aebb odyrunthiihythisudmipharamietxrthiimfngthung 137 phnlantw ihepxrpharamietxrkhxngaebbcalxngthransfxremxr canwnpharamietxr canwnchn canwnhnwy dmodel canwnhw2B 10 2560 408B 16 4096 64137B 64 8192 128xangxingThoppilan et al 2022 section 3 sfn error no target CITEREFThoppilanDe FreitasHallShazeer2022 Thoppilan et al 2022 section 3 and appendix E sfn error no target CITEREFThoppilanDe FreitasHallShazeer2022 Thoppilan et al 2022 section 5 and 6 sfn error no target CITEREFThoppilanDe FreitasHallShazeer2022 Hager Ryne June 16 2022 How Google s LaMDA AI works and why it seems so much smarter than it is Android Police ekbcakaehlngedimemux June 16 2022 subkhnemux June 19 2022 Thoppilan et al 2022 section 6 2 sfn error no target CITEREFThoppilanDe FreitasHallShazeer2022 Thoppilan et al 2022 section 3 and appendix D sfn error no target CITEREFThoppilanDe FreitasHallShazeer2022