Azərbaycanca
Беларускі
Dansk
Deutsch
Española
Français
Indonesia
Italiana
日本語
Қазақ
Lietuvos
Nederlands
Português
Русский
සිංහල
แบบไทย
Türkçe
Українська
中國人
United State
Afrikaans
LLaMA (ย่อมาจาก Large Language Model Meta AI) เป็นแบบจำลองภาษาขนาดใหญ่ที่เผยแพร่โดย Meta AI ในเดือนกุมภาพันธ์ 2023
| นักพัฒนา | Meta AI |
|---|---|
| วันที่เปิดตัว | 24 กุมภาพันธ์ 2023 |
| รุ่นเสถียร | 3.2 / 25 กันยายน 2024 |
| ที่เก็บข้อมูล | github |
| ภาษาที่เขียน | ภาษาไพธอน |
| ประเภท | |
| สัญญาอนุญาต | Meta Llama 3.2 Community License |
| เว็บไซต์ | llama.com |
ตามรายงานของนักพัฒนา LLaMA มีการสร้างแบบจำลองไว้หลายขนาด โดยจำนวนพารามิเตอร์มีตั้งแต่ 7 พันล้านพารามิเตอร์ (ตามแบบแผนอุตสาหกรรม บางครั้งเขียนเป็น "7B" โดยใช้ B ใน Billion) ถึง 65 พันล้านพารามิเตอร์ (65B) LLaMA-13B มีประสิทธิภาพเหนือกว่า -175B ในการวัดประสิทธิภาพการประมวลภาษาธรรมชาติส่วนใหญ่ และประสิทธิภาพของ LLaMA-65B ก็เทียบได้กับรุ่นล้ำสมัย เช่น PaLM-540B ของกูเกิล และ ของดีปไมด์
สถาปัตยกรรมและการเรียนรู้
LLaMA ใช้สถาปัตยกรรมทรานส์ฟอร์เมอร์ ซึ่งเป็นสถาปัตยกรรมมาตรฐานสำหรับการสร้างแบบจำลองภาษามาตั้งแต่ปี 2018
นักพัฒนาของ LLaMA มุ่งเน้นไปที่การเพิ่มประสิทธิภาพของตัวแบบจำลองโดยการเพิ่มจำนวนข้อมูลการฝึกมากกว่าจำนวนพารามิเตอร์ เนื่องจากต้นทุนของการอนุมานโดยใช้แบบจำลองที่ได้รับการฝึกมีความสำคัญมากกว่าต้นทุนการคำนวณของกระบวนการฝึกแบบจำลอง
LLaMA ได้รับการฝึกแบบจำลองโดยใช้โทเค็น 1.4 ล้านล้านที่ดึงมาจากแหล่งข้อมูลสาธารณะจำนวนมาก ได้แก่:
- หน้าเว็บที่ถูกรวบรวมมาด้วยด้วยคอมมอนครอวล์
- พื้นที่เก็บข้อมูลโอเพ่นซอร์ส GitHub
- วิกิพีเดีย (20 ภาษา)
- หนังสือที่เป็นสาธารณสมบัติของโครงการกูเทินแบร์ค
- รหัสต้นทาง LaTeX ของเอกสารทางวิทยาศาสตร์ที่อัปโหลดไปยัง ArXiv
- คำถามและคำตอบบนเว็บไซต์
การเผยแพร่และการรั่วไหล
LLaMA ได้รับการประกาศเมื่อวันที่ 23 กุมภาพันธ์ 2023 ผ่านทางบล็อกโพสต์และหนังสือพิมพ์
รหัสที่ใช้ในการฝึกตัวแบบจำลองได้รับการเผยแพร่ภายใต้ใบอนุญาตโอเพนซอร์ส GPLv3
ก่อนหน้านั้น แบบจำลองภาษาขนาดใหญ่ที่มีประสิทธิภาพส่วนใหญ่สามารถเข้าถึงได้ผ่าน API ที่จำกัดเท่านั้น ทางเมตาได้จัดการค่าพารามิเตอร์น้ำหนักที่เรียนรู้จากแบบจำลองของ LLaMA ภายในและเผยแพร่เป็นกรณี ๆ ไปสำหรับนักวิจัยเชิงวิชาการ หน่วยงานภาครัฐ ภาคประชาสังคม และสถาบันการศึกษา และห้องปฏิบัติการอุตสาหกรรมทั่วโลก ด้วยเหตุนี้ เราจึงตัดสินใจอนุญาตให้ใช้เท่านั้น สู่ชุมชนการวิจัยภายใต้ใบอนุญาตที่ไม่ใช่เชิงพาณิชย์
อย่างไรก็ตาม ในวันที่ 2 มีนาคม 2023 หนึ่งสัปดาห์หลังจากปล่อย LLaMA ค่าพารามิเตอร์น้ำหนักก็ได้รั่วไหลและแพร่กระจายผ่าน 4chan
การประยุกต์ใช้
Alpaca
ศูนย์วิจัยแบบจำลองพื้นฐาน (CRFM) แห่ง มหาวิทยาลัยสแตนฟอร์ด ได้เปิดตัว Alpaca ซึ่ง เป็น LLaMA-7B ที่ผ่านการปรับละเอียด Alpaca มีประสิทธิภาพเทียบเท่ากับรุ่น text-davinci-003 ของซีรีส์ OpenAI GPT-3.5
Llama-3-ELYZA-JP
(สำนักงานใหญ่: เขตบุงเกียว โตเกียว) ได้พัฒนา LLM "Llama-3-ELYZA-JP" (8B และ 70B) พร้อมประสิทธิภาพภาษาญี่ปุ่นที่ได้รับการปรับปรุงโดยอิงจากซีรีส์ "Llama 3" ของเมตา
อ้างอิง
- "llama-models/models/llama3_2/LICENSE at main · meta-llama/llama-models · GitHub". GitHub (ภาษาอังกฤษ). เก็บจากแหล่งเดิมเมื่อ 2024-09-29. สืบค้นเมื่อ 2024-10-20.
- Touvron, Hugo; Lavril, Thibaut. "LLaMA: Open and Efficient Foundation Language Models". :2302.13971 [cs.CL3].
- "Introducing LLaMA: A foundational, 65-billion-parameter large language model". Meta AI. 24 February 2023. สืบค้นเมื่อ 2023-04-01.
- llama on GitHub
- Vincent, James (8 March 2023). "Meta's powerful AI language model has leaked online — what happens now?". The Verge. สืบค้นเมื่อ 2023-04-01.
- stanford alpaca on GitHub
- Yizhong Wang; Yeganeh Kordi; Swaroop Mishra; Alisa Liu; Noah A. Smith; Daniel Khashabi; Hannaneh Hajishirzi (20 ธันวาคม 2022), "Self-Instruct: Aligning Language Model with Self Generated Instructions", arXiv, :2212.10560, Wikidata Q117202254
- "「GPT-4」を上回る日本語性能のLLM「Llama-3-ELYZA-JP」を開発しました". . 2024-06-26. สืบค้นเมื่อ 2024-06-29.
wikipedia, แบบไทย, วิกิพีเดีย, วิกิ หนังสือ, หนังสือ, ห้องสมุด, บทความ, อ่าน, ดาวน์โหลด, ฟรี, ดาวน์โหลดฟรี, mp3, วิดีโอ, mp4, 3gp, jpg, jpeg, gif, png, รูปภาพ, เพลง, เพลง, หนัง, หนังสือ, เกม, เกม, มือถือ, โทรศัพท์, Android, iOS, Apple, โทรศัพท์โมบิล, Samsung, iPhone, Xiomi, Xiaomi, Redmi, Honor, Oppo, Nokia, Sonya, MI, PC, พีซี, web, เว็บ, คอมพิวเตอร์
LLaMA yxmacak Large Language Model Meta AI epnaebbcalxngphasakhnadihythiephyaephrody Meta AI ineduxnkumphaphnth 2023LLaMAnkphthnaMeta AIwnthiepidtw24 kumphaphnth 2023 20 eduxnkxn 2023 02 24 runesthiyr3 2 25 knyayn 2024 41 wnkxn 2024 09 25 thiekbkhxmulgithub wbr com wbr meta llama wbr llama modelsphasathiekhiynphasaiphthxnpraephthaebbcalxngphasakhnadihy GPT aebbcalxngrakthansyyaxnuyatMeta Llama 3 2 Community Licenseewbistllama com tamrayngankhxngnkphthna LLaMA mikarsrangaebbcalxngiwhlaykhnad odycanwnpharamietxrmitngaet 7 phnlanpharamietxr tamaebbaephnxutsahkrrm bangkhrngekhiynepn 7B odyich B in Billion thung 65 phnlanpharamietxr 65B LLaMA 13B miprasiththiphaphehnuxkwa 175B inkarwdprasiththiphaphkarpramwlphasathrrmchatiswnihy aelaprasiththiphaphkhxng LLaMA 65B kethiybidkbrunlasmy echn PaLM 540B khxngkuekil aela khxngdipimdsthaptykrrmaelakareriynruLLaMA ichsthaptykrrmthransfxremxr sungepnsthaptykrrmmatrthansahrbkarsrangaebbcalxngphasamatngaetpi 2018 nkphthnakhxng LLaMA mungennipthikarephimprasiththiphaphkhxngtwaebbcalxngodykarephimcanwnkhxmulkarfukmakkwacanwnpharamietxr enuxngcaktnthunkhxngkarxnumanodyichaebbcalxngthiidrbkarfukmikhwamsakhymakkwatnthunkarkhanwnkhxngkrabwnkarfukaebbcalxng LLaMA idrbkarfukaebbcalxngodyichothekhn 1 4 lanlanthidungmacakaehlngkhxmulsatharnacanwnmak idaek hnaewbthithukrwbrwmmadwydwykhxmmxnkhrxwl phunthiekbkhxmuloxephnsxrs GitHub wikiphiediy 20 phasa hnngsuxthiepnsatharnsmbtikhxngokhrngkarkuethinaebrkh rhstnthang LaTeX khxngexksarthangwithyasastrthixpohldipyng ArXiv khathamaelakhatxbbnewbistkarephyaephraelakarrwihlLLaMA idrbkarprakasemuxwnthi 23 kumphaphnth 2023 phanthangblxkophstaelahnngsuxphimph rhsthiichinkarfuktwaebbcalxngidrbkarephyaephrphayitibxnuyatoxephnsxrs GPLv3 kxnhnann aebbcalxngphasakhnadihythimiprasiththiphaphswnihysamarthekhathungidphan API thicakdethann thangemtaidcdkarkhapharamietxrnahnkthieriynrucakaebbcalxngkhxng LLaMA phayinaelaephyaephrepnkrni ipsahrbnkwicyechingwichakar hnwynganphakhrth phakhprachasngkhm aelasthabnkarsuksa aelahxngptibtikarxutsahkrrmthwolk dwyehtuni eracungtdsinicxnuyatihichethann suchumchnkarwicyphayitibxnuyatthiimichechingphanichy xyangirktam inwnthi 2 minakhm 2023 hnungspdahhlngcakplxy LLaMA khapharamietxrnahnkkidrwihlaelaaephrkracayphan 4chankarprayuktichAlpaca sunywicyaebbcalxngphunthan CRFM aehng mhawithyalysaetnfxrd idepidtw Alpaca sung epn LLaMA 7B thiphankarprblaexiyd Alpaca miprasiththiphaphethiybethakbrun text davinci 003 khxngsiris OpenAI GPT 3 5 Llama 3 ELYZA JP sanknganihy ekhtbungekiyw otekiyw idphthna LLM Llama 3 ELYZA JP 8B aela 70B phrxmprasiththiphaphphasayipunthiidrbkarprbprungodyxingcaksiris Llama 3 khxngemtaxangxing llama models models llama3 2 LICENSE at main meta llama llama models GitHub GitHub phasaxngkvs ekbcakaehlngedimemux 2024 09 29 subkhnemux 2024 10 20 Touvron Hugo Lavril Thibaut LLaMA Open and Efficient Foundation Language Models 2302 13971 cs CL3 Introducing LLaMA A foundational 65 billion parameter large language model Meta AI 24 February 2023 subkhnemux 2023 04 01 llama on GitHub Vincent James 8 March 2023 Meta s powerful AI language model has leaked online what happens now The Verge subkhnemux 2023 04 01 stanford alpaca on GitHub Yizhong Wang Yeganeh Kordi Swaroop Mishra Alisa Liu Noah A Smith Daniel Khashabi Hannaneh Hajishirzi 20 thnwakhm 2022 Self Instruct Aligning Language Model with Self Generated Instructions arXiv 2212 10560 Wikidata Q117202254 GPT 4 を上回る日本語性能のLLM Llama 3 ELYZA JP を開発しました 2024 06 26 subkhnemux 2024 06 29