นักวิจัย Meta AI เผยแพร่ระบบ”เมกะไบต์”ใหม่ เพื่อแก้ปัญหาที่ใหญ่ที่สุดสำหรับ GPT

Meta AI เพิ่งเผยแพร่ pre-print research  ซึ่งแสดงเฟรมเวิร์ก “เมกะไบต์” ใหม่สำหรับการสร้างระบบ generative pre-trained transformer (GPT

Andrej Karpathy อดีตผู้อำนวยการฝ่ายปัญญาประดิษฐ์ของ Tesla ระบุว่าสถาปัตยกรรมใหม่นี้ได้รับการออกแบบมาเพื่อประมวลผลข้อมูลปริมาณมาก เช่น รูปภาพ นวนิยาย และไฟล์วิดีโอ โดยไม่ต้องใช้กระบวนการที่เรียกว่า tokenization

Tokenization เป็นกระบวนการที่เปรียบได้กับการบีบอัดไฟล์ เพื่อการประมวลผลข้อมูลจำนวนมาก โดยโมเดล GPT จะแปลงไบต์เป็นโทเค็น จากนั้นโทเค็นจะถูกประมวลผลและใช้เพื่อสร้างโทเค็นเอาต์พุตซึ่งจะถูก decode

กระบวนการ tokenization ช่วยให้ระบบ AI สามารถประมวลผลข้อมูลที่ใหญ่ขึ้นเป็นตัวเลขได้ เช่นคำว่า “สีโปรดของฉันคือสีแดง” หากประมวลผลโดย ChatGPT ของ OpenAI เช่น จะถูกแปลงเป็น token string “3666, 4004, 3124, 318, 2266, 13” สำหรับการประมวลผล

แต่น่าเสียดายที่แม้จะผ่านโทเค็น แต่จำนวนข้อมูลที่ระบบล้ำสมัยปัจจุบันสามารถประมวลผลได้ก็ยังมีขีดจำกัดที่เข้มงวด โดยสำหรับ GPT-3.5 ขีดจำกัดอยู่ที่ 4,000 โทเค็นหรือประมาณ 3,000 คำ ในขณะที่ GPT-4 สูงสุดที่ประมาณ 32,000 โทเค็นหรือประมาณ 24,000 คำ

ระบบเมกะไบต์ใหม่ของ Meta จะเลิกใช้โทเค็นเพื่อสนับสนุนสถาปัตยกรรม multi-layer prediction ใหม่ที่สามารถจำลองแบบจากต้นทางถึงปลายทางได้มากกว่า 1 ล้านไบต์ของข้อมูล

ระบบ standard English-language encoding ส่วนใหญ่ใช้การเข้ารหัสมาตรฐาน 8 บิต ซึ่งอักขระแต่ละตัวใช้ข้อมูลหนึ่งไบต์ ดังนั้น ระบบ AI ที่สามารถประมวลผลข้อมูล 1 ล้านไบต์โดยไม่ต้องใช้โทเค็นจึงสามารถทำงานกับเอกสารข้อความที่มี 750,000 คำ ซึ่งเพิ่มขึ้น 3,025% จาก GPT-4

เพื่อการเปรียบเทียบ – ปัจจุบัน GPT-4 สามารถจัดการบทความข่าวความยาวประมาณ 10 บทความในพรอมต์เดียว ในขณะที่เมกะไบต์จะสามารถแยกวิเคราะห์ War and Peace ของลีโอ ตอลสตอยทั้งหมด รวมถึงนวนิยายความยาวเฉลี่ยอีก 2 เล่ม

โมเดลเมกะไบต์ของ Meta ยังทำงานได้ดีในการทดสอบ ImageNet และการวัดประสิทธิภาพที่เกี่ยวข้องกับการประมวลผลไฟล์เสียง เทียบเท่าหรือเหนือกว่าโมเดลที่มีอยู่ เช่น Perciever AR ของ DeepMind

สิ่งนี้อาจนำไปสู่การทำให้เทคโนโลยีเหล่านี้เป็นประชาธิปไตยมากขึ้น และช่วยให้ทุกอย่างตั้งแต่บอทซื้อขายสกุลเงินดิจิทัล ไปจนถึงเทคโนโลยี DAO เพื่อสร้าง native language code ทั่วโลก

นอกจากนี้ยังเพิ่มขีดความสามารถ เช่น ChatGPT เพื่อทำงานกับไฟล์รูปภาพ วิดีโอ และเสียงด้วยการสร้างคลิปมัลติมีเดียโดยใช้เวลาและการใช้พลังงานใกล้เคียงกับข้อความ

อ้างอิง : LINK
ภาพ LINK

Share on facebook
Share on twitter
Share on linkedin

Radius

ผู้เชี่ยวชาญการเขียนข่าว บทความ ที่เกี่ยวข้องกับ Bitcoin , คริปโตเคอเรนซี่ และ Blockchain ทั้งในไทยและต่างประเทศ อัพเดทราคา มุมมองการลงทุน ใหม่ล่าสุดทุกวัน
ข่าวต่อไป

FOLLOW ME

Blockchain Life 2024

Crypto Coffee

Cryptomind Research Talk

CryptOmakase

ข่าวต่อไป