โมเดลใหม่ประจำสัปดาห์ที่มาด้วยวิธีการพัฒนาโมเดลที่หลากหลาย เริ่มตั้งแต่ค่าย Magic ที่ปล่อยโมเดล LTM-2-mini ที่มี Context Window ถึง 100M tokens, ด้าน Cohere ปรับปรุงโมเดลเพื่อการทำงานด้าน RAG โดยเฉพาะ, Zyphra เปิดตัว Small Language Model ที่ใช้สถาปัตยกรรม Mamba 2, Salesforce เปิดตัวโมเดลที่ทำหน้าที่ AI Agent ได้อีก 3 ขนาด, Alibaba Cloud พัฒนาโมเดลด้าน Vision ที่เข้าใจวิดีโอที่มีความยาวมากขึ้นเรื่อยๆ, Hugging Face ปล่อยโมเดล Speech-to-Speech และยังมีโมเดล OCR ที่แปลงข้อมูลด้านคณิตศาสตร์ได้

Magic ได้ปล่อยโมเดลตัวแรกที่รองรับ context window ขนาด 100M tokens ในครั้งเดียว ซึ่งเทียบเท่ากับโค้ด 10 ล้านบรรทัด หรือนิยาย 750 เล่ม ถือเป็นการก้าวข้ามขีดจำกัดของโมเดล AI ที่แต่เดิม โมเดลส่วนใหญ่จะใช้วิธีการเทรนและสามารถรองรับ context length ที่ค่อนข้างสั้น ซึ่ง Magic ตั้งใจที่จะนำโมเดลนี้ไปใช้เพื่อการพัฒนาซอฟต์แวร์ โดยเชื่อว่า โมเดลที่สามารถเข้าถึงโค้ดทั้งหมด เอกสารประกอบ และไลบรารีของโปรเจกต์ได้ จะช่วยพัฒนาการสร้างโค้ดได้อย่างมาก&nbsp;

ด้านอัลกอริทึมของ LTM-2-mini สำหรับประมวลผลบริบทขนาด 100M tokens มีประสิทธิภาพมากกว่ากลไก Attention ของ Llama 3.1 405B ถึงประมาณ 1,000 เท่า และต้องการหน่วยความจำที่น้อยกว่ามาก &nbsp;

นอกจากนี้ Magic กำลังพัฒนาโมเดล LTM-2 ขนาดใหญ่ขึ้น และสร้างซูเปอร์คอมพิวเตอร์ใหม่ร่วมกับ Google Cloud และ Nvidia&nbsp;

โมเดลจาก Cohere เวอร์ชั่นปรับปรุงใหม่มาด้วยกัน 2 ตัวคือ Command R ขนาด 32B และ Command R+ ขนาด 104B ออกแบบมาเพื่อใช้งานในธุรกิจโดยเฉพาะ สามารถทำงานค้นคืนข้อมูล พร้อมกับการอ้างอิงข้อมูล ในกระบวนการสร้างข้อความ (RAG - Retrieval-augmented Generation) ได้อย่างดีเลิศ สามารถรองรับได้มากกว่า 10 ภาษา และยังมีเครื่องมือ Structure Outputs ที่ช่วยเพิ่มประสิทธิภาพในการสร้าง JSON &nbsp;&nbsp;

นอกจากนี้ โมเดลยังมีการปรับปรุงความสามารถในด้านการเขียนโค้ด คณิตศาสตร์ การให้เหตุผล และการวิเคราะห์ข้อมูล สามารถทำงานกับข้อมูลในรูปแบบตาราง หรือดึงข้อมูลเชิงลึกจากข้อมูลประเภทต่างๆ ได้ดียิ่งขึ้น ทำให้เหมาะกับการนำไปใช้ในงานธุรกิจสำคัญๆ เช่น การเงิน การให้บริการด้านซอฟต์แวร์ หรือการให้คำปรึกษา เป็นต้น &nbsp;&nbsp;

แหล่งเข้าถึง: &nbsp;

Command R: <a href="https://huggingface.co/CohereForAI/c4ai-command-r-08-2024" target="_blank">https://huggingface.co/CohereForAI/c4ai-command-r-08-2024</a>&nbsp;

Command R+: <a href="https://huggingface.co/CohereForAI/c4ai-command-r-plus-08-2024" target="_blank">https://huggingface.co/CohereForAI/c4ai-command-r-plus-08-2024</a>&nbsp;

โมเดลภาษาขนาดเล็กตัวใหม่ (Small Language Model) แต่ความสามารถไม่เล็ก จากโมเดลซีรีส์ Zamba โดย Zyphra สามารถทำคะแนนและให้ประสิทธิภาพในระดับที่สูงมากเทียบเท่าโมเดลขนาดใหญ่อย่าง Gemma-2B (Google), OpenELM-1.1B (Apple) และ Phi-1.5 (Microsoft) ในหลายๆ งานได้ โดยเฉพาะงานที่เกี่ยวกับการประมวลผล Zamba2-mini สามารถทำงานได้เร็วกว่าโมเดลอื่นๆ ถึง 2 เท่าเมื่อแสดงผลครั้งแรก ลดการใช้หน่วยความจำลงได้ 27% และประมวลผลได้เร็วกว่าโมเดลอย่าง Phi3-3.8B ถึง 1.29 เท่า&nbsp;

ความพิเศษที่ทำให้ Zamba2-mini มีประสิทธิภาพสูง คือ การใช้สถาปัตยกรรม Mamba2 ร่วมกับ Transformer ซึ่งช่วยให้จัดสรร parameters ได้อย่างมีประสิทธิภาพมากขึ้น นอกจากนี้ โมเดลยังเทรนด้วยชุดข้อมูลคุณภาพสูงจาก Zyda และแหล่งข้อมูลสาธารณะอื่นๆ มากถึง 3T tokens ที่ผ่านการคัดกรองและจัดเรียงอย่างละเอียด และเพิ่มการ pre-trained ในขั้นตอนที่เรียกว่า Annealing โดยใช้ข้อมูลถึง 100B tokens กระบวนการเทรนอย่างละเอียดเช่นนี้จึงทำให้ Zamba2-mini มีความสามารถเหนือกว่าโมเดลอื่นๆ ที่มีขนาดใกล้เคียงกัน&nbsp;

Zamba2-mini สามารถเข้าถึงได้ใน HuggingFace ภายใต้ license Apache 2.0 ให้นักวิจัย นักพัฒนา และองค์กรสามารถนำโมเดลขั้นสูงนี้ไปใช้งานได้&nbsp;

แหล่งเข้าถึง: <a href="https://huggingface.co/Zyphra" target="_blank">https://huggingface.co/Zyphra</a>&nbsp;

โมเดลภาษาขนาดใหญ่ขั้นสูงประเภท Large Action Model (LAMs) จาก Salesforce มาใหม่อีก 3 ขนาด ได้แก่ ขนาด 7B และโมเดลแบบ Mixure of Expert (MoE)&nbsp;ขนาด 8x7B และ 8x22B เป็นโมเดลทำหน้าที่แบบ AI Agents สามารถทำงานตามวัตถุประสงค์ได้ด้วยตนเอง มีความสามารถทางภาษาและโต้ตอบกลับได้อย่างเป็นธรรมชาติ และยังสร้างสื่อได้อย่างหลากหลายรูปแบบ&nbsp;&nbsp;

*โมเดล Mixture of Expert (MoE) &nbsp;หมายถึง โมเดลเล็กๆ ที่มีความเก่งต่างกันหลายตัวมารวมกันเป็นโมเดลเดียวก้อนใหญ่ เวลาเรียกใช้งานจะใช้แค่บางตัวในนั้น &nbsp;

แหล่งเข้าถึง:&nbsp;

xLAM-7B-r: <a href="https://huggingface.co/Salesforce/xLAM-7b-r" target="_blank">https://huggingface.co/Salesforce/xLAM-7b-r</a>&nbsp;

xLAM-8x7B-r: <a href="https://huggingface.co/Salesforce/xLAM-8x7b-r" target="_blank">https://huggingface.co/Salesforce/xLAM-8x7b-r</a>&nbsp;

XLAM-8x22B-r: <a href="https://huggingface.co/Salesforce/xLAM-8x22b-r" target="_blank">https://huggingface.co/Salesforce/xLAM-8x22b-r</a>&nbsp;

Alibaba Cloud ปล่อยโมเดลด้าน Vision ตัวใหม่ในตระกูล Qwen 2&nbsp;มี 2 ขนาดคือ Qwen2-VL-2B และ Qwen2-VL-7B มีจุดเด่นหลายด้าน ไม่ว่าจะเป็น&nbsp;สามารถทำความเข้าใจภาพที่มีความละเอียดและสัดส่วนหลากหลาย สามารถผสานเข้ากับอุปกรณ์ต่างๆ เช่น โทรศัพท์มือถือ หรือหุ่นยนต์ ในการรับคำสั่งข้อความหรือภาพ &nbsp;สามารถเข้าใจวิดีโอที่มีความยาวกว่า 20 นาที ได้อย่างมีคุณภาพ โดยสามารถตอบคำถาม สนทนา หรือสร้างเนื้อหาได้ และนอกจากภาษาอังกฤษ และจีนแล้ว Qwen2-VL-2B ยังเข้าใจข้อความในภาพภาษาญี่ปุ่น เกาหลี อาหรับ เวียดนาม และภาษายุโรปอื่นๆ ได้อีก 

และในเร็วๆ นี้จะมีการปล่อยขนาด 72B ให้ออกมาใช้งานกันด้วย

แหล่งเข้าถึง: <a href="https://huggingface.co/collections/Qwen/qwen2-vl-66cee7455501d7126940800d" target="_blank">https://huggingface.co/collections/Qwen/qwen2-vl-66cee7455501d7126940800d</a>&nbsp;

Hugging Face ปล่อยโมเดลใหม่ Speech-to-Speech ที่รองรับได้หลายภาษา โดยระบบ modular สามารถใช้งานข้ามแพลตฟอร์ม และสลับภาษาระหว่างการสนทนาได้อย่างราบรื่น โดยมีความล่าช้าในการสลับภาษาเพียง 100 มิลลิวินาทีเท่านั้น &nbsp;

โมเดลได้รับการตอบรับอย่างดีโดยมียอดดาวน์โหลดบน Github แล้ว 2,600 ครั้ง ถือเป็นโมเดลภาษาที่น่าสนใจอีกตัวหนึ่ง จากที่ในปัจจุบัน ส่วนใหญ่โมเดลภาษาขนาดใหญ่ (LLMs) จะทำงานโดยการ input ด้วยเสียงพูด แล้วแปลงคำพูดเป็นข้อความ ผ่านการทำ speech-to-text แล้ว input ข้อความเข้า LLM เพื่อรับ ouput และจึงนำ output ในรูปแบบข้อความมาแปลงเป็นเสียงผ่านการทำ text-to-speechในรูปแบบ speech ออกมา ซึ่งองค์ประกอบของคำพูดหรือการสนทนา เช่น สำเนียง วรรณยุกต์ เสียงหนัก-เบา จะไม่ถูกโมเดลจับองค์ประกอบเหล่านี้เวลาแปลงจาก speech เป็น text เลย แต่การทำโมเดล Speech-to-Speech โมเดลจะรับองค์ประกอบเหล่านี้เข้าไปด้วย ทำให้โมเดลสามารถสื่อสารและเข้าใจภาษามนุษย์ ได้อย่างสมบูรณ์มากขึ้น&nbsp;

แหล่งเข้าถึง: <a href="https://github.com/huggingface/speech-to-speech" target="_blank">https://github.com/huggingface/speech-to-speech</a>&nbsp;

โมเดล OCR แบบครบวงจรรจาก Yifei Hu ผู้สร้าง&nbsp;<a href="https://openra.ai/" target="_blank">Open Research Assistant</a>&nbsp;สามารถประมวลผลข้อความ คณิตศาสตร์ LaTeX และรูปแบบ Markdown ทั้งหมดในคราวเดียว เหมาะสำหรับการแปลงข้อมูลจากเอกสารวิชาการ&nbsp; ตัวโมเดลจะรับข้อความเป็นข้อมูล input และ output ในรูปแบบ Markdown ที่จัดเรียงเรียบร้อยแล้ว ส่วนหัว (Headers) จะมีการใช้เครื่องหมาย ## กำกับ และนิพจน์ทางคณิตศาสตร์จะจัดใส่ไว้ในวงเล็บ เพื่อให้ง่ายต่อการวิเคราะห์ แต่สำหรับใครที่ต้องการนำไปใช้งานจริง TB-OCR จะยังไม่ได้รองรับการแปลงข้อมูลบนเอกสารทั้งหน้า จะต้องใช้โมเดล TFT-ID-1.0 ในการจับข้อมูล ตาราง และรูปภาพ เพิ่มเติม&nbsp;

แหล่งเข้าถึง: &nbsp;

TB-OCR: <a href="https://huggingface.co/yifeihu/TB-OCR-preview-0.1" target="_blank">https://huggingface.co/yifeihu/TB-OCR-preview-0.1</a>&nbsp;

TFT-ID-1.0: &nbsp;<a href="https://huggingface.co/yifeihu/TFT-ID-1.0" target="_blank">https://huggingface.co/yifeihu/TFT-ID-1.0</a>&nbsp;

สำหรับใครที่สนใจโมเดลปัญญาประดิษฐ์ที่เชี่ยวชาญด้าน NLP (Natural Language Processing) และมีความแม่นยำภาษาไทยสูง VISAI มีบริการโมเดลสำเร็จรูปที่ใช้งานได้บนคลาวด์ สามารถทำงานกับข้อมูลประเภท ข้อความ เสียง และรูปภาพ มากมาย ทดลองใช้งานโมเดลฟรีได้ที่บริการ&nbsp;<a href="https://acp.visai.ai/">AI Cloud Platform</a> ---------- ข้อมูลจาก:&nbsp;

[2] <a href="https://cohere.com/blog/command-series-0824" target="_blank">https://cohere.com/blog/command-series-0824</a>&nbsp;

[3]&nbsp;- <a href="https://www.marktechpost.com/2024/08/28/zyphra-unveils-zamba2-mini-a-state-of-the-art-small-language-model-redefining-on-device-ai-with-unmatched-efficiency-and-performance/" target="_blank">https://www.marktechpost.com/2024/08/28/zyphra-unveils-zamba2-mini-a-state-of-the-art-small-language-model-redefining-on-device-ai-with-unmatched-efficiency-and-performance/</a>&nbsp;

- <a href="https://www.zyphra.com/post/zamba2-mini" target="_blank">https://www.zyphra.com/post/zamba2-mini</a>&nbsp;&nbsp;

[4] <a href="https://blog.salesforceairesearch.com/large-action-models/" target="_blank">https://blog.salesforceairesearch.com/large-action-models/</a>&nbsp;

[5] <a href="https://qwenlm.github.io/blog/qwen2-vl/" target="_blank">https://qwenlm.github.io/blog/qwen2-vl/</a>&nbsp;

[6]&nbsp;<a href="https://huggingface.co/posts/andito/506001462483816?image-viewer=506001462483816-489C376BE0413CE2872B9AA44B52A8EFBBECC732" target="_blank">https://huggingface.co/posts/andito/506001462483816?image-viewer=506001462483816-489C376BE0413CE2872B9AA44B52A8EFBBECC732</a>&nbsp;

[7] <a href="https://x.com/hu_yifei/status/1828870309857915341" target="_blank">https://x.com/hu_yifei/status/1828870309857915341</a>&nbsp;