อัพเดต LLM ใหม่  ที่นักวิจัยและบริษัทเทคโนโลยีพากันหันมาพัฒนาโมเดลขนาดเล็กกันมากขึ้น และมาในความสามารถที่หลากหลาย ช่วยให้ง่ายต่อการเข้าถึงและการจัดสรรทรัพยากรมากขึ้น เริ่มกันที่  GOT-OCR 2.0 ที่มีขนาดเพียง 580M Reader-LM โมเดลแปลงไฟล์ HTML ที่มีขนาด 0.5B และ 1.5B LLaMA-Omni โมเดลโต้ตอบด้วยเสียง ขนาด 8B ที่ใช้เวลาในการเทรนเพียง 3 วัน&nbsp;นอกจากนี้ ยังมีโมเดลตัวอื่นๆ อย่าง Object Cutter สำหรับการลบแบ็กกราวด์ออกจากวัตถุที่ต้องการ เพียงแค่ใส่ชื่อวัตถุที่ต้องการ และ Fish Speech 1.4 โมเดล Text to Speech ที่สามารถโต้ตอบกลับด้วยเสียงอย่างรวดเร็วและยังโคลนเสียงได้&nbsp;

General OCR Theory หรือ GOT เป็นโมเดล OCR-2.0 ขนาดเล็กเพียง 580M ที่นักวิจัยได้ออกแบบมาให้สามารถทำงานกับข้อมูลที่ซับซ้อนอย่างเช่น สูตรคณิตศาสตร์ เรขาคณิต โน้ตเพลง รวมถึงข้อความต่างๆ บนภาพถ่ายได้ นอกจากนี้ หนึ่งในคุณสมบัติที่โดดเด่นของโมเดลคือการสร้างผลลัพธ์ที่มีรูปแบบ Markdown หรือ LaTeX เช่น การดึงสูตร LaTeX  ออกจากไฟล์บทความ Arxiv แล้วแปลงข้อมูลให้อยู่ในรูป Mathpix ซึ่งเป็นประโยชน์ต่อการประมวลผลเอกสารทางวิชาการและเนื้อหาทางคณิตศาสตร์

ในการทดสอบ GOT สามารถทำผลงาน OCR ทั้งภาษาอังกฤษและภาษาจีนได้ดีกว่าโมเดลคู่แข่งอย่าง UReader 7B หรือ LLaVA-NeXT 34B และ Qwen-VL-Max 72B ทั้งที่มีขนาดเล็กกว่า โดยได้คะแนนสำหรับการทดสอบ Plain Document OCR สามารถทำคะแนน F1 ได้ 0.926 สำหรับภาษาอังกฤษ และ 0.928 สำหรับภาษาจีน

แหล่งเข้าถึง: <a href="https://huggingface.co/stepfun-ai/GOT-OCR2_0">https://huggingface.co/stepfun-ai/GOT-OCR2_0</a>

mediaLibraryStrapi

โมเดลภาษาขนาดเล็กจาก Jina AI ที่ทำหน้าที่ในการแปลงไฟล์ HTML ที่ไม่เป็นระเบียบให้เป็น Markdown ที่สะอาดและจัดรูปแบบได้อย่างสวยงามโดยเฉพาะ มาด้วยกัน 2 ขนาด คือ Reader-LM-0.5B สำหรับงานที่ไม่ซับซ้อน ใช้พลังการประมวลผลน้อย และ Reader-LM-1.5B ที่มีขนาดใหญ่ขึ้น เพื่อจัดการโครงสร้าง HTML ที่ซับซ้อนได้มากขึ้น &nbsp;

ทั้งสองโมเดลสามารถจัดการกับเอกสาร HTML ที่มีขนาดยาวได้ถึง 256,000 tokens รองรับได้หลายภาษา และทำงานบนอุปกรณ์ Edge ที่มี parameters น้อยกว่า 1B ได้อย่างมีประสิทธิภาพ ในการนำไปใช้งานจริง ไม่เพียงแต่จะใช้กับงานเอกสาร บล็อก และระบบจัดการเนื้อหาที่ต้องการ Markdown อย่างเป็นระเบียบแล้ว ยังสามารถนำไปใช้งานได้แบบเรียลไทม์ เช่น การสร้างตัวอ่านฟีดที่สะอาด โดยการแปลง HTML ดิบ จากแหล่งข้อมูลต่างๆ ให้เป็น Markdown ที่มีโครงสร้างที่จะช่วยสรุปและระบุหัวข้อง่ายขึ้น&nbsp;

&nbsp;แหล่งเข้าถึง:&nbsp;

- Reader-LM-0.5B: <a href="https://huggingface.co/jinaai/reader-lm-0.5b" target="_blank">https://huggingface.co/jinaai/reader-lm-0.5b</a>&nbsp;

-&nbsp;Reader-LM-1.5B: <a href="https://huggingface.co/jinaai/reader-lm-1.5b">https://huggingface.co/jinaai/reader-lm-1.5b</a>

นักวิจัยจากสถาบัน <a href="https://nlp.ict.ac.cn/en/">ICT-CAS</a> แห่งประเทศจีน พัฒนา LLaMA-Omni ขนาด 8B เป็นโมเดลที่โต้ตอบด้วยเสียงกับโมเดลภาษาขนาดใหญ่ (LLMs) ที่สร้างบนโมเดล Llama-3.1-8B-Instruct ของ Meta สามารถประมวลผลคำสั่งเสียงและสร้างข้อความและเสียงตอบกลับได้ภายใน 226 มิลลิวินาที ซึ่งใกล้เคียงกับความเร็วของการพูดของมนุษย์&nbsp;

ในการสร้างโมเดล LLaMA-Omni ยังใช้เวลาในการเทรนน้อยมากเพียง 3 วัน โดยใช้ GPU เพียง 4 ตัว ถือว่าใช้งบประมาณและทรัพยากรน้อยกว่าระบบขั้นสูงทั่วไปมาก ซึ่งขณะนี้ตัวโมเดลยังมีข้อจำกัดในการรองรับได้แค่ภาษาอังกฤษ แต่ก็ถือเป็นก้าวสำคัญในการนำ LLaMA-Omni ไปพัฒนาระบบเสียง หรือแชตบอตที่จะช่วยในภาคธุรกิจบริการ หรือการดูแลสุขภาพได้อย่างมีประสิทธิภาพ&nbsp;

แหล่งเข้าถึง: <a href="https://huggingface.co/ICTNLP/Llama-3.1-8B-Omni" target="_blank">https://huggingface.co/ICTNLP/Llama-3.1-8B-Omni</a>&nbsp;

เครื่องมือลบแบ็กกราวด์ออกจากภาพ เพียง “ระบุเพื่อตัด” ด้วยการใส่พรอมต์ชื่อวัตถุ หรือลากกรอบไปยังวัตถุที่ต้องการ ก็ได้ภาพที่มีความละเอียดสูงออกมาอย่างสวยงามและง่ายสุดๆ โดย Object Cutter ใช้โมเดล Finegrain Box Segmenter ที่ได้รับการเทรนด้วยชุดข้อมูลที่จัดทำโดย Finegrain และ Nfinite ปล่อยให้ออกมาลองใช้กันแล้วบน Hugging Face

ทดลองเดโม: <a href="https://huggingface.co/spaces/finegrain/finegrain-object-cutter">https://huggingface.co/spaces/finegrain/finegrain-object-cutter</a>

Fish Audio ปล่อยโมเดล Text to Speech ขนาดเล็กเวอร์ชันใหม่ ที่เทรนด้วยข้อมูลปริมาณมากถึง 700,000 ชั่วโมง ทำให้เพิ่มความสามารถในการจัดการสำเนียงของเสียง และภาษาต่างๆ ได้อย่างเป็นธรรมชาติมากขึ้น จุดเด่นของโมเดลคือการแปลงข้อความเป็นเสียงได้อย่างรวดเร็ว และยังรองรับการโคลนเสียง (Voice Cloning) ให้ผู้ใช้สามารถจำลองเสียงได้ทันที &nbsp;

ขณะนี้&nbsp;Fish Speech 1.4 รองรับการใช้งานได้ถึง 8 ภาษา ได้แก่ อังกฤษ จีน เยอรมัน ญี่ปุ่น ฝรั่งเศส สเปน เกาหลี และอาหรับ  เหมาะกับการนำไปใช้ในงานถ่ายทอดสด เกม หรือระบบตอบกลับด้วยเสียง เป็นต้น&nbsp;

ทดลองเดโม: <a href="https://fish.audio/" target="_blank">https://fish.audio/</a>&nbsp;

แหล่งเข้าถึง: <a href="https://huggingface.co/fishaudio/fish-speech-1.4" target="_blank">https://huggingface.co/fishaudio/fish-speech-1.4</a>&nbsp;

. พบกับโมเดลปัญญาประดิษฐ์คุณภาพสูง ที่แม่นยำภาษาไทย และสามารถทำงานกับข้อมูลได้หลากหลายประเภททั้ง ข้อความ ภาพ เสียง และข้อมูลตาราง ใช้งานได้แล้ววันนี้บนระบบคลาวด์ที่ <a href="https://acp.visai.ai/">AI Cloud Platform</a>

[1]&nbsp; - <a href="https://www.marktechpost.com/2024/09/16/got-general-ocr-theory-unveiled-a-revolutionary-ocr-2-0-model-that-streamlines-text-recognition-across-multiple-formats-with-unmatched-efficiency-and-precision/" target="_blank">https://www.marktechpost.com/2024/09/16/got-general-ocr-theory-unveiled-a-revolutionary-ocr-2-0-model-that-streamlines-text-recognition-across-multiple-formats-with-unmatched-efficiency-and-precision/</a>&nbsp;

- <a href="https://x.com/_philschmid/status/1833767227218186533/photo/1" target="_blank">https://x.com/_philschmid/status/1833767227218186533/photo/1</a>&nbsp;

- <a href="https://arxiv.org/pdf/2409.01704" target="_blank">https://arxiv.org/pdf/2409.01704</a>&nbsp;

- <a href="https://jina.ai/news/reader-lm-small-language-models-for-cleaning-and-converting-html-to-markdown/?nocache=1" target="_blank">https://jina.ai/news/reader-lm-small-language-models-for-cleaning-and-converting-html-to-markdown/?nocache=1</a>&nbsp;

- <a href="https://medium.com/aimonks/reader-lm-efficient-html-to-markdown-conversion-with-ai-1043950b545d" target="_blank">https://medium.com/aimonks/reader-lm-efficient-html-to-markdown-conversion-with-ai-1043950b545d</a>&nbsp;

[3] <a href="https://venturebeat.com/ai/llama-omni-the-open-source-ai-thats-giving-siri-and-alexa-a-run-for-their-money/" target="_blank">https://venturebeat.com/ai/llama-omni-the-open-source-ai-thats-giving-siri-and-alexa-a-run-for-their-money/</a>&nbsp;

[4]&nbsp;<a href="https://x.com/Gradio/status/1833520979479278062" target="_blank">https://x.com/Gradio/status/1833520979479278062</a>&nbsp;

[5] <a href="https://x.com/FishAudio/status/1833787529595912531" target="_blank">https://x.com/FishAudio/status/1833787529595912531</a>&nbsp;

News of the Week: โมเดลขนาดเล็ก LLaMA-Omni, GOT-OCR ฯลฯ