โมเดลภาษา หรือ Language Model (LM) คือปัญญาประดิษฐ์ที่มีความถนัดในการเข้าใจและผลิตภาษาได้แบบมนุษย์ และยังสามารถจดจำลักษณะของภาษามนุษย์ (linguistic features) รวมถึงสามารถทำนายคำที่หายไปโดยอ้างอิงจากคำอื่นๆ ในวลีหรือประโยค โมเดลภาษาสามารถนำไปประยุกต์เพื่อจัดการกับงานที่อาศัยความเข้าใจภาษามนุษย์ได้หลากหลายรูปแบบ เช่น การตอบคำถาม การแปล การแต่งเนื้อหา หรือการสรุปความ โดยในขั้นต้นนั้นโมเดลภาษาจะได้รับการพัฒนาในขั้นที่เรียกว่า Pre-trained ซึ่งเป็นการให้โมเดลเรียนรู้จากข้อมูลสาธารณะปริมาณมหาศาลที่ไม่มีการกำกับเฉลยจากมนุษย์ เช่น ข้อมูลจากวิกิพีเดีย หรือข้อมูลจากหนังสือ หลังจากเรียนรู้ โมเดลจะจดจำลักษณะทางภาษาและจะมีความสามารถในการทำนายคำที่หายไปได้

สถาปัตยกรรมที่พบใน Pre-trained Language Model ในปัจจุบัน

สถาปัตยกรรม (Architecture) ในโมเดลก็เปรียบเหมือนเครื่องยนต์ที่ใช้ขับเคลื่อนซึ่งมีหลายประเภท ในอดีตสถาปัตยกรรมที่มักนำมาใช้กับโมเดลที่ประมวลผลภาษาธรรมชาติ (NLP) ได้แก่ RNN (Recurrent Neural Network) ซึ่งมีข้อจำกัดคือ ไม่สามารถประมวลผลพร้อมกันทีละหลายคำแบบ Parallel ในปัจจุบันจึงได้มีการพัฒนาและใช้งานสถาปัตยกรรม Transformer เข้ามาเป็นสถาปัตยกรรมหลัก ซึ่งช่วยให้โมเดลสามารถประมวลคำได้ครั้งละหลายคำยิ่งขึ้น ส่งผลให้ประสิทธิภาพของโมเดลสูงขึ้น โดยสถาปัตยกรรม Transformer สามารถแบ่งออกได้เป็น 2 ส่วนคือ Encoder และ Decoder ซึ่งแต่ละส่วนสามารถนำไปใช้งานแยกกันหรือนำมาใช้งานร่วมกันก็ได้

เป็นสถาปัตยกรรมแบบ Transformers รูปแบบหนึ่ง&nbsp;ที่ใช้งานส่วน Encoder เท่านั้น โดยมักจะถูก Pre-train ด้วยวิธี Masked Language Modeling (MLM) ซึ่งเป็นการเติมคำที่หายไปในวลีหรือประโยค&nbsp;โดยโมเดลภาษาประเภทนี้จะมีความถนัดในการทำงานที่เกี่ยวข้องกับการทำความเข้าใจภาษาธรรมชาติ (Natural Language Understanding) เช่น โมเดลการจำแนกประเภทของข้อความ (Text Classification) หรือโมเดลภาษา (Language Model) ประเภท Encoder-only ได้แก่ BERT, RoBERTa, WangchanBERTa&nbsp;

เป็นสถาปัตยกรรมแบบ Transformers รูปแบบหนึ่งที่ใช้งานส่วน Decoder เท่านั้น ทำให้โมเดลมีสามารถในการเติมคำถัดไปในวลีหรือประโยค โดยโมเดลภาษาประเภทนี้จะมีความถนัดในงานที่เป็นการผลิตข้อความขึ้นมา (Text Generation) ตัวอย่างโมเดลที่จัดอยู่ในประเภท Decoder-only เช่น ChatGPT

เป็นสถาปัตยกรรมแบบ Transformers อีกรูปแบบ ที่ Pre-train ด้วยวิธี Corrupted Text Reconstruction ที่ใช้งานทั้งส่วน Encoder และ Decoder ซึ่งการ pre-train ด้วยวิธี Corrupted Text Reconstruction คือการทำให้โมเดลสามารถแก้ไขข้อความที่เราเปลี่ยนแปลงให้ผิดไปจากเดิม เช่น การสลับตำแหน่งของคำหรือวลี การนำคำหรือข้อความบางส่วนออกไป ให้กลับมาถูกต้องตรงตามต้นฉบับได้ โมเดลที่ใช้สถาปัตยกรรมประเภทนี้จะมีความถนัดในการทำงานทั้งฝั่งการเข้าใจภาษาธรรมชาติ และการผลิตข้อความ&nbsp;

การนำ Pre-trained Model ไปประยุกต์ใช้

เมื่อได้โมเดลภาษาในระดับ Pre-trained แล้ว หากต้องการให้โมเดลมีความสามารถในการทำงานที่เกี่ยวข้องกับภาษามนุษย์ได้หลากหลายขึ้นและมีประสิทธิภาพสูงขึ้น จะต้องนำไปพัฒนาต่อยอดต่อให้เหมาะกับการใช้งานที่เฉพาะเจาะจง โดยปัจจุบันมีกรอบแนวคิดในการพัฒนา 2 รูปแบบ คือ

คือการนำโมเดลระดับ Pre-trained มาทำการ Fine-tuning หรือก็คือการนำโมเดลภาษาขั้น Pre-trained ที่ผ่านการเรียนรู้ลักษณะทางภาษา (linguistic features) สามารถทำนายคำได้มาปรับปรุงต่อ เพื่อให้สามารถจัดการกับงาน&nbsp;ที่เฉพาะเจาะจงอย่างใดอย่างหนึ่ง โดยการพัฒนาในขั้น Fine-tuning จะให้โมเดลภาษาเรียนรู้กับชุดข้อมูลที่ขนาดเล็กกว่าและได้รับการกำกับเฉลยผลลัพธ์มาแล้วโดยมนุษย์ ซึ่งเป็นหนึ่งในกระบวนการ RLHF (Reinforcement Learning from Human Feedback) ที่ช่วยให้โมเดลประมวลผลภาษามนุษย์ได้คล้ายคลึงกับมนุษย์ยิ่งขึ้น โดยการทำ Fine-tuning ให้ได้ประสิทธิภาพควรจะต้องมีชุดข้อมูลที่มนุษย์กำกับแล้วประมาณ 10,000 ตัวอย่าง&nbsp;

คือการนำโมเดลระดับ Pre-trained มาทำการผ่าน Prompting หรือก็คือการชักจูงให้โมเดลภาษาที่ขนาดใหญ่มากทำงานบางอย่างที่ผู้ใช้งานต้องการ โดยมีสมมุติฐานว่าแท้จริงแล้วโมเดลภาษาขนาดใหญ่ได้เรียนรู้ข้อมูลความรู้ รวมถึงข้อมูลลักษณะทางภาษามากพอ&nbsp;จนสามารถทำงานหลากหลายประเภทได้อยู่แล้ว เพียงแต่ต้องการการกระตุ้นจากข้อมูลขาเข้า (input) ที่เหมาะสม&nbsp;เพื่อสั่งการให้โมเดลทำงานที่ต้องการออกมาได้ การใช้วิธี Prompting มีข้อดีคือ ไม่จำเป็นต้องใช้ชุดข้อมูลที่มีขนาดถึง 10,000 ตัวอย่าง อีกทั้งยังนำไปใช้งานง่ายกว่า

WangchanBERTa และ WangChanGLM คืออะไร

เนื่องจากโมเดลในระดับ Pre-trained ต้องอาศัยทรัพยากรในการพัฒนาจำนวนมาก สถาบันวิทยสิริเมธี (VISTEC) จึงได้ พัฒนาโมเดลภาษาแบบ Pre-trained Model ขึ้นมา 2 โมเดล ได้แก่ WangchanBERTa โดยร่วมมือกับ PyThaiNLP และเสริมด้วยความร่วมมือจาก SCB10X&nbsp;ในการพัฒนา WangchanGLM เพื่อให้เกิดการนำโมเดลเหล่านี้ไปพัฒนาต่อโดยผู้ที่สนใจ ช่วยยกระดับเทคโนโลยีปัญญาประดิษฐ์ในประเทศไทย

ความแตกต่างระหว่าง WangchanBERTa และ WangChanGLM&nbsp;

พัฒนาขึ้นในปี 2021 ด้วยความร่วมมือระหว่าง VISTEC และ PyThaiNLP เป็นโมเดลประเภท Encoder-only เทรนโดยวิธี Masked Language Modeling (MLM) ด้วยข้อมูลสาธารณะจากหลากหลายแหล่ง อาทิ Thairath222k, scb-mt-en-th, wongnai-corpus, และ Thai National Corpus โมเดลนี้รองรับเฉพาะภาษาไทย และเหมาะกับการนำไปใช้กับงานที่เกี่ยวข้องกับการเข้าใจภาษาธรรมชาติ โดยปัจจุบันมียอดดาวน์โหลดไปใช้งานกว่า 1.2 ล้านครั้ง

ศึกษาตัวอย่างการนำไปใช้งานเพิ่มเติมที่: <a href="https://colab.research.google.com/drive/1Kbk6sBspZLwcnOE61adAQo30xxqOQ9ko?usp=sharing#scrollTo=xAPvcK9JIgjo">wangchanberta_getting_started.aireseach.ipynb</a>

ดาวน์โหลดใช้งานฟรีได้แล้ววันนี้ที่: <a href="https://huggingface.co/pythainlp/wangchanglm-7.5B-sft-enth">airesearch/wangchanberta-base-att-spm-uncased</a>&nbsp;

พัฒนาขึ้นในปี 2023 โดยความร่วมมือระหว่าง VISTEC SCB10X และ PyThaiNLP เป็นโมเดลประเภท Decoder-only เทรนโดยวิธี Casual Language Model Objective ด้วยชุดข้อมูล Instruction Following Dataset อาทิ LAION OIG chip2, infill_dbpedia, และ Hello-SimpleAI HC3 โมเดลนี้รองรับหลากหลายภาษา เช่น ไทย อังกฤษ ญี่ปุ่น เวียดนาม เป็นต้น เหมาะกับการนำไปใช้งานที่เกี่ยวข้องกับด้าน Text Generation ปัจจุบัน WangChanGLM อยู่ในขั้นการพัฒนาเวอร์ชันใหม่เพื่อประสิทธิภาพที่ดียิ่งขึ้น&nbsp;

ศึกษาตัวอย่างการนำไปใช้งานเพิ่มเติมที่: <a href="https://colab.research.google.com/github/pythainlp/WangChanGLM/blob/main/demo/WangChanGLM_v0_1_demo.ipynb">WangChanGLM_v0_1_demo.ipynb</a>

ดาวน์โหลดใช้งานฟรีได้แล้ววันนี้ที่: <a href="https://huggingface.co/pythainlp/wangchanglm-7.5B-sft-enth">pythainlp/wangchanglm-7.5B-sft-enth</a>&nbsp;

1. BART: <a href="https://aclanthology.org/2020.acl-main.703">BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension</a>&nbsp;(Lewis et al., ACL 2020)

2.&nbsp;<a href="https://jalammar.github.io/illustrated-bert/">The Illustrated BERT, ELMo, and co. (How NLP Cracked Transfer Learning) – Jay Alammar – Visualizing machine learning one concept at a time. (jalammar.github.io)</a>