การตอบคำถามกฎหมายที่แม่นยำในบริบทของกฎหมายไทยเป็นสิ่งที่มีท้าทายสูง เนื่องจากความซับซ้อนและความละเอียดอ่อนของเนื้อหา ไม่ว่าจะทั้งการค้นหามาตรากฎหมายที่เกี่ยวข้อง การสืบค้นฎีกา หรือข้อหารือต่างๆ

อย่างไรก็ตามระบบ AI ในปัจจุบัน เช่น RAG (Retrieval Augmented Generation) ที่สร้างมาจากเทคโนโลยีโมเดลภาษาขนาดใหญ่ (Large Language Models หรือ LLMs) และโมเดลสืบค้น (Retrieval Model) ยังเจอปัญหาการอ้างอิงกฎหมายที่ผิด การหลอน (hallucination) หรือการสืบค้นที่ผิดพลาด ซึ่งยังคงเป็นอุปสรรคต่อการใช้งานจริง

สำหรับ blog นี้ เราจะให้ความสนใจที่โจทย์ “เราจะทำยังไงให้ RAG อ้างอิงกฎหมายได้อย่างแม่นยำขึ้น โดยการประยุกต์งานวิจัย Reinforcement Learning (RL) ด้วยเทคนิค Group-Relative Policy Optimization (GRPO)?” เพื่อเพิ่มประสิทธิภาพในการอ้างอิงเอกสารในต้นทุนที่ถูกกว่าการใช้ reward model ด้วย LLM judge ถึง 2.5 เท่าและ เพื่อลดต้นทุนในการพัฒนา AI สำหรับงานกฎหมายไทย

หากต้องการอ่านรายงานฉบับเต็ม สามารถตามอ่านได้<a href="https://arxiv.org/abs/2507.09638">ที่นี่</a>เลย

ข้อจำกัดของ RAG ในปัจจุบัน

การนำ RAG มาใช้กับการตอบคำถามกฎหมายไทยมีอุปสรรคหลัก ๆ ได้เจอจากงานวิจัย <a href="https://arxiv.org/abs/2502.10868">NitiBench</a> ดังนี้:

วิธีการ train LLM แบบดั้งเดิม เช่นการทำ Instruction Tuning อาจช่วยปรับปรุงความสามารถทั่วไปได้ แต่ไม่สามารถควบคุมพฤติกรรมการอ้างอิงหรือการให้เหตุผลทางกฎหมายที่ซับซ้อนได้อย่างแม่นยำ

การใช้ RL เพื่อช่วยให้ RAG อ้างอิงได้แม่นยำขึ้น

การทำ instruction tuning อาจจะช่วยให้การอ้างอิงแม่นยำขึ้นได้ผ่านการใช้คู่คำถามและคำตอบพร้อมด้วยกฎหมายที่เกี่ยวข้องเป็นชุด instruction pair แต่มันไม่ได้ทำการสอนให้ระบบเพิ่มความสามารถในการอ้างอิงกฎหมายโดยตรง

แล้วเราสามารถทำให้ LLM เก่งการอ้างอิงกฎหมาย ตรงๆขึ้นได้ไหม?

คำตอบคือได้ด้วยการใช้คะแนนอ้างอิงเอกสารเป็น reward ในการทำ RL ตรงๆผ่านวิธี GRPO นั่นเอง

สำหรับงานนี้ เราจะใช้ GRPO implementation แทนที่จะใช้ PPO เพื่อลดความต้องการของ critic head (value head) และประหยัดการคำนวนกว่า

อ้างอิงกฎหมายให้แม่นด้วย GRPO

GRPO คืออะไร? GRPO เป็นเทคนิคในการทำ reinforcement learning ชนิดหนึ่ง โดยมีการทำงานคือจะทำการสอนให้ LLM ตอบคำถามเพื่อให้ได้ reward สูงที่สุด โดยเราจะต้องนิยาม reward function ให้ว่าต้องการจะให้คำตอบเป็นลักษณะที่ต้องการแบบไหน หากต้องการ deep dive เพื่อศึกษาว่า GRPO คืออะไรแล้วเกี่ยวข้องกับ PPO ยังไง สามารถอ่านได้ที่<a href="https://www.notion.so/1aacc0d1825280d89ebecb9010126fe5?pvs=21">บทความนี้เลย</a>

สำหรับงานนี้ เราจะใช้ GRPO เพื่อเพิ่มความแม่นยำในการอ้างอิงกฎหมายและคุณภาพคำตอบ โดยออกแบบ reward function โดยสนใจสองประเด็นหลัก:

เนื่องจากชุดข้อมูลที่เราใช้จะเป็น WangchanX-Legal-CCL-RAG ที่มี triples ประกอบด้วย (q, T, y) โดย q คือ query หรือคำถาม, T คือเอกสารที่เกี่ยวข้องกับ q, และ y คือ reference answer ที่ตอบคำถาม q

การให้ reward จากการอ้างอิงกฎหมายที่ถูกต้อง

สำหรับ setup การคำนวน reward ของการอ้างอิง เราจะให้ LLM ทำการแนบเอกสารที่ใช้ประกอบการตอบทุกครั้ง (โดยเราจะเรียกเอกสารที่ LLM อ้างอิงว่า T_pred) และเราจะใช้เอกสารที่ LLM อ้างอิงมาใช้คำนวน F1-score เทียบกับ positives จาก dataset (T) กล่าวคือ เราจะคำนวน citation reward ดังนี้

citation_reward(T, T_pred) = f1_score(T, T_pred)

ด้วยวิธีนี้ LLM จะได้คะแนนเยอะ ถ้าหากสามารถอ้างอิงกฎหมายได้ถูกต้องที่สุดและ minimize false positive และ false negative ไปพร้อมกัน

ก้าวข้าม Reward model ในการให้คะแนน reference answer ที่มีประสิทธิภาพกว่า

นอกจากการให้ reward บนคะแนนอ้างอิงแล้ว เรายังออกแบบ reward ให้คำตอบที่ LLM ตอบ (y_pred) มีความถูกต้องเหมือนกับ reference answer (y) จากใน dataset ด้วย กล่าวคือ response quality reward เป็นฟังก์ชั่นของ y และ y_pred

โดยเราทำการทดลองคำนวน reward ระหว่างบน 2 setup ได้แก่

ข้อดีของการใช้ embedding model เป็นตัวให้คะแนน response quality reward คือช่วยลดค่าใช้จ่ายในการคำนวณได้ถึง 2.5 เท่าเลยทีเดียว!

สำหรับการทดลอง เราจะให้ความสำคัญกับ moving point 3 ส่วนได้แก่

โดยในทุกการทดลอง เราจะใช้ Qwen2.5-7B เป็น baseline ทั้งหมด และทั้งการทำ instruction tuning และ GRPO จะทำบน setup Parameter-Efficient FineTuning (PEFT) โดยใช้ LoRA เป็นเทคนิคในการ finetune เพื่อให้ setups ตรงกับการใช้งานที่มีทรัพยากรการคำนวน (หรือ GPU) ที่จำกัด

ชุดข้อมูที่ใช้ในการทดลอง เราจะสโคปการทดลองบน <a href="https://arxiv.org/abs/2502.10868">NitiBench benchmark</a> เท่านั้น โดยจะโฟกัสที่โจทย์ถามตอบกฎหมายเป็นหลัก

จากผลการทดลอง เราสามารถสรุปข้อสังเกตต่างๆได้ดังนี้

นอกจากนี้ เรายังทำการทดลองเพื่อวัดผล combination ของการตั้งค่า reward แบบต่างๆอีกด้วย

โดยจากผลการทดลองสามารถสรุปได้ดังนี้

หากต้องการอ่าน findings ที่ได้จากงานวิจัยนี้ สามารถอ่านได้ที่ technical report ฉบับเต็มได้<a href="https://arxiv.org/abs/2507.09638">ที่นี่</a>เลย

ข้อดีสำหรับนักพัฒนาและผู้สร้าง AI

เทคนิคนี้มีประโยชน์สำหรับนักพัฒนาและผู้สร้าง AI โดยสามารถนำไปใช้กับข้อมูล RAG ใน domain อื่นๆได้ที่มี คำถาม เอกสารที่เกี่ยวข้อง และคำตอบอ้างอิง และการใช้เทคนิคนี้สามารถช่วยเพิ่มประสิทธิภาพของ RAG ได้โดยเฉพาะในบริบทของงานที่ต้องการความแม่นยำในการอ้างอิงสูง:

การใช้ GRPO ร่วมกับ Reward Proxies เช่นการใช้ BGE-M3 แทน judge LLM ขนาดใหญ่ เป็นวิธีการช่วยประหยัดทรัพยากรในการพัฒนา AI สำหรับการตอบคำถามกฎหมายไทย ไม่เพียงแต่ช่วยเพิ่มความแม่นยำและคุณภาพคำตอบ แต่ยังลดต้นทุนลงอย่างมากทั้งในด้านเวลาและค่าใช้จ่าย ทำให้เหมาะสำหรับการใช้งานจริงในสภาพแวดล้อมที่มีข้อจำกัดด้านทรัพยากร เราหวังว่างานวิจัยนี้จะช่วยปูทางไปสู่การพัฒนาเทคโนโลยี AI ที่มีประสิทธิภาพและเข้าถึงได้มากขึ้นในอนาคต

อ่านบทความฉบับเต็มได้ที่

<a href="https://arxiv.org/abs/2507.09638">https://arxiv.org/abs/2507.09638</a>

อ่านบทความเพิ่มเติมเกี่ยวกับ GRPO และ PPO ได้ที่&nbsp;<a href="https://chompk.notion.site/RL-LLM-PPO-GRPO-1aacc0d1825280d89ebecb9010126fe5?pvs=74">https://chompk.notion.site/RL-LLM-PPO-GRPO-1aacc0d1825280d89ebecb9010126fe5?pvs=74</a>

ทำ RAG กฎหมายไทยด้วย GRPO