Layanan Informasi Peraturan Akademik Berbasis Chatbot Telegram Menggunakan Pendekatan Retrieval-Augmented Generation: Academic Regulation Information Service Based on a Telegram Chatbot Using a Retrieval-Augmented Generation Approach

Counts differ because each database indexes a different set of publications. We treat OpenAlex as the canonical count; Google Scholar is not shown (no API, and crawling it violates its ToS).

Peraturan akademik merupakan pedoman penting dalam penyelenggaraan pendidikan tinggi. Penelitian ini bertujuan untuk mengembangkan chatbot berbasis Telegram untuk layanan informasi peraturan akademik menggunakan pendekatan Retrieval-Augmented Generation (RAG) di Politeknik Negeri Padang dengan memanfaatkan basis pengetahuan institusi yang telah terverifikasi. Sistem dikembangkan menggunakan PHP dengan framework Laravel dan basis data PostgreSQL yang didukung oleh ekstensi pgvector untuk penyimpanan embedding. Model gemini-embedding-001 digunakan untuk mengubah dokumen peraturan akademik menjadi representasi vektor sehingga memungkinkan proses temu kembali dokumen berdasarkan kemiripan semantik, sedangkan model gemini-2.5-flash digunakan untuk menghasilkan respons berdasarkan konteks peraturan yang berhasil ditemukan. Basis pengetahuan sistem terdiri atas Peraturan Akademik Politeknik Negeri Padang yang mencakup 18 bab dan 75 pasal. Evaluasi proses temu kembali menggunakan 15 pertanyaan uji memperoleh nilai Precision sebesar 0,7467, Recall sebesar 0,9667, dan Mean Reciprocal Rank (MRR) sebesar 0,9333. Selanjutnya, evaluasi pembangkitan jawaban menggunakan 10 pertanyaan uji dengan metode Large Language Model (LLM)-as-a-judge menghasilkan skor relevansi rata-rata sebesar 4,90 pada chatbot berbasis RAG, lebih tinggi dibandingkan chatbot tanpa RAG yang memperoleh skor sebesar 3,20. Temuan ini menunjukkan bahwa pendekatan RAG efektif dalam menyediakan layanan informasi akademik yang cepat, akurat, dan mudah diakses.