Integration of memory mechanisms into large language models using embeddings and vector databases: theory and application

Counts differ because each database indexes a different set of publications. We treat OpenAlex as the canonical count; Google Scholar is not shown (no API, and crawling it violates its ToS).

Τα Μεγάλα Γλωσσικά Μοντέλα (Large Language Models – LLMs) έχουν επιφέρει σημαντική πρόοδο στον τομέα της επεξεργασίας φυσικής γλώσσας και των συνομιλιακών συστημάτων.Ωστόσο, ένας από τους σημαντικότερους περιορισμούς τους είναι η αδυναμία διατήρησης πληροφοριών μεταξύ διαφορετικών συνεδριών συνομιλίας, καθώς η λειτουργία τους περιορίζεται από το διαθέσιμο context window. Ο περιορισμός αυτός δυσχεραίνει την ανάπτυξη συστημάτων που απαιτούν εξατομίκευση και μακροχρόνια διατήρηση γνώσης σχετικά με τον χρήστη.Στην παρούσα διπλωματική εργασία μελετάται η έννοια της μακροπρόθεσμης μνήμης στα Μεγάλα Γλωσσικά Μοντέλα και προτείνεται μία αρχιτεκτονική που αξιοποιεί εξωτερική διανυσματική βάση δεδομένων για την αποθήκευση και τη σημασιολογική ανάκτηση πληροφοριών. Αρχικά παρουσιάζεται το θεωρητικό υπόβαθρο των LLMs, των embeddings, των vector databases και των σύγχρονων τεχνικών Retrieval-Augmented Generation (RAG), καθώς και σχετικές ερευνητικές προσεγγίσεις στη διαχείριση μνήμης.Στο πλαίσιο της εργασίας αναπτύχθηκε εξ ολοκλήρου ένα πρωτότυπο συνομιλιακό σύστημα, χωρίς τη χρήση έτοιμων πλαισίων ανάπτυξης όπως το LangChain. Η υλοποίηση περιλαμβάνει μηχανισμούς ταξινόμησης νέων πληροφοριών, δημιουργίας embeddings, αποθήκευσης και ανάκτησης μνήμης, σύνοψης συνεδριών, κατασκευής prompts και παραγωγής απαντήσεων μέσω Μεγάλου Γλωσσικού Μοντέλου. Επιπλέον, υλοποιήθηκε μηχανισμός καταγραφής όλων των σταδίων λειτουργίας του συστήματος για την υποστήριξη της πειραματικής αξιολόγησης.Η αξιολόγηση πραγματοποιήθηκε μέσω σειράς πειραμάτων, στα οποία εξετάστηκε η αποτελεσματικότητα της μακροπρόθεσμης μνήμης, η συμπεριφορά του μηχανισμού σημασιολογικής ανάκτησης σε πολυθεματικά σενάρια και η επίδραση της μνήμης στον χρόνο απόκρισης του συστήματος. Τα αποτελέσματα έδειξαν ότι η προτεινόμενη αρχιτεκτονική βελτιώνει σημαντικά την προσωποποίηση και τη συνέπεια των παραγόμενων απαντήσεων, ενώ η επιβάρυνση στον χρόνο απόκρισης παραμένει περιορισμένη συγκριτικά με τον χρόνο παραγωγής της απάντησης από το γλωσσικό μοντέλο.Η εργασία καταλήγει στην ανάδειξη των πλεονεκτημάτων αλλά και των περιορισμών της προτεινόμενης προσέγγισης, ενώ παρουσιάζει πιθανές μελλοντικές επεκτάσεις που αφορούν τη βελτίωση του μηχανισμού ανάκτησης, την υποστήριξη πολυτροπικής μνήμης και την αξιοποίηση δομημένων αναπαραστάσεων γνώσης.