Ρωτήστε το Lutecium Documentary Synthesis — Technical Design

Ρωτήστε το Lutecium Documentary Synthesis — Technical Design

Αυτή η σελίδα περιγράφει την τεχνική αρχιτεκτονική του στοιχείου σύνθεσης ντοκιμαντέρ του Ask Lutecium. Προορίζεται για σχεδιαστές λογισμικού, ερευνητές και τεχνικά ενδιαφερόμενους αναγνώστες.

Ρωτήστε το Lutecium σκόπιμα χωρίζει σημασιολογική ανάκτηση από επεξεργασία γλώσσας-μοντέλου. Το γλωσσικό μοντέλο δεν επιτρέπεται να απαντά ελεύθερα από τις γενικές του γνώσεις. Ο ρόλος του περιορίζεται στην ανάλυση υλικού που ανακτάται από το Lutecium και στην επιλογή προτάσεων τεκμηρίωσης που μπορούν να επαληθευτούν σε σχέση με αυτές τις πηγές.

1. Γενική αρχιτεκτονική

Ερώτηση χρήστη
     |
     v
Semantic retrieval
     |
     v
Relevant Mathèmes passages
     |
     v
Answerability analysis
     |
     v
Relevance classification
     |
     v
Documentary proposition extraction
     |
     v
Mechanical exact-quotation verification
     |
     v
Selection and ordering
     |
     v
Deterministic citation rendering
     |
     v
Displayed documentary synthesis

Η σημασιολογική αναζήτηση και η παραστατική σύνθεση είναι διακριτές πράξεις. Η σημασιολογική αναζήτηση μπορεί να πραγματοποιήσει αναζήτηση στον ιστότοπο του Lutecium, τα αρχεία Mathèmes de Lacan και mirror. Επί του παρόντος, η σύνθεση τεκμηρίωσης περιορίζεται στο Μαθηματικά του Λακάν σώμα.

2. Σημασιολογική ανάκτηση

Η ερώτηση που διατύπωσε ο χρήστης μετατρέπεται πρώτα σε σημασιολογική αναπαράσταση χρησιμοποιώντας ένα πολυγλωσσικό μοντέλο ενσωμάτωσης. Παρόμοια αποσπάσματα ανακτώνται από τις συλλογές Lutecium με ευρετήριο χρησιμοποιώντας αναζήτηση ομοιότητας διανυσμάτων που κατασκευάστηκε σε 384 διάνυσμα διαστάσεων.

Αυτό το στάδιο δεν επιχειρεί να απαντήσει στην ερώτηση. Προσδιορίζει μόνο αποσπάσματα που είναι σημασιολογικά κοντά στο αίτημα.

Αυτή η διάκριση είναι σημαντική: Η σημασιολογική ομοιότητα δεν θεωρείται απόδειξη ότι ένα απόσπασμα απαντά στην ερώτηση.

3. Επεξεργασία γλώσσας-μοντέλου

Όταν ο κύριος διακομιστής σύνθεσης GPU είναι διαθέσιμος, τα ανακτημένα αποσπάσματα των Mathèmes υποβάλλονται σε πολλά στάδια περιορισμένης γλώσσας-μοντέλου.

Υπευθυνότητα

Το πρώτο στάδιο καθορίζει εάν το ανακτηθέν τεκμηριωτικό υλικό επιτρέπει πραγματικά μια απάντηση. Μια θεματική σχέση από μόνη της είναι ανεπαρκής.

Ταξινόμηση συνάφειας

Κάθε ανακτημένο απόσπασμα ταξινομείται ξεχωριστά. Αποσπάσματα που συνδέονται απλώς με το γενικό θέμα, αλλά δεν συμβάλλουν άμεσα στην απάντηση στην ερώτηση, εξαιρούνται από τη σύνθεση.

Εξαγωγή ντοκιμαντέρ πρότασης

Το μοντέλο προσδιορίζει προτάσεις που υποστηρίζονται ρητά από τα διατηρημένα αποσπάσματα και συσχετίζει κάθε πρόταση με μια ακριβή παράθεση και ένα αναγνωριστικό πηγής.

Μηχανική επαλήθευση

Η αποφασιστική επαλήθευση εκτελείται από τον συνηθισμένο κώδικα προγράμματος, όχι από το γλωσσικό μοντέλο.

Για κάθε προτεινόμενη προσφορά υποστήριξης, το πρόγραμμα επαληθεύει ότι η ακριβής ακολουθία χαρακτήρων υπάρχει στην πραγματικότητα στο απόσπασμα πηγής που προσδιορίζεται από το μοντέλο. Ένα απόσπασμα που δεν μπορεί να βρεθεί κυριολεκτικά απορρίπτεται.

Παραγγελία

Μετά την επαλήθευση, το μοντέλο γλώσσας μπορεί να επιλέξει, ομαδοποιήστε και παραγγείλετε τις επικυρωμένες προτάσεις τεκμηρίωσης. Δεν επιτρέπεται να επινοούνται πρόσθετες θεωρητικές μεταβάσεις ή επεξηγηματικές προτάσεις μεταξύ τους.

Ντετερμινιστική απόδοση

Οι αριθμοί πηγής και η τελική παρουσίαση δημιουργούνται μέσω προγραμματισμού. Το μοντέλο δεν παράγει αναφορές.

4. Επτά κανόνες κατά των ψευδαισθήσεων

Κανένας κανόνας ή αδύναμος κανόνας δεν οδηγεί αυτά τα συστήματα να παράγουν και να σφυρηλατούν παραισθήσεις. Για να αποφευχθεί αυτό, εφαρμόζεται μια σειρά από επτά κανόνες, και επειδή είναι υποχρεωτικά ελαχιστοποιούν τον κίνδυνο παραισθήσεων.

  1. Κανόνας μόνο για πηγή. Το γλωσσικό μοντέλο μπορεί να χρησιμοποιεί μόνο τα αποσπάσματα που παρέχονται από το σύστημα ανάκτησης Lutecium. Οι γενικές γνώσεις που περιέχονται στο μοντέλο δεν γίνονται δεκτές ως αποδεικτικά στοιχεία.
  2. Κανόνας ανταπόκρισης. Η σημασιολογική εγγύτητα δεν είναι επαρκής. Το ανακτηθέν υλικό πρέπει να περιέχει ρητές προτάσεις ικανές να απαντήσουν στην ερώτηση. Αν δεν το κάνει, το σύστημα πρέπει να αναφέρει ότι το υλικό τεκμηρίωσης είναι ανεπαρκές.
  3. Κανόνας άμεσης συνάφειας. Κάθε πηγή που διατηρείται για σύνθεση πρέπει να έχει άμεση σχέση με το ερώτημα. Αποσπάσματα που σχετίζονται απλώς θεματικά πρέπει να απορριφθούν.
  4. Κανόνας ακριβούς προσφοράς. Κάθε πρόταση τεκμηρίωσης πρέπει να συσχετίζεται με ένα ακριβές απόσπασμα από μια αναγνωρισμένη πηγή.
  5. Κανόνας μηχανικής επαλήθευσης. Η ύπαρξη κάθε προσφοράς υποστήριξης ελέγχεται μηχανικά σε σχέση με το ανακτηθέν κείμενο πηγής. Επομένως, η επαλήθευση είναι ανεξάρτητη από τον ισχυρισμό του γλωσσικού μοντέλου ότι η προσφορά υπάρχει.
  6. Κανόνας αμετάβλητου εγγράφου. Μόλις επαληθευτεί μια ακριβής υποστήριξη, το περιεχόμενο τεκμηρίωσης που εμφανίζεται στον αναγνώστη περιορίζεται από αυτό το επαληθευμένο υλικό πηγής. Η παράφραση που δημιουργείται από μοντέλο δεν επιτρέπεται να υποκαθιστά μη υποστηριζόμενη διατύπωση για την πρόταση τεκμηρίωσης.
  7. Κανόνας χωρίς γενετική σύνδεση. Το μοντέλο μπορεί να επιλέξει, ομαδοποιήστε και παραγγείλετε επικυρωμένες προτάσεις τεκμηρίωσης, αλλά μπορεί να μην δημιουργεί αιτιώδεις σχέσεις, θεωρητικές συναγωγές, επεξηγηματικές μεταβάσεις ή παραπομπές που απουσιάζουν από το αρχικό υλικό.

Αυτοί οι κανόνες περιορίζουν ουσιαστικά τη συνήθη παραγωγική συμπεριφορά ενός γλωσσικού μοντέλου. Έχουν σχεδιαστεί ειδικά για να αποτρέπουν την είσοδο μη υποστηριζόμενων δηλώσεων στη σύνθεση του ντοκιμαντέρ. Δεν πρέπει, ωστόσο, να ερμηνευθεί ως μια θεωρητική εγγύηση ότι οποιοδήποτε σύστημα γλώσσας-μοντέλου δεν μπορεί να λάθη.

5. Δομημένη επικοινωνία με το LLM

Τα στάδια σύνθεσης επικοινωνούν με το γλωσσικό μοντέλο χρησιμοποιώντας περιορισμένες δομές JSON και όχι πεζογραφία ελεύθερης μορφής.

Η υπηρεσία επικυρώνει το JSON που επιστράφηκε πριν το χρησιμοποιήσει. Εάν μια απόκριση LLM είναι περικομμένη ή περιέχει JSON με κακή μορφή, το στάδιο μπορεί να ξαναδοκιμαστεί μία φορά με μεγαλύτερο όριο απόδοσης. Εάν εξακολουθεί να μην μπορεί να ληφθεί έγκυρη δομημένη έξοδος, ο αγωγός πλήρους σύνθεσης θεωρείται ότι απέτυχε.

6. Πρωτογενής σύνθεση GPU

Η κανονική διαδρομή σύνθεσης χρησιμοποιεί έναν αποκλειστικό διακομιστή συμπερασμάτων GPU συνδεδεμένο στο ιδιωτικό δίκτυο Lutecium.

Ο τρέχων κύριος διακομιστής εκτελείται σε ένα μηχάνημα με γρήγορη GPU που παραχωρείται ευγενικά, τρέχει ένα μοντέλο Qwen 27 δισεκατομμυρίων παραμέτρων μέσω του llama.cpp. Η ίδια η υπηρεσία σύνθεσης εκτελείται σε μια μηχανή Lutecium και αποστέλλει αιτήματα συμπερασμάτων στην κύρια GPU ενώ διατηρεί την ανάκτηση, επαλήθευση και απόδοση υπό τον έλεγχο Lutecium.

7. Υποβαθμισμένη λειτουργία CPU

Εάν ο κύριος διακομιστής GPU δεν είναι διαθέσιμος, Το Ask Lutecium δεν αναστέλλει τη σημασιολογική αναζήτηση.

Τα σημασιολογικά αποτελέσματα επιστρέφονται αμέσως, ενώ μια ασύγχρονη υποβαθμισμένη σύνθεση μπορεί να ξεκινήσει στη μηχανή Lutecium χρησιμοποιώντας ένα μικρότερο μοντέλο γλώσσας που βασίζεται σε CPU.

Η υποβαθμισμένη λειτουργία ενοποιεί την ανάλυση σε ένα μόνο περιορισμένο πέρασμα γλώσσας-μοντέλου, ακολουθούμενη από μηχανική επαλήθευση προσφορών και ντετερμινιστική απόδοση.

Αυτή η λειτουργία είναι πιο αργή, συνήθως απαιτούνται περίπου ένα έως τέσσερα λεπτά ανάλογα με την ερώτηση, τα ανακτημένα αποσπάσματα και η επαναχρησιμοποίηση της προσωρινής μνήμης.

Τα πανομοιότυπα εκκρεμή υποβαθμισμένα αιτήματα καταργούνται, έτσι ώστε οι επαναλαμβανόμενες επαναφορτώσεις σελίδων να μην δημιουργούν πολλές ακριβές εργασίες CPU. Η υποβαθμισμένη ουρά είναι επίσης περιορισμένη.

8. Αντιμετώπιση αστοχίας

  • Διατίθεται κύρια GPU και η πλήρης σύνθεση είναι επιτυχής: εμφανίζεται η κανονική σύνθεση τεκμηρίωσης.
  • Η κύρια GPU δεν είναι διαθέσιμη: Η σημασιολογική αναζήτηση εμφανίζεται αμέσως και ξεκινά η ασύγχρονη υποβαθμισμένη σύνθεση.
  • Διατίθεται κύρια GPU, αλλά μια συγκεκριμένη πλήρης σύνθεση αποτυγχάνει: το αίτημα μεταφέρεται σε ασύγχρονη υποβαθμισμένη σύνθεση αντί να παρουσιάζει ένα αδιέξοδο σφάλμα στον χρήστη.

9. Διαχωρισμός μεταξύ ανάκτησης και δημιουργίας

Το σύστημα σημασιολογικής αναζήτησης καθορίζει ποια έγγραφα μπορεί να είναι σχετικά. Στη συνέχεια, το γλωσσικό μοντέλο εκτελεί περιορισμένη τεκμηριωτική ανάλυση. Τέλος, Το συνηθισμένο ντετερμινιστικό λογισμικό επαληθεύει εισαγωγικά και κατασκευάζει παραπομπές.

Το γλωσσικό μοντέλο επομένως δεν λειτουργεί ως αυτόνομη πηγή γνώσης. Λειτουργεί ως ελεγχόμενη αναλυτική συνιστώσα μεταξύ της ανάκτησης και της ντετερμινιστικής επαλήθευσης.

10. Τρέχον πεδίο εφαρμογής και περιορισμοί

Η σύνθεση ντοκιμαντέρ λειτουργεί επί του παρόντος στο σώμα Mathèmes de Lacan. Η ίδια η σημασιολογική αναζήτηση καλύπτει μια ευρύτερη συλλογή, συμπεριλαμβανομένου του ιστότοπου Lutecium και των αρχείων καθρέφτη.

Η εμφανιζόμενη σύνθεση θα πρέπει συνεπώς να γίνει κατανοητή ως μια δομημένη τεκμηριωτική άποψη των ανακτημένων Μαθηματικών, όχι ως εξαντλητική θεωρητική ερμηνεία του Λακάν και όχι ως υποκατάστατο της συμβουλευτικής στα πρωτότυπα κείμενα.