Το κόστος inference μειώθηκε ξανά αυτό το τρίμηνο — όχι όμως για όλους

Το αφήγημα των φθηνών tokens είναι πραγματικό, αλλά ελλιπές. Κατά μέσο όρο μεταξύ των παρόχων, η απλή παραγωγή κειμένου είναι αισθητά φθηνότερη σε σχέση με έναν χρόνο πριν. Τα workloads που διατηρούν ανοιχτά μεγάλα contexts, καλούν επανειλημμένα εργαλεία ή εκτελούν reasoning σε βάθος δεν έχουν ακολουθήσει την ίδια καμπύλη.

Γιατί οι μέσοι όροι παραπλανούν

Οι ομάδες που αναπτύσσουν βοηθούς πληρώνουν για επαναληπτικές προσπάθειες, περάσματα επαλήθευσης και το επιπλέον κόστος ενορχήστρωσης, τα οποία δεν εμφανίζονται ποτέ σε μια σύγκριση τιμής ανά εκατομμύριο tokens. Αρκετά στελέχη προϊόντος καταρτίζουν πλέον τους προϋπολογισμούς με βάση την ολοκλήρωση κάθε εργασίας και όχι τον αριθμό των tokens.

Η πρακτική συνέπεια είναι ότι η αρχιτεκτονική αποτελεί απόφαση κόστους. Το caching, τα μικρότερα μοντέλα δρομολόγησης και τα αυστηρά όρια εξόδου συμβάλλουν περισσότερο στα οικονομικά ανά μονάδα από οποιαδήποτε έκπτωση προμηθευτή.