Tecnica e mestiere
AWS: con NeMo Switchyard le richieste degli agenti di codice vanno al modello giusto
Scegliere il modello adatto a ogni richiesta può tagliare i costi degli agenti di programmazione.

AWS Machine Learning Blog. Per gli agenti di codice, che lavorano per compiti, conta il costo per compito risolto e non il prezzo per token. Il post di AWS mostra come distribuire con l'AWS CDK LiteLLM insieme al plugin di instradamento NVIDIA NeMo Switchyard su Amazon Bedrock, e come misurare il costo per compito risolto di un gruppo di modelli instradati rispetto ai riferimenti a modello singolo.
Leggi su AWS Machine Learning Blog
Argomenti: NVIDIA · Agenti di IA
A cura di Alessio Ascione. Sintesi scritta con l'aiuto di Claude a partire dal testo della fonte, che fa sempre fede: come nasce il giornale. Rettifiche o rimozioni: modulo.