Tableau du coût total
Il n’existe pas de vainqueur universel en matière de prix. Votre coût total comprend l’inférence, les nouvelles tentatives, le stockage, l’orchestration, le temps d’ingénierie et le travail opérationnel requis pour chaque requête.
1
Unité de facturation
fal
Généralement évalué par génération ou par requête nécessitant des ressources de calcul, selon le modèle.
Replicate
Généralement évalué par prédiction, par exécution du modèle ou selon la base tarifaire publiée du modèle.
2
Visibilité des coûts du modèle
Fal
Les coûts peuvent être plus faciles à comparer lorsque le modèle sélectionné indique clairement un tarif par sortie ou par unité de temps.
Replicate
Les coûts varient considérablement selon le modèle et l’environnement d’exécution ; la comparaison nécessite donc de consulter la page de chaque modèle.
3
Exposition aux coûts des nouvelles tentatives
Fal
Une itération rapide peut réduire le coût en temps des expériences échouées, mais les nouvelles tentatives augmentent tout de même les dépenses d’inférence.
Replicate
Les nouvelles tentatives présentent la même préoccupation en matière de coûts directs et peuvent également augmenter les dépenses lorsque des démarrages à froid ou des exécutions longues sont impliqués.
4
Frais généraux d’ingénierie
Fal
Un workflow de génération ciblé peut être économique lorsque le modèle et le chemin d’API requis sont déjà clairement définis.
Replicate
Un catalogue étendu peut réduire le temps consacré à la recherche d’un modèle, même si chaque modèle peut avoir des entrées et un comportement différents.
5
Enjeu de mise à l’échelle
Fal
Estimez la concurrence, la mise en file d’attente, la durée des sorties et la demande maximale avant de considérer le prix affiché du modèle comme un coût final.
Replicate
Estimez la durée d’exécution, le comportement lors des démarrages à froid, les limites de concurrence et les modèles de trafic pour le déploiement choisi.
6
Question clé sur les coûts
Fal
Cette plateforme peut-elle obtenir le résultat requis avec moins d’expérimentations et moins de code de liaison ?
Replicate
Le catalogue et le choix du déploiement peuvent-ils réduire le travail lié à l’infrastructure personnalisée ou à l’hébergement des modèles ?
7
Risque budgétaire
Fal
Un flux de travail rapide peut encourager davantage d’itérations, ce qui rend la rigueur dans l’utilisation importante pendant le prototypage.
Replicate
Un vaste catalogue de modèles peut encourager des changements fréquents, ce qui rend important le suivi des coûts par modèle.
8
Qui devrait commencer les calculs
Fal
Les équipes qui comparent plusieurs modèles d’image, de vidéo, audio ou multimodaux pour un même parcours de production.
Replicate
Les équipes qui testent de nombreux fournisseurs de modèles avant de standardiser un point de terminaison particulier.