Groq
Schnelle KI-Inferenz über GroqCloud mit modellspezifischer nutzungsbasierter Abrechnung und LPU-Infrastruktur.
Über Groq
Groq ist ein Cloud-Dienst für KI-Inferenz, der auf der LPU-Architektur des Unternehmens aufbaut. Entwickler führen mit GroqCloud unterstützte offene Modelle aus, während Groq die zugrunde liegende Inferenzinfrastruktur betreibt. Der Preiskatalog weist den Durchsatz sowie getrennte Preise für Eingabe- und Ausgabetokens aus. So können Teams die erwartete Reaktionsgeschwindigkeit und die API-Kosten vergleichen, bevor sie ein Modell auswählen. Zu den aufgeführten Modellfamilien gehören GPT OSS, Llama und Qwen; einige Modelle sind jedoch auf den Unternehmenszugang beschränkt. Die Nutzung der Sprachsynthese wird nach der Anzahl der Zeichen abgerechnet. Community-Ressourcen und der Chat in der GroqCloud Developer Console bieten Unterstützung für Entwickler. Unternehmen können Groq außerdem zu bestimmten Inferenz-Workloads kontaktieren. Dokumentation zu Sicherheit und Compliance stellt das Groq Trust Center bereit. Schwachstellenmeldungen werden über das private HackerOne-Programm von Groq bearbeitet.
Funktionen
Schnelle LLM-Inferenz
Führen Sie unterstützte offene Sprachmodelle auf der LPU-basierten Cloud-Infrastruktur von Groq aus und nutzen Sie veröffentlichte Durchsatzwerte.
Nutzungsbasierte API-Preise
Eingabe- und Ausgabetokens werden getrennt abgerechnet; die modellspezifischen Preise sind pro Million Tokens veröffentlicht.
Modellauswahl
Wählen Sie je nach Anforderungen an Geschwindigkeit, Kontext und Kosten zwischen Modellen wie GPT OSS, Llama und Qwen-Varianten.
Vorteile
- Veröffentlichte Tokenpreise für jedes Modell erleichtern den Vergleich der API-Kosten.
- Der veröffentlichte hohe Tokendurchsatz eignet sich für Anwendungsabläufe, bei denen schnelle Antworten wichtig sind.
- Mehrere unterstützte Modellfamilien ermöglichen Teams, Geschwindigkeit, Kontext und Kosten gegeneinander abzuwägen.
Nachteile
- Die Gebühren für Eingabe und Ausgabe unterscheiden sich je nach Modell, sodass Kostenschätzungen workloadspezifische Tokenmengen erfordern.
- Einige Modelle sind ausschließlich für Unternehmen verfügbar und erfordern vor der Einführung eine Kontaktaufnahme mit Groq.
- Verfügbarkeit und Kompatibilität der Modelle sind auf den von GroqCloud unterstützten Katalog beschränkt.
Preispläne
Bedarfsabhängig
- GPT OSS 20B: $0.075 für Eingabe und $0.30 für Ausgabe pro 1M Tokens
- Llama 3.1 8B Instant: $0.05 für Eingabe und $0.08 für Ausgabe pro 1M Tokens
- Qwen 3.6 27B: $0.60 für Eingabe und $3.00 für Ausgabe pro 1M Tokens
Modelle nur für Unternehmen
- Anfrage zum Unternehmenszugang
- Minimax M2.7 ist als ausschließlich für Unternehmen verfügbar aufgeführt
- Preisvereinbarung mit Groq
* Die Preisangaben dienen nur zur Orientierung. Bitte beachten Sie die aktuellen Informationen auf der offiziellen Website von Groq.