LanguageModel
Eingeschränkt verfügbar
Diese Funktion ist nicht Baseline, da sie in einigen der am weitesten verbreiteten Browser nicht funktioniert.
Sicherer Kontext: Diese Funktion ist nur in sicheren Kontexten (HTTPS) in einigen oder allen unterstützenden Browsern verfügbar.
Die Schnittstelle LanguageModel der Prompt API repräsentiert eine Sitzung mit einem vom Browser bereitgestellten Sprachmodell. Sie stellt statische Methoden zum Erstellen von Sitzungen und zum Prüfen der Verfügbarkeit sowie Instanzmethoden für Anfragen an das Modell, das Hinzufügen von Kontext und die Verwaltung des Kontextfensters bereit.
LanguageModel-Instanzen können nicht direkt erstellt werden. Verwenden Sie stattdessen die statische Methode LanguageModel.create().
Instanzeigenschaften
LanguageModel.contextUsageSchreibgeschützt-
Gibt die Anzahl der Tokens des Kontextfensters zurück, die diese Sitzung derzeit belegt.
LanguageModel.contextWindowSchreibgeschützt-
Gibt die Gesamtgröße des für diese Sitzung verfügbaren Kontextfensters in Tokens zurück.
Statische Methoden
LanguageModel.availability()-
Gibt ein
Promisezurück, das mit einem Aufzählungswert erfüllt wird, der angibt, ob das Sprachmodell für die angegebenen Optionen verfügbar ist. LanguageModel.create()-
Gibt ein
Promisezurück, das mit einer neuenLanguageModel-Sitzung erfüllt wird. Falls erforderlich, werden dabei die Modelldaten heruntergeladen.
Instanzmethoden
LanguageModel.append()-
Gibt ein
Promisezurück, das erfüllt wird, wenn die angegebene Eingabe dem Kontextfenster der Sitzung hinzugefügt wurde, ohne eine Antwort zu generieren. LanguageModel.clone()-
Gibt ein
Promisezurück, das mit einer neuenLanguageModel-Sitzung erfüllt wird. Diese ist einschließlich des gesamten Kontexts eine Kopie der Sitzung, für die die Methode aufgerufen wurde. LanguageModel.destroy()-
Gibt die Ressourcen frei, die der
LanguageModel-Instanz zugewiesen sind, für die die Methode aufgerufen wurde, und beendet alle weiteren Aktivitäten dieser Instanz. LanguageModel.measureContextUsage()-
Gibt ein
Promisezurück, das mit der Anzahl der Tokens des Kontextfensters erfüllt wird, die die angegebene Eingabe bei einer Operation wieprompt()oderappend()belegen würde. LanguageModel.prompt()-
Gibt ein
Promisezurück, das mit der vollständigen Antwort des Modells auf die angegebene Eingabe erfüllt wird. LanguageModel.promptStreaming()-
Gibt einen
ReadableStreamzurück, der die Antwort des Modells auf die angegebene Eingabe während ihrer Generierung als Stream bereitstellt.
Ereignisse
contextoverflow-
Wird ausgelöst, wenn ein Aufruf von
prompt(),promptStreaming()oderappend()die Größe des Kontextfensters überschreitet.
Beispiele
Eine Sitzung erstellen und eine Anfrage an das Modell stellen
In diesem Beispiel wird zunächst create() aufgerufen, um eine neue Sitzung zu erstellen. Dabei wird festgelegt, dass das Sprachmodell die Rolle "system" übernimmt, und definiert, wie es sich verhalten soll. Beachten Sie, dass im Beispiel await verwendet wird, da create() ein Promise zurückgibt. Wenn das Modell heruntergeladen werden muss, kann es einige Zeit dauern, bis dieses erfüllt wird.
Nach dem Erstellen der Sitzung wird im Beispiel prompt() aufgerufen, um eine bestimmte Frage zu stellen.
const session = await LanguageModel.create({
initialPrompts: [
{
role: "system",
content: "You are a helpful assistant.",
},
],
});
const response = await session.prompt("What is the capital of France?");
console.log(response); // "The capital of France is Paris."
Eine Antwort als Stream empfangen
In diesem Beispiel wird promptStreaming() aufgerufen, um eine Instanz von ReadableStream zu erhalten. Die Antwort wird stückweise in die Konsole geschrieben.
const session = await LanguageModel.create();
const readableStream = session.promptStreaming("Tell me a short story.");
for await (const chunk of readableStream) {
console.log(chunk);
}
Spezifikationen
| Spezifikation |
|---|
| Prompt API # the-languagemodel-class |