guidance

LLM開発ツール

★ 21k

LLMの出力を制御するプログラミング言語

Guidanceは、LLMの出力を細かく制御するためのオープンソースのプログラミングライブラリです。通常のプロンプトでは出力形式が安定しない問題に対し、生成と制約をインターリーブ(交互配置)する独自の記法で、正規表現や文脈自由文法、選択肢の強制などにより出力構造を保証できます。決められたJSONスキーマに従う出力や、選択肢からの確実な選択などを、リトライなしで一回の生成で実現できるため、トークン消費の削減と高速化にもつながります。Transformersやllama.cppなどローカルモデルとの組み合わせで特に効果を発揮します。LLMの出力を後続システムで機械的に処理する必要がある開発者や、出力の安定性に課題を抱えるAIアプリ開発チームに向いています。MITライセンスです。