guidance
LLM開発ツールLLMの出力を制御するプログラミング言語
Guidanceは、LLMの出力を細かく制御するためのオープンソースのプログラミングライブラリです。通常のプロンプトでは出力形式が安定しない問題に対し、生成と制約をインターリーブ(交互配置)する独自の記法で、正規表現や文脈自由文法、選択肢の強制などにより出力構造を保証できます。決められたJSONスキーマに従う出力や、選択肢からの確実な選択などを、リトライなしで一回の生成で実現できるため、トークン消費の削減と高速化にもつながります。Transformersやllama.cppなどローカルモデルとの組み合わせで特に効果を発揮します。LLMの出力を後続システムで機械的に処理する必要がある開発者や、出力の安定性に課題を抱えるAIアプリ開発チームに向いています。MITライセンスです。
コメント（0）
コメントするにはログインしてください。
同じカテゴリのOSS
hermes-agent
ユーザーと共に成長するAIエージェント（Nous Research製）
OpenCode
The open source coding agent.
firecrawl
WebをLLM向けに検索・スクレイピングするAPI
transformers
🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.
ponytail
Makes your AI agent think like the laziest senior dev in the room. The best code is the code you never wrote.
dify
ノーコードでAIアプリを構築できるLLMOpsプラットフォーム