こんにちは、TokenHub ですAIのすべてをひとつの入口に

体験を第一に設計した、フル機能の LLM ゲートウェイ。ルーティング、障害対策、課金、監査、可観測性まで、ここでまとめて扱えます。

主な機能

ゲートウェイの継ぎはぎ構成に、終止符を。

多くのソリューションは一部分しか解決しません。スマートルーティングのない転送、分離も監査もないプロキシ、判断チェーン全体が見えないモニタリング。TokenHub は 6 つの領域をすべてカバーします。

高可用性

インテリジェントなフォールバックとリクエスト単位の判断チェーンが、リクエストを成功へ導き続けます。TokenHub はストリーミングレスポンスをチャンクごとに検査して有効なコンテンツが実際に返ったかを確認し、返らなかったリクエストを再試行します。

リクエストトランスフォーマー

3 大プロバイダーの公式 SDK をリファレンスに構築。どのリクエストにも入力・出力フォーマットを指定でき、好みの方式で任意のモデルを呼び出せます。

プライバシーとプロンプトセキュリティ

オプションのガードレールが、リクエストが上流プロバイダーに届く前に、プライバシー漏えいやプロンプトインジェクションの試みを検知してブロックします。

商用機能

アクセスの収益化に必要なものをすべて用意。多次元クォータ、チャージパッケージ、招待、請求書、後払い精算までそろいます。

すり替え検知

キャッシュヒット率のバックテストとモデルプロービングで、トークン使用量が異常なプロバイダーや、要求したモデルと一致しないレスポンスを浮かび上がらせます。許可していないプロンプトを送ることはありません。

プラグインエコシステム

プラグインサーフェスを通じて、コミュニティが TokenHub を拡張できます。プラグインのコードの所有権はコントリビューターに残り、独自の配布ライセンスを持つこともできるため、コミュニティの貢献が育つ余地が生まれます。

このゲートウェイの背後にあるすべてのモデルの価格、機能、可用性。サインイン不要で、並べて比較できます。

docker compose ひとつで立ち上げ、プロバイダーを接続すれば、すべてのリクエストが統制されたひとつの入口を通ります。