AIゲートウェイは、250以上の言語、ビジョン、オーディオ、画像モデルへのリクエストを統一されたAPIで簡素化します。キャッシング、フォールバック、リトライ、タイムアウト、ロードバランシングをサポートし、最小の遅延でエッジデプロイが可能なプロダクション対応のゲートウェイです。
✅ 超高速（9.9倍速）で小さなフットプリント（ビルド後約100kb）
✅ 複数のモデル、プロバイダー、キー間でロードバランシング
✅ フォールバックでアプリの信頼性を確保
✅ デフォルトで自動リトライ（指数関数的フォールバック）
✅ リクエストタイムアウトの設定が可能
✅ マルチモーダルでビジョン、TTS、STT、画像生成モデルをサポート
✅ 必要に応じてミドルウェアをプラグイン
✅ 480Bトークン以上の実績
✅ エンタープライズ対応でセキュリティ、スケール、カスタムデプロイメントをサポート
Tip
⭐️ このリポジトリにスターを付けることで、新しいプロバイダー統合や機能のGitHubリリース通知を受け取ることができます。
スター履歴
AIゲートウェイを使用するには、ホストされたAPIを使用するか、オープンソースまたはエンタープライズバージョンを自分の環境にセルフホストします。
ホストされたAPIは、ジェネレーティブAIアプリケーションのためのAIゲートウェイをセットアップする最速の方法です。私たちは毎日数十億のトークンを処理しており、Postman、Haptik、Turing、MultiOn、SiteGPTなどの企業でプロダクションで使用されています。
👉 オープンソースバージョンのセルフホスト（MITライセンス）
ローカルでAIゲートウェイを実行するには、ターミナルで以下のコマンドを実行します。（npxがインストールされている必要があります）または、Cloudflare、Docker、Node.jsなどのデプロイメントガイドを参照してください。
npx @portkey-ai/gatewayあなたのAIゲートウェイはhttp://localhost:8787で実行されています 🚀
AIゲートウェイのエンタープライズバージョンは、組織管理、ガバナンス、セキュリティなどのエンタープライズ対応機能を提供します。オープンソース、ホスト、エンタープライズバージョンの比較はこちらをご覧ください。
エンタープライズデプロイメントアーキテクチャ、サポートされているプラットフォームについては、エンタープライズプライベートクラウドデプロイメントをご覧ください。
AIゲートウェイはOpenAI API & SDKと互換性があり、200以上のLLMに信頼性のある呼び出しを拡張します。ゲートウェイを通じてOpenAIを使用するには、クライアントを更新してゲートウェイのURLとヘッダーを含め、通常通りリクエストを行います。AIゲートウェイは、OpenAI形式で書かれたリクエストを指定されたプロバイダーが期待するシグネチャに変換できます。例を表示
Portkey Python SDKは、OpenAI Python SDKのラッパーであり、他のすべてのプロバイダーに対する追加パラメータのサポートを提供します。Pythonで構築している場合、これはゲートウェイに接続するための推奨ライブラリです。
pip install -qU portkey-ai
Portkey JS/TS SDKは、OpenAI JS SDKのラッパーであり、他のすべてのプロバイダーに対する追加パラメータのサポートを提供します。JSまたはTSで構築している場合、これはゲートウェイに接続するための推奨ライブラリです。
npm install --save portkey-ai
AIゲートウェイは、すべての他のプロバイダーとモデルに対する追加パラメータのサポートを備えたOpenAI互換エンドポイントをサポートします。APIリファレンスを表示。
| 言語 | サポートされているSDK |
|---|---|
| JS / TS | LangchainJS LlamaIndex.TS |
| Python | Langchain LlamaIndex |
| Go | go-openai |
| Java | openai-java |
| Rust | async-openai |
| Ruby | ruby-openai |
- Nvidia NIMのモデルをAIゲートウェイで使用する
- CrewAIエージェントをPortkeyで監視する
- AIゲートウェイでトップ10のLMSYSモデルを比較する
25以上のプロバイダーと6以上のフレームワークとのゲートウェイ統合を探索してください。
| プロバイダー | サポート | ストリーム | |
|---|---|---|---|
 |
OpenAI | ✅ | ✅ |
 |
Azure OpenAI | ✅ | ✅ |
 |
Anyscale | ✅ | ✅ |
 |
Google Gemini & Palm | ✅ | ✅ |
 |
Anthropic | ✅ | ✅ |
 |
Cohere | ✅ | ✅ |
 |
Together AI | ✅ | ✅ |
 |
Perplexity | ✅ | ✅ |
 |
Mistral | ✅ | ✅ |
 |
Nomic | ✅ | ✅ |
 |
AI21 | ✅ | ✅ |
 |
Stability AI | ✅ | ✅ |
 |
DeepInfra | ✅ | ✅ |
 |
Ollama | ✅ | ✅ |
| Novita AI | ✅ | ✅ |
ゲートウェイは、人気のあるエージェントフレームワークとシームレスに統合されます。ドキュメントを読む。
| フレームワーク | 200以上のLLMを呼び出す | 高度なルーティング | キャッシング | ロギングとトレース* | オブザーバビリティ* | プロンプト管理* |
|---|---|---|---|---|---|---|
| Autogen | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| CrewAI | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| LangChain | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| Phidata | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| Llama Index | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| Control Flow | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| 独自のエージェントを構築する | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
*ホストされたアプリでのみ利用可能です。詳細なドキュメントはこちらをご覧ください。
|
フォールバック 失敗したリクエストに対して別のプロバイダーやモデルにフォールバックします。トリガーするエラーを指定できます。アプリケーションの信頼性を向上させます。 
|
自動リトライ 失敗したリクエストを最大5回自動的にリトライします。指数関数的バックオフ戦略により、リトライ試行の間隔を空けてネットワークの過負荷を防ぎます。 
|
|
ロードバランシング 複数のAPIキーやAIプロバイダー間でLLMリクエストを重み付けして分散させ、高可用性と最適なパフォーマンスを確保します。 
|
リクエストタイムアウト 応答しないLLMリクエストを自動的に終了させるために、詳細なリクエストタイムアウトを設定します。 
|
|
マルチモーダルLLMゲートウェイ ビジョン、オーディオ（テキストから音声、音声からテキスト）、画像生成モデルを複数のプロバイダーから呼び出すことができます — すべてOpenAIのシグネチャを使用して 
|
ガードレール 指定されたチェックに従ってLLMの入力と出力をリアルタイムで検証します。独自のチェックを作成するか、20以上の事前構築されたガードレールから選択できます。 
|
これらの機能は、x-portkey-configヘッダーまたはSDKのconfigパラメータに追加されたゲートウェイ設定を通じて構成されます。
以下は、上記の機能を示すサンプル設定JSONです。すべての機能はオプションです。
{
"retry": { "attempts": 5 },
"request_timeout": 10000,
"strategy": { "mode": "fallback" }, // または 'loadbalance' など
"targets": [{
"provider": "openai",
"api_key": "sk-***"
},{
"strategy": {"mode": "loadbalance"}, // オプションのネスト
"targets": {...}
}]
}次に、APIリクエストに設定を使用します。
リクエストで設定オブジェクトを使用する方法については、こちらのガイドをご覧ください。
AIアプリを信頼性と将来の互換性を高め、完全なデータセキュリティとプライバシーを確保します。
✅ セキュアなキー管理 - ロールベースのアクセス制御とトラッキングのため
✅ シンプルでセマンティックなキャッシング - 繰り返しのクエリを高速に提供し、コストを削減
✅ アクセス制御とインバウンドルール - 接続できるIPと地域を制御
✅ PII削除 - リクエストから自動的に機密データを削除し、意図しない露出を防止
✅ SOC2、ISO、HIPAA、GDPRコンプライアンス - ベストセキュリティプラクティスのため
✅ プロフェッショナルサポート - 機能の優先順位付けとともに
最も簡単な貢献方法は、good first issueタグの付いた問題を選ぶことです 💪。貢献ガイドラインはこちらをご覧ください。
世界中の成長するコミュニティに参加して、AIに関するヘルプ、アイデア、ディスカッションを行いましょう。
- 公式ブログを閲覧する
- Discordでリアルタイムチャット
- Twitterでフォロー
- LinkedInで接続
- 日本語のドキュメントを読む
