Jinba FlowでPineconeのセマンティック検索とRAG

Pineconeは、セマンティック検索とRAG（Retrieval-Augmented Generation）アプリケーションを可能にする、フルマネージドのベクトルデータベースです。Pineconeツールを使用すると、セマンティック類似性を使用してベクトルインデックスから類似ベクトルをクエリできます。

PINECONE_CREATE_INDEX
- 新しいサーバーレスベクトルインデックスの作成
- ベクトル次元と距離メトリックの設定
- クラウドプロバイダーとデプロイメントリージョンの選択
- オプションの統合推論: 埋め込みモデルを指定すると、Pineconeがテキストを自動で埋め込み
- すぐに使用可能にするwait-until-readyオプション
PINECONE_QUERY
- セマンティック類似性を使用した類似ベクトルの検索
- デュアルモード動作: ベクトルクエリまたは統合推論によるテキストクエリ
- Top-K結果の取得をサポート
- Pineconeフィルタ構文によるメタデータフィルタリング
- データの分割のための名前空間分離
- 類似度しきい値フィルタリング（minScore）
- メタデータとベクトル値のオプション含有
PINECONE_UPSERT
- Pineconeインデックスへのベクトル挿入または更新
- デュアルモード動作: ベクトルアップサートまたは統合推論によるドキュメントアップサート
- バッチ操作（1リクエストあたり最大100ベクトル/ドキュメント）
- 豊富なベクトルアノテーションのためのメタデータサポート
- データ整理のための名前空間分離

Pineconeの認証情報で接続する

このツールを使用するには、Pinecone APIキーが必要です。Pineconeコンソールから取得できます。注意: APIキーは機密情報として扱い、公開リポジトリにコミットしないでください。

インデックスを作成してドキュメントを登録する

embeddingModelを指定すると統合推論に対応したインデックスが作成され、ドキュメントとクエリのテキストをPineconeが自動で埋め込みます。次元数はモデルで決まるため、dimensionは不要です。

# ステップ1: サーバーレスインデックスを作成
- id: create_index
  name: create_index
  tool: PINECONE_CREATE_INDEX
  config:
    - name: apiKey
      value: "{{secrets.PINECONE_API_KEY}}"
  input:
    - name: indexName
      value: knowledge-base
    - name: embeddingModel
      value: multilingual-e5-large
    - name: cloud
      value: aws
    - name: region
      value: us-east-1
    - name: waitUntilReady
      value: true

# ステップ2: 自動埋め込みでドキュメントをアップロード
- id: upload_docs
  name: upload_docs
  tool: PINECONE_UPSERT
  needs: [create_index]
  config:
    - name: apiKey
      value: "{{secrets.PINECONE_API_KEY}}"
  input:
    - name: indexName
      value: knowledge-base
    - name: documents
      value: |
        [
          {
            "id": "doc1",
            "text": "Pineconeは、AIアプリケーション向けに最適化されたベクトルデータベースです。",
            "metadata": {"category": "intro", "source": "docs"}
          },
          {
            "id": "doc2",
            "text": "統合推論は、テキストから自動的に埋め込みを生成します。",
            "metadata": {"category": "features", "source": "docs"}
          }
        ]

# ステップ3: テキストでクエリ（自動埋め込み）
- id: search
  name: search
  tool: PINECONE_QUERY
  needs: [upload_docs]
  config:
    - name: apiKey
      value: "{{secrets.PINECONE_API_KEY}}"
  input:
    - name: indexName
      value: knowledge-base
    - name: query
      value: "Pineconeは埋め込みをどのように処理しますか？"
    - name: topK
      value: 3
    - name: includeMetadata
      value: true

アップサートした件数はsteps.upload_docs.result.upsertedCountで取得できます。検索結果はsteps.search.result.matchesに入り、各マッチにはid、score、metadata（textやcategoryなど、レコードに保存したフィールド）が含まれます。

インデックスを照会する

例: リランキングを使用した関連性の向上

リランキングは初期結果を再スコアリングして関連性を向上させます。複雑なクエリに特に有効です。

- id: search_with_rerank
  name: search_with_rerank
  tool: PINECONE_QUERY
  config:
    - name: apiKey
      value: "{{secrets.PINECONE_API_KEY}}"
  input:
    - name: indexName
      value: knowledge-base
    - name: query
      value: "Pineconeは埋め込みをどのように処理しますか？"
    - name: topK
      value: 10
    - name: includeMetadata
      value: true
    - name: rerankModel
      value: bge-reranker-v2-m3  # オプション: cohere-rerank-3.5, bge-reranker-v2-m3, pinecone-rerank-v0
    - name: rerankTopN
      value: 3
    - name: rerankRankFields
      value: '["text"]'
    - name: fields
      value: '["category", "text"]'

リランキングはテキストクエリ（query）で使用します。rerankModelを指定する場合はrerankRankFieldsが必須で、そこに挙げたフィールドはすべてfieldsにも含める必要があります。rerankTopNはtopK以下にしてください。

例: メタデータフィルタリングを使用した検索

- id: filtered_search
  name: filtered_search
  tool: PINECONE_QUERY
  config:
    - name: apiKey
      value: "{{secrets.PINECONE_API_KEY}}"
  input:
    - name: indexName
      value: my-docs-index
    - name: query
      value: "Pineconeは埋め込みをどのように扱いますか？"
    - name: topK
      value: 10
    - name: filter
      value: '{"category": {"$eq": "technology"}, "year": {"$gte": 2020}}'
    - name: namespace
      value: production

queryは統合推論を有効にして作成したインデックスでのみ使用できます。統合推論のないインデックスでは代わりにvectorを指定します。インデックス作成時と同じ埋め込みモデルで生成した数値のJSON配列で、長さをインデックスの次元数と一致させてください。Jinba Flowには埋め込みを生成する組み込みステップがないため、ベクトルは外部で用意する必要があります。

例: 検索したコンテキストで質問に回答（RAG）

ユーザーの質問でインデックスを検索し、ヒットした内容をコンテキストとしてLLMに渡します。

- id: search
  name: search
  tool: PINECONE_QUERY
  config:
    - name: apiKey
      value: "{{secrets.PINECONE_API_KEY}}"
  input:
    - name: indexName
      value: knowledge-base
    - name: query
      value: "統合推論とは何ですか？"
    - name: topK
      value: 5
    - name: minScore
      value: 0.5

- id: generate_answer
  name: generate_answer
  tool: OPENAI_INVOKE
  needs: [search]
  input:
    - name: prompt
      value: |
        以下のコンテキストだけを使って質問に答えてください。

        コンテキスト（JSON）:
        {{steps.search.result.matches}}

        質問: 統合推論とは何ですか？

{{steps.search.result.matches}}はJSONテキストとして挿入されるため、LLMは各マッチのmetadata.textを参照できます。回答はsteps.generate_answer.result.contentで取得できます。

パラメータ

PINECONE_CREATE_INDEX

パラメータ	型	必須	デフォルト	説明
`indexName`	string	はい	-	インデックス名（小文字英数字とハイフン、最大45文字）
`dimension`	number	いいえ*	-	ベクトル次元（例: OpenAI ada-002の場合1536）。標準インデックスでは必須
`metric`	string	いいえ	cosine	距離メトリック: cosine, euclidean, dotproduct。標準インデックスのみ
`cloud`	string	いいえ	aws	クラウドプロバイダー: aws, gcp, azure
`region`	string	はい	-	デプロイメントリージョン（例: us-east-1）
`waitUntilReady`	boolean	いいえ	true	インデックスの準備完了まで待機
`embeddingModel`	string	いいえ*	-	統合推論に対応したインデックスを作成: multilingual-e5-large, llama-text-embed-v2, pinecone-sparse-english-v0
`textField`	string	いいえ	text	埋め込み対象のドキュメントフィールド。`embeddingModel`指定時のみ使用

*dimension（標準インデックス）またはembeddingModel（統合推論）のいずれかを指定してください。

PINECONE_QUERY

パラメータ	型	必須	デフォルト	説明
`indexName`	string	はい	-	クエリするPineconeインデックスの名前
`vector`	number[]	いいえ*	-	数値の配列としてのクエリベクトル
`query`	string	いいえ*	-	統合推論用のテキストクエリ（自動埋め込み）
`topK`	number	いいえ	10	返す結果の数（1-100）
`namespace`	string	いいえ	-	インデックス内でクエリする名前空間
`filter`	object	いいえ	-	Pineconeフィルタ構文を使用したメタデータフィルタ
`minScore`	number	いいえ	-	最小類似度スコアしきい値（0-1）
`includeMetadata`	boolean	いいえ	true	結果にメタデータを含める
`includeValues`	boolean	いいえ	false	結果にベクトル値を含める
`fields`	string[]	いいえ	-	返すレコードのフィールド（テキストクエリ）。`rerankRankFields`の項目をすべて含める
`rerankModel`	string	いいえ	-	リランキングモデル: cohere-rerank-3.5, bge-reranker-v2-m3, pinecone-rerank-v0
`rerankTopN`	number	いいえ	-	リランキング後に残す件数（`topK`以下）
`rerankRankFields`	string[]	いいえ	-	リランカーが評価するフィールド（例: `["text"]`）。`rerankModel`指定時は必須
`rerankQuery`	string	いいえ	-	リランキングに使うテキスト。省略時は`query`

*vectorまたはqueryのいずれかを指定する必要がありますが、両方は指定できません。

PINECONE_UPSERT

パラメータ	型	必須	デフォルト	説明
`indexName`	string	はい	-	Pineconeインデックスの名前
`vectors`	array	いいえ*	-	ベクトルオブジェクトの配列（id, values, metadata）
`documents`	array	いいえ*	-	統合推論用のドキュメントオブジェクトの配列（id, text, metadata）
`namespace`	string	いいえ	-	データ整理のための名前空間

*vectorsまたはdocumentsのいずれかを指定する必要がありますが、両方は指定できません。

出力

PINECONE_QUERYはresultの下に以下を返します（steps.<id>.result.matchesなど）。PINECONE_UPSERTはresult.upsertedCountを返します。

{
  "matches": [
    {
      "id": "vec1",
      "score": 0.95,
      "metadata": {
        "title": "ドキュメントタイトル",
        "text": "ドキュメント内容...",
        "category": "technology"
      }
    }
  ],
  "namespace": "production",
  "usage": {
    "readUnits": 5
  }
}

ユースケース

RAG（Retrieval-Augmented Generation）

PineconeとOPENAI_INVOKEなどのLLMツールを組み合わせてRAGを構築します（上記のRAGの例を参照）：

ユーザーの質問をテキストのquery（統合推論）で、またはJinba Flowの外部で生成したインデックスと同じ次元のvectorでPineconeを検索
result.matchesから関連ドキュメントを取得
取得した内容をコンテキストとしてLLMのプロンプトに渡す

セマンティック検索

キーワードではなく意味でドキュメントを検索：

類似記事の検索
関連コンテンツの推奨
関連情報の発見

質問応答

コンテキスト取得を使用したQ&Aシステムの構築：

技術ドキュメント検索
カスタマーサポートナレッジベース
研究論文の発見

Docs

Jinba FlowでPineconeのセマンティック検索とRAG

Pineconeの認証情報で接続する

インデックスを作成してドキュメントを登録する

インデックスを照会する

例: リランキングを使用した関連性の向上

例: メタデータフィルタリングを使用した検索

例: 検索したコンテキストで質問に回答（RAG）

パラメータ

PINECONE_CREATE_INDEX

PINECONE_QUERY

PINECONE_UPSERT

出力

ユースケース

RAG（Retrieval-Augmented Generation）

セマンティック検索

質問応答

リソース

​Pineconeの認証情報で接続する

​インデックスを作成してドキュメントを登録する

​インデックスを照会する

​例: リランキングを使用した関連性の向上

​例: メタデータフィルタリングを使用した検索

​例: 検索したコンテキストで質問に回答（RAG）

​パラメータ

​PINECONE_CREATE_INDEX

​PINECONE_QUERY

​PINECONE_UPSERT

​出力

​ユースケース

​RAG（Retrieval-Augmented Generation）

​セマンティック検索

​質問応答

​リソース

Pineconeの認証情報で接続する

インデックスを作成してドキュメントを登録する

インデックスを照会する

例: リランキングを使用した関連性の向上

例: メタデータフィルタリングを使用した検索

例: 検索したコンテキストで質問に回答（RAG）

パラメータ

PINECONE_CREATE_INDEX

PINECONE_QUERY

PINECONE_UPSERT

出力

ユースケース

RAG（Retrieval-Augmented Generation）

セマンティック検索

質問応答

リソース