LlamaIndex(またはGPT Indexとも呼ばれます)は、LLM(Large Language Model)アプリケーション用のデータフレームワークです。LLMは、大量のテキストデータを使ってトレーニングされた自然言語処理のモデルのことです。
LlamaIndexの目的は、私たちが所有するプライベートデータをLLMと最適に組み合わせることによって、その機能をさらに強化することです。
LlamaIndexは次のツールを提供します:
・既存のデータソースとデータ形式(API、PDF、ドキュメント、SQLなど)を取り込むためのデータコネクタ
・データを構造化(インデックス、グラフ)し、LLMと簡単に組み合わせることができるようにする機能
・データに対する高度な検索/クエリインターフェース:LLMの入力プロンプトをフィードし、取得したコンテキストと知識強化された出力を取得する
・外部のアプリケーションフレームワーク(LangChain、Flask、Docker、ChatGPTなど)との簡単な統合
LlamaIndexは初心者から上級者までのユーザーに対応しています。高レベルAPIを使用すれば、初心者ユーザーでも5行のコードでLlamaIndexを使用してデータを取り込み、クエリを実行することができます。一方、下位レベルのAPIを使用すれば、上級ユーザーは任意のモジュール(データコネクタ、インデックス、クエリエンジン、リランキングモジュールなど)をカスタマイズや拡張することが可能です。