mahiya / cognitive-image-search-sample

Azure AI Search のベクトル検索機能を使った画像検索ソリューション

Azure AI Search ベクトル検索での画像検索ソリューション

概要

• Keras の事前学習済みモデルの EfficientNet モデルを使用して画像をベクトル化します
• ベクトル化した画像を Azure AI Search に格納して、ベクトル検索できるようにします
• 検索クエリにベクトル化した画像を指定することで、似ている画像を検索できるようしています

必要な環境

• Azure CLI
• Azure Bicep
• Python
• bash が実行できるコンソール (Windows だと Git Bash など)

利用方法

Azure AI Search 環境の作成

必要な環境を用意し、設定(Azure CLI での Azure テナントへログインなど)を行った後に、以下の様に、第一引数にリソースグループ名を指定して deploy.sh スクリプトを実行して AI Search のアカウントを作成して、cognitive_search_index.json での定義に従ってインデックスを作成します。

./deploy.sh [リソースグループ名]
# 例： ./deploy.sh rg-image-vector-search

また、スクリプトは Python アプリが使用する AI Search アカウントの情報を持つ cognitive_search_account.json と HTMLアプリ(Vue.js) が使用する static/settings.js を出力します。

Azure AI Search インデックスへのドキュメントの追加

Python の実行環境を用意します。requirements.txt に記載した Python パッケージをインストールします。Python の仮想環境として venv を使用する場合、以下のコマンドで用意できると思われます。

python -m venv .venv
source .venv/Scripts/Activate # Windows + Git Bash 環境の場合
pip install -r requirements.txt

以下の通り、upload_images.py を実行することで、static/imagesフォルダ配下にある JPG ファイルを EfficientNet を使ってベクトル化して、AI Search のインデックスへドキュメントとして登録します。

python upload_images.py

Web アプリケーションの起動

以下の通り、app.py を実行することで、Web アプリケーションを起動することができます。

python app.py

http://127.0.0.1:5000/へアクセスすることで、Web アプリケーションへアクセスすることができます。画像を選択すると、AI Search に登録されている画像のうち似ている画像が画面に表示されます。