clip-image-search

clip-image-search是一個基於Open AI的預訓練CLIP模型的圖像搜索工具，能夠通過文本或圖片查詢來檢索圖片。 CLIP模型通過訓練將圖像和文本映射到同一潛在空間，使得可以通過相似度度量進行比較。該工具使用Unsplash數據集中的圖片，並利用Amazon Elasticsearch Service進行k-最近鄰搜索，通過AWS Lambda函數和API網關部署查詢服務，前端使用Streamlit開發。

需求人群：

"目標受眾為需要進行圖像搜索的開發者和研究人員，特別是那些對基於深度學習模型的圖像檢索感興趣的用戶。該產品適合他們因為它提供了一種簡單、高效的圖像檢索方式，並且可以輕鬆集成到現有的系統中。"

使用場景示例：

研究人員使用該工具檢索與特定文本描述匹配的圖片進行視覺識別研究

開發者集成該工具到他們的應用程序中，提供基於文本的圖像搜索功能

教育工作者利用該工具幫助學生理解圖像與文本之間的關聯

產品特色：

使用CLIP模型的圖像編碼器計算數據集中圖片的特徵向量

將圖片以圖像ID為索引，存儲其URL和特徵向量

根據查詢（文本或圖片）計算其特徵向量

計算查詢特徵向量與數據集中圖片特徵向量之間的餘弦相似度

返回相似度最高的k張圖片

使用教程：

安裝依賴項

下載Unsplash數據集並提取元數據

創建索引並將圖片特徵向量上傳至Elasticsearch

構建Docker鏡像用於AWS Lambda

作為容器運行Docker鏡像並用POST請求測試

運行Streamlit應用程序進行前端展示