
对于摄影爱好者,最大的痛点和需求之一:对照片智能分组和支持对图片内容搜索。传统的图片管理应用并不支持图片的智能分组和搜索,iPhone Photos 和Google Photos虽然支持智能分组和搜索,但功能并不全面。
2021年 OpenAI 提出了用于匹配图像和文本的预训练神经网络模型 CLIP (Contrastive Language-Image Pre-Training) 模型,基于CLIP模型,对图片的内容理解、智能分组、文本内容搜索得到了高速发展,诞生了众多的应用。
汇总一下开源的基于CLIP模型的图片类应用。
寻隐/Queryable
https://github.com/mazzzystar/Queryable
使用自然语言输入在iPhone的相册中进行搜索,Queryable是将CLIP模型应用于图片搜索的iOS产品,目前版本基于Apple的 MobileCLIP 。
开发者的开发经历很值得一看:https://mazzzystar.com/2024/07/21/Two-Years-of-an-AI-Photo-Album-Search-App-zh/
SmartScan
https://github.com/dev-diaries41/smartscan
基于 CLIP 模型的图片智能组织和搜索Android 应用,可按内容相似性自动组织图片,并支持基于文本的图片搜索
CLIPPyX
https://github.com/0ssamaak0/CLIPPyX
AI 图像搜索工具,提供基于内容、文本和视觉相似性的系统范围搜索,基于OpenAI的CLIP模型
MobileCLIP
https://github.com/apple/ml-mobileclip
Apple对CLIP协议官方实现版本,提供了Demo
Embed-Photos
https://github.com/harperreed/photo-similarity-search
基于CLIP模型和 Apple Silicon 的相似图像搜索应用
对于NAS用户,常用的自托管照片的应用Immich、Ente都支持CLIP搜索
Immich
https://immich.app/docs/features/searching/
Ente