We introduce MosAIc, an interactive web app that allows users to find pairs of semantically related artworks that span different cultures, media, and millennia. To create this application, we introduce Conditional Image Retrieval (CIR) which combines visual similarity search with user supplied filters or "conditions". This technique allows one to find pairs of similar images that span distinct subsets of the image corpus. We provide a generic way to adapt existing image retrieval data-structures to this new domain and provide theoretical bounds on our approach's efficiency. To quantify the performance of CIR systems, we introduce new datasets for evaluating CIR methods and show that CIR performs non-parametric style transfer. Finally, we demonstrate that our CIR data-structures can identify "blind spots" in Generative Adversarial Networks (GAN) where they fail to properly model the true data distribution.
翻译:我们引入了MosAIc, 这是一种互动的网络应用程序, 让用户能够找到来自不同文化、媒体和千百年的两组与地震有关的艺术作品。 为了创建此应用程序, 我们引入了有条件图像检索( CIR), 将视觉相似性搜索与用户提供的过滤器或“ 条件” 相结合。 这个技术可以让用户找到包含图像保护系统不同子集的相近图像。 我们提供了一个通用的方法, 将现有的图像检索数据结构适应到这个新领域, 并提供我们方法效率的理论界限 。 为了量化 CIR 系统的性能, 我们引入了用于评估 CIR 方法的新数据集, 并显示 CIR 进行非参数样式转换 。 最后, 我们证明我们的 CIR 数据结构可以识别基因辅助网络中的“ 盲点 ”, 无法正确模拟真实数据传播 。