Spherical constraints in the triplet loss function

Cover Page

Cite item

Full Text

Abstract

Learning with a triplet loss function is one of the most common approaches in metric learning. It finds its application in the tasks of image comparison, identification, coding, etc. However, the triplet loss function has a number of disadvantages that can negatively affect quality, such as the tendency of the network to get stuck in local minima and the formation of trivial triplets. This paper proposes a geometric approach to improve quality based on the introduction of an additional term in the loss function. The trajectory change is achieved by redirecting solved and unsolved images to the surfaces of two concentric hyperspheres of different radii. The use of this method helps to reduce the distances between images of the same class. The proposed method does not prevent the use of other modifications of the loss function. It is experimentally shown that the proposed approach makes it possible to reduce the number of unsolved triplets and the number of distant pairs of images of the same class.

About the authors

K. K. Suloev

Smart Engines Service, LLC

Author for correspondence.
Email: k.suloev@smartengines.com

Researcher-Programmer

Russian Federation, Moscow

A. V. Sheshkus

Academy of Sciences; Smart Engines Service, LLC

Email: asheshkus@smartengines.com

Researcher

Russian Federation, 44/2 Vavilova str., Moscow, 119333; Moscow

V. L. Arlazarov

Federal Research Center “Computer Science and Control” of Russian Academy of Sciences

Email: arl@isa.ru

Head of the department, Corresponding member, RAS, Professor

Russian Federation, 44/2 Vavilova str., Moscow, 119333

References

  1. Alnissany Alaa and Yazan Dayoub. Modified Centroid Triplet Loss for Person Re-Identification. Research Square Platform LLC, 31 Mar. 2022, http://dx.doi.org/10.21203/rs.3.rs-1501673/v1. Accessed 21 Feb. 2023.
  2. Bucher Maxime, et al. “Improving Semantic Embedding Consistency by Metric Learning for Zero-Shot Classiffication.” Computer Vision – ECCV 2016, Springer International Publishing, 2016, pp. 730–46. http://dx.doi.org/10.1007/978-3-319-46454- 1_44. Accessed 9 Mar. 2023.
  3. Chen Weihua et al. “Beyond Triplet Loss: A Deep Quadruplet Network for Person Re-Identification.” 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), IEEE, 2017, http://dx.doi. org/10.1109/cvpr.2017.145. Accessed 22 Feb. 2023.
  4. Cui Yin et al. “Fine-Grained Categorization and Dataset Bootstrapping Using Deep Metric Learning with Humans in the Loop.” 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), IEEE, 2016, http://dx.doi.org/10.1109/ cvpr.2016.130. Accessed 27 Feb. 2023.
  5. Gayer Alexander et al. “Effective Real-Time Augmentation of Training Dataset for the Neural Networks Learning.” Eleventh International Conference on Machine Vision (ICMV 2018), SPIE, 2019, http://dx.doi.org/10.1117/12.2522969. Accessed 21 Feb. 2023.
  6. Hadsell R. et al. “Dimensionality Reduction by Learning an Invariant Mapping.” 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition – Volume 2 (CVPR’06), IEEE, http://dx.doi.org/10.1109/cvpr.2006.100. Accessed 24 Mar. 2023.
  7. Min Zhu and Zhang Chongyang. “Few-Shot Object Detection via Metric Learning.” Fourteenth International Conference on Machine Vision (ICMV 2021), SPIE, 2022, http://dx.doi. org/10.1117/12.2622909. Accessed 24 Mar. 2023.
  8. Mokin Arseniy et al. “Auto-Clustering Pairs Generation Method for Siamese Neural Networks Training.” Fourteenth International Conference on Machine Vision (ICMV 2021), SPIE, 2022, http://dx.doi. org/10.1117/12.2623139. Accessed 24 Mar. 2023.
  9. Schroff Florian et al. “FaceNet: A Unified Embedding for Face Recognition and Clustering.” 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), IEEE, 2015, http://dx.doi.org/10.1109/ cvpr.2015.7298682. Accessed 21 Feb. 2023.
  10. Sheshkus A. et al. “Tiny CNN for Feature Point Description for Document Analysis: Approach and Dataset.” Computer Optics, vol. 46, no. 3, June 2022, https://doi.org/10.18287/2412-6179-co-1016.
  11. Uzhinskiy A.V. et al. “One-Shot Learning with Triplet Loss for Vegetation Classification Tasks.” Computer Optics, vol. 45, no. 4, Aug. 2021. https://doi.org/10.18287/2412-6179-co-856.
  12. Venkataramanan Aishwarya et al. “Tackling Inter-Class Similarity and Intra-Class Variance for Microscopic Image-Based Classification.” Lecture Notes in Computer Science, Springer International Publishing, 2021, pp. 93–103, http://dx.doi.org/10.1007/978-3-030-87156-7_8. Accessed 21 Feb. 2023.
  13. Wang Jiang et al. “Learning Fine-Grained Image Similarity with Deep Ranking.” 2014 IEEE Conference on Computer Vision and Pattern Recognition, IEEE, 2014, http://dx.doi.org/10.1109/ cvpr.2014.180. Accessed 27 Feb. 2023.
  14. Wieczorek Mikołaj et al. “On the Unreasonable Effectiveness of Centroids in Image Retrieval.” Neural Information Processing, Springer International Publishing, 2021, pp. 212–23, http://dx.doi.org/10.1007/978-3-030-92273-3_18. Accessed 22 Feb. 2023.
  15. Wu Chao-Yuan et al. “Sampling Matters in Deep Embedding Learning.” 2017 IEEE International Conference on Computer Vision (ICCV), IEEE, 2017, http://dx.doi.org/10.1109/iccv.2017.309. Accessed 22 Feb. 2023.
  16. O.A. Slavin. “Object Descriptors for Linking Structural Elements of Noisy Document Images,” ITiVS, no 4, pp. 13-24, 2022, doi: 10.14357/20718632220402.
  17. Hermans Alexander, Lucas Beyer and Bastian Leibe. “In defense of the triplet loss for person re-identification.” arXiv preprint arXiv:1703.07737 (2017).
  18. Ha Mai Lan and Volker Blanz. “Deep ranking with adaptive margin triplet loss.” arXiv preprint arXiv:2107.06187 (2021).
  19. Xu Albert et al. “Mathematical Justification of Hard Negative Mining via Isometric Approximation Theorem.” arXiv preprint arXiv:2210.11173. 2022.

Supplementary files

Supplementary Files
Action
1. JATS XML

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».