Artificial Intelligence Processing and Risks of Discrimination

Capa

Citar

Texto integral

Resumo

Discrimination poses a threat to equality as a basic concept of the rule of law. In the digital age, the use of artificial intelligence to make important legal decisions has added a new dimension to the problem. More specifically, artificial intelligence is capable of making faulty decisions which are often based on discrimination about individuals. The aim of the article was to examine the risks of discrimination in order to account for and avoid them in future legal regulation. The research is based on an analysis of doctrinal and regulatory sources from various countries and an examination of existing experience with the use of artificial intelligence. A specific method of data mining is profiling, which leaves little room for individual autonomy and self-determination. In this context, it is suggested that the theory of information self-determination be reassessed, exploiting its potential to divide responsibility between the data owner and the processor. Due to the clear discriminatory risks of profiling, some operations are already banned (e.g. redlining in the USA, genetic profiling in insurance and employment in several countries). The undeniable predictive potential of data deserves careful consideration, especially when it comes to personalization, where the predictive abilities of artificial intelligence are used to legally assess the behavior of an individual. Experience with algorithmic prediction of human behavior in the USA criminal justice system suggests the probabilistic nature of such assessments, which has the potential to infringe human rights to a fair trial and individualization of punishment if algorithmic assessment becomes the sole basis for adjudication. In general, the development of applications to solve routine legal problems that will produce results based on past judicial decisions is particularly relevant in common law countries where case law is prevalent. Given that Russia belongs to the continental law system and that case law even on a one type of dispute is often contradictory and not consistent across the country, the prospects for using American experience are doubtful. Consideration of specific types of deficiencies that can lead to discriminatory data processing, namely incorrect data collection, aggregation of erroneous data, insensitivity of artificial intelligence to regulatory settings, allowed drawing conclusions on the contours of future legislation regarding the activities of artificial intelligence, taking into account all analyzed risks of discrimination.

Sobre autores

Elvira Talapina

Institute of State and Law, Russian Academy of Sciences

Autor responsável pela correspondência
Email: talapina@mail.ru
ORCID ID: 0000-0003-3395-3126
Doctor of Science (Law), Doctor of Law (France), Chief Researcher

Bibliografia

  1. Barocas S., Selbst A.D. (2016) Big Data's disparate impact. California Law Review. Vol. 104, pp. 671-732.
  2. DOI:https://doi.org/10.2139/ssrn.2477899
  3. Bartenev D.G. (2019) Forbidding discrimination: the review of the approaches of the ECHR. Mezhdunarodnoe pravosudie=International Justice, no 1, pp. 43-66. (in Russ.).
  4. Bosco F., Creemers N., Ferraris V. et al. (2014) Profiling Technologies and Fundamental Rights and Values: Regulatory Challenges and Perspectives from European Data Protection Authorities. S. Gutwirth, R. Leenes, P. de Hert (eds.). Reforming European Data Protection Law. Berlin: Springer, pp. 3-33.
  5. DOI:https://doi.org/10.1007/978-94-017-9385-8_1
  6. Bygrave L.A. (2002) Data protection law: Approaching its rationale, logic and limits. The Hague: Kluwer Law International, 456 p.
  7. Feldman E.A., Quick E. (2020) Genetic Discrimination in the United States: What State and National Government Are Doing to Protect Personal Information. Khoury L., Blackett A., Vanhonnaeker L. (eds.). Genetic Testing and the Governance of Risk in the Contemporary Economy. Berlin: Springer, pp. 331-354.
  8. DOI:https://doi.org/10.1007/978-3-030-43699-5_15
  9. G'sell F. (2020) Les progrès à petits pas de la «justice prédictive» en France. ERA Forum. Vol. 21, pp. 299-310.
  10. DOI:https://doi.org/10.1007/s12027-020-00618-6
  11. Hildebrandt M. (2009) Profiling and AML. In: K. Rannenberg, D. Royer, A. Deuker (eds.). The Future of Identity in the Information Society. Challenges and Opportunities. Heidelberg: Springer, pp. 273-310.
  12. Khoury L., Blackett A., Vanhonnaeker L. (2020) Legal Aspects of Genetic Testing Regarding Insurance and Employment. General Report. Khoury L. et al (eds.), Genetic Testing and the Governance of Risk in the Contemporary Economy, Ius Comparatum — Global Studies in Comparative Law 34. Berlin: Springer, pp. 3-67.
  13. DOI:https://doi.org/10.1007/978-3-030-43699-5_1
  14. Lapaeva V.V. (2008) The Principle of Formal Equality. Zhurnal rossijskogo prava=Russian Law Journal. no 2, pp. 67-80 (in Russ.)
  15. Miné M. (2003) Les concepts de discrimination directe et indirecte. ERA Forum. Vol. 4, pp. 30-44.
  16. DOI:https://doi.org/10.1007/s12027-003-0015-0
  17. Nersesyants V.S. (2009) Towards law. About the origin of equality (from the unpublished). Istoriya gosudarstva i prava=History of State and Law, no 17, pp. 2-7 (in Russ.).
  18. Nömper A. (2001) Geenitestide öiguslikust regulatsioonist. Jurídica II, pp. 113-123.
  19. Pormeister K. (2020) The Prohibitions Against Genetic Discrimination in Estonia. Khoury L., Blackett A., Vanhonnaeker L. (eds.). Genetic Testing and the Governance of Risk in the Contemporary Economy. Berlin: Springer, pp. 179-191.
  20. DOI:https://doi.org/10.1007/978-3-030-43699-5_7
  21. Regan J. (2016) New Zealand passport robot tells applicant of Asian descent to open eyes. Available at.https://www.reuters.com/article/us-newzealand-passport-error/new-zea-land-passportrobot-tells-applicant-of-asian-descent-to-open-eyes-idUSKBN13W0RL/(accessed: 17 February 2022)
  22. Romanovskiy V.G. (2020) Profiling Terrorists and Human Rights Constitutional Protection. Konstitutsionnoe i municipal'noe pravo=Constitutional and Municipal Law, no 10, pp. 46-50. (in Russ.)
  23. DOI:https://doi.org/10.18572/1812-3767-2020-10-46-50
  24. Rouvroy A., Poullet Y. (2009) The right to informational self-determination and the value of self-development. Reassessing the importance of privacy for democracy. S. Gut-wirth et al. (eds.). Reinventing Data Protection? Dordrecht: Springer, pp. 45-76.
  25. DOI:https://doi.org/10.1007/978-1-4020-9498-9_2
  26. Tischbirek A. (2020) Artificial Intelligence and Discrimination: Discriminating Against Discriminatory Systems. Th. Wischmeyer, T. Rademacher. Regulating Artificial Intelligence. Springer pp. 103-121.
  27. DOI:https://doi.org/10.1007/978-3-030-32361-5_5
  28. Zuiderveen Borgesius F. (2018) Discrimination, intelligence artificielle et décisions algorithmiques. Etude à l'intention du Service anti-discrimination du Conseil de l'Europe. Strasbourg: Conseil de l'Europe. 51 p.

Arquivos suplementares

Arquivos suplementares
Ação
1. JATS XML
Baixar

Declaração de direitos autorais © Talapina E., 2022

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».