چالش هوش مصنوعی در شناسایی زنان رنگین‌ پوست

سه نرم‌افزاری که در این تحقیق بررسی شده‌اند نرم‌افزارهای چندمنظوره آنالیز چهره هستند که می‌توان از آن‌ها برای اهدافی نظیر تطبیق چهره‌ها در چندین عکس یا شناسایی ویژگی‌هایی نظیر جنسیت، سن یا وضعیت روانی استفاده کرد. 
این محققان بخش عمده مشکل موجود را ناشی از روش آموزش شبکه‌های عصبی و وجود نقص در روش‌های ارزیابی عملکرد آن‌ها می‌دانند. یکی از شرکت‌های معتبر امریکایی در این حوزه، مدعی است سامانه تشخیص چهره این شرکت دقتی بیش از 97 درصد دارد، اما این محققان دریافته‌اند بیش از 77  درصد داده‌هایی که شرکت مذکور برای این ارزیابی استفاده کرده‌ است، مربوط به مردان بوده و بیش از 83 درصد داده‌ها هم مربوط به سفید پوستان است.
جوی بولاموینی مسئول این پروژه که خود یک زن سیاه‌ پوست است، سال‌ها پیش به این مشکل پی ‌برده بود. بولاموینی روی پروژه‌ای کار می‌کرد که نیازمند استفاده از یک نرم‌افزار تشخیص چهره موجود در بازار بود. گروهی که او را در آن پروژه همراهی می‌کردند از قومیت‌ها و نژادهای مختلفی بودند. 
آن‌ها دریافتند برای اینکه سامانه به‌درستی کار کند، مجبورند از چهره یکی از اعضای سفید پوست خود استفاده کنند. به‌عقیده بولاموینی، روش‌های ارزیابی و استانداردهای مورد استفاده برای تعیین میزان دقت چنین سامانه‌هایی، خودشان ایجاد خطا می‌کنند و درک صحیحی از عملکرد سامانه نمی‌دهند. روچیر پوری طراح ارشد بخش سامانه هوش مصنوعی واتسون (از شرکت آی‌بی‌ام) می‌گوید: «مجموعه داده‌ها در این حوزه تأثیر زیادی روی مدل می‌گذارند. ما اکنون روی مدل جدیدی کار می‌کنیم که ممکن است دقت مورد نظر این محققان را برآورده سازد. این مدل به طور مشخص پاسخی به تحقیق این محققان نیست، اما سعی کرده‌ایم به خواسته‌های آن‌ها هم پاسخی دهیم. آن‌ها نکات مهمی را مطرح کرده‌اند و ما باید ببینیم آیا روش جدیدمان نیازهای آن‌ها را نیز مرتفع می‌کند یا خیر.»