Какво е справедливо?
Изглежда прост въпрос, но е един без прости отговори. Това е особено вярно в тайнствения свят на изкуствения интелект (AI), където представата за умни, без емоции машини, които взимат решения чудесно без пристрастия, бързо избледнява.
Може би най-публичният гняв от това схващане дойде при разследване ProPublica през 2016 г., което стигна до заключението, че данните, управляващи система на ИИ, използвани от съдиите, за да определят дали един осъден престъпник е вероятно да извърши повече престъпления, изглежда са пристрастни към малцинствата. Northpointe, компанията, която създаде алгоритъма, известен като COMPAS, оспори тълкуването на резултатите на ProPublica, но сблъсъкът предизвика както дебат, така и анализ за това колко трябва да се вярват дори на най-умните машини.
„Това е наистина гореща тема - как можете да направите алгоритмите справедливи и надеждни“, казва Даниел Нийл. "Това е важен въпрос."
Сега Нийл се озова в средата на дискусията. Компютърен учен от университета Карнеги Мелън, той и друг изследовател Уил Гор, разработиха софтуерно средство за предсказване на престъпността, наречено CrimeScan преди няколко години. Първоначалната им концепция беше, че по някакъв начин насилието в престъпления е като заразна болест, че има тенденция да избухне в географски клъстери. Те също така вярват, че по-малките престъпления могат да бъдат предвестник на по-насилствените, така че те изградиха алгоритъм, използвайки широк спектър от данни за „водещи индикатори“, включително доклади за престъпления, като прости нападения, вандализъм и нарушение на поведението и 911 призовава за такива неща като изстрели на изстрели или човек, видян с оръжие. Програмата включва също тенденции за сезона и ден от седмицата плюс краткосрочни и дългосрочни проценти на тежки престъпления с насилие.
Идеята е да се проследят искри, преди да избухне пожар. „Ние разглеждаме по-леките престъпления“, казва Нийл. „Простите нападения могат да се втвърдят до утежнени нападения. Или може да имате ескалиращ модел на насилие между две банди. "
Предсказване кога и къде
CrimeScan не е първият софтуер, създаден за т.нар. Програма, наречена PredPol, е създадена преди осем години от учени от UCLA, работещи с полицейското управление в Лос Анджелис, с цел да се види как научният анализ на данните за престъпления може да помогне за откриване на модели на престъпно поведение. Сега използван от повече от 60 полицейски управления в цялата страна, PredPol идентифицира райони в квартал, където по-вероятно е да се извършват тежки престъпления през определен период.
Компанията твърди, че изследванията й са установили, че софтуерът е два пъти по-точен от човешките анализатори, когато става въпрос за прогнозиране на къде ще се случат престъпления. Нито едно независимо проучване обаче не потвърди тези резултати.
И PredPol и CrimeScan ограничават своите прогнози до това къде могат да се случат престъпления и избягват да предприемат следващата стъпка да предскажат кой може да ги извърши - противоречив подход, който град Чикаго е изградил около „Стратегически списък с теми“ от хора, които най-вероятно ще бъдат замесени в бъдещи стрелби, било като стрелец или жертва.
Американският съюз за граждански свободи [ACLU], Центърът за правосъдие в Бренан и различни организации за граждански права повдигнаха въпроси относно риска от пристрастия да бъдат включени в софтуера. Историческите данни от полицейските практики, твърдят критиците, могат да създадат обратна връзка, чрез която алгоритмите вземат решения, които отразяват и засилват нагласите за това кои квартали са "лоши" и кои са "добри." Ето защо AI, основан предимно на данните за арестите, носи по-висока риск от пристрастия - той е по-отразяващ полицейските решения, за разлика от действително докладвани престъпления. CrimeScan например се държи далеч от опитите да прогнозира престъпления, които, както казва Нийл, „ще намерите само ако ги потърсите“.
„Не мога да кажа, че сме свободни от пристрастия - казва Нийл, - но със сигурност е по-намален, отколкото ако се опитвахме да предвидим притежание на наркотици“.
След това е другата страна на контура за обратна връзка. Ако инструментът за прогнозиране повиши очакванията за престъпления в определен квартал, полицията, която патрулира там, ще бъде по-агресивна при извършване на арести?
„Има реална опасност при всякакъв вид полицейска дейност да се забрави, че има хора от двете страни на уравнението“, отбелязва Андрю Фъргюсън, професор по право в Университета на Окръг Колумбия и автор на книга, Възходът на големи данни за полицейски данни: Надзор, надпревара и бъдещето на правоприлагането. „Служителите трябва да могат да преведат тези идеи, които предполагат, че различните квартали имат различни оценки на заплахите. И съсредоточаването върху числата, вместо върху човека пред вас, променя отношенията ви към тях. "
Вътре в черната кутия
Реалността е, че сега изкуственият интелект играе роля - макар и често на заден план - в много решения, засягащи ежедневието - от подпомагане на компаниите да изберат кого да наемат до определяне на кредитни оценки до оценяване на учителите. Не е изненадващо, че това засили публичния контрол върху начина на създаване на алгоритмите за машинно обучение, какви нежелани последици причиняват и защо обикновено не се подлагат на много преглед.
За начало голяма част от софтуера е патентован, така че има малко прозрачност зад това как функционират алгоритмите. И тъй като машинното обучение става все по-усъвършенствано, ще стане все по-трудно дори инженерите, които създадоха AI система, да обяснят изборите, които направиха. Това непрозрачно вземане на решения, с малко отчетност, е следствие от това, което става известно като алгоритми на „черна кутия“.
„Обществото никога не получава шанс да провери или обсъди използването на такива системи“, казва Мередит Уитакър, съосновател на AI Now Institute, изследователска организация в Нюйоркския университет, която се фокусира върху влиянието на AI в обществото. "И данните и логиките, които управляват направените прогнози, често са непознати дори за тези, които ги използват, камо ли за хората, чийто живот е засегнат."
В доклад, публикуван миналата есен, AI Now стигна дотам, че препоръча нито една публична агенция, отговорна за такива въпроси като наказателно правосъдие, здравеопазване, благополучие и образование, да не използва системите за интелектуална интеграция в черно поле. Според AI Now рядко са правни и етични въпроси, които се обръщат много внимание при създаването на софтуера.
„Точно както не бихте се доверили на съдия да изгради дълбока невронна мрежа, ние трябва да спрем да приемаме, че инженерната степен е достатъчна за вземане на сложни решения в области като наказателното правосъдие“, казва Уитакър.
Друга организация, Центърът за демокрация и технологии, създаде инструмент за „цифрови решения“, за да помогне на инженерите и компютърните учени да създадат алгоритми, които дават справедливи и безпристрастни резултати. Инструментът задава много въпроси, предназначени да ги накарат да претеглят своите предположения и да идентифицират непредвидени вълнисти ефекти.
„Искахме да дадем на хората конкретна отправна точка за мислене чрез въпроси като представителността на данните им, кои групи хора може да бъдат оставени и дали резултатите от модела им ще имат нежелани отрицателни последици“, казва Наташа Дуарте, която ръководи Проектът.
Кой е отговорен?
Въпреки че е налице тласък да направят разработчиците по-наясно с възможните последствия от техните алгоритми, други изтъкват, че публичните агенции и компаниите, разчитащи на AI, също трябва да бъдат отговорни.
„Има този акцент върху дизайнерите, които разбират дадена система. Но става въпрос и за хората, администриращи и прилагащи системата “, казва Джейсън Шулц, професор по право в Нюйоркския университет, който работи с AI Now Institute по правни и политически въпроси. "Това е мястото, където гумата отговаря на пътя на отчетността. Правителствена агенция, използваща AI, носи най-голяма отговорност и те също трябва да го разберат. Ако не можете да разберете технологията, няма да можете да я използвате."
За тази цел AI Now насърчава използването на „алгоритмични оценки на въздействието“, които биха изисквали публичните агенции да разкрият използваните от тях системи и да позволят на външни изследователи да ги анализират за потенциални проблеми. Що се отнася до полицейските управления, някои юридически експерти смятат, че също е важно те ясно да разберат как използват технологиите и да са готови да споделят това с местната общност.
"Ако тези системи са проектирани от гледна точка на отчетност, справедливост и надлежен процес, лицето, което прилага системата, трябва да разбере, че носи отговорност", казва Шулц. „И когато проектираме как ще ги изпълним, един от първите въпроси е„ Къде става това в ръководството на полицията? “ Ако няма да имате това някъде в ръководството на полицията, нека направим крачка назад, хора. "
Андрю Фъргюсън вижда необходимостта от това, което той нарича „среща на върха за наблюдение“.
„Поне веднъж годишно трябва да има момент на отчетност за полицейските технологии във всяка местна юрисдикция“, казва той. „Шефът на полицията, кметът или може би шефът на Общинския съвет би трябвало да обясни на общността за какво използват данъкоплатците по отношение на наблюдението и технологиите, защо смятат, че е добре да се използват парите, за какво правите одит и защита на данните, какви са последиците за поверителността. И общността ще бъде там, за да задава въпроси. "
Даниел Нийл, създателят на CrimeScan, казва, че не би възразил срещу идеята за редовни одити на резултатите от AI, въпреки че има резерви за това, което се прави преди алгоритъмът да бъде тестван адекватно на място. Понастоящем той работи с полицейското бюро в Питсбърг в рамките на изпитание за престъпление и поне първоначално имаше предизвикателство с „получаването на подходящ интензитет на патрулиране за прогнозираните горещи точки“.
Според него това е процес на обучение, за да се адаптира CrimeScan, така че полицаите на ниво улица да смятат, че е полезно. „Трябва да покажем, че не само можем да прогнозираме престъпление, но и че можем всъщност да го предотвратим“, отбелязва Нийл. "Ако просто хвърлите инструмента върху стената и се надявате на най-доброто, той никога не работи толкова добре."
Той също така признава риска от отлагане на твърде много на алгоритъм.
„Инструмент може да помогне на полицаите да вземат добри решения“, казва той. „Не вярвам, че машините трябва да вземат решения. Те трябва да се използват за подкрепа на решенията. "
Нийл добавя: „Разбирам, че на практика това не се случва непрекъснато.“
