С камера във всеки джоб и софтуер за разпознаване на лица, вграден в нашите смартфони и социални мрежи, понякога е лесно да забравим, че правенето на снимки и идентифицирането на лица в тях не винаги е било толкова просто. Независимо дали са изгубени, повредени или просто без етикети, процесът на идентифициране на хората на стари снимки може да бъде досаден. Но както откри Курт Лутер, асистент по компютърни науки в Virginia Tech, опитът също може да бъде доста трогателен.
Лутер беше на изложението "Гражданската война в Пенсилвания" в историческия център на сенатора в Питсбърг Джон Хайнц през 2013 г., когато се натъкна на снимка на своя пра-пра-пра-чичо Оливър Крокстън. Той е описал поглед към снимката, която е била най-старата семейна снимка, която е виждал, като пътуваща във времето.
Вече исторически фактор с интерес към Американската гражданска война, моментът заседнал с Лутер и той започна да се чуди как да предаде същия опит на хиляди други любители на историята.
„Започнах да научавам повече за фотографията на Гражданската война“, казва Лутер, „и за това как да идентифицирам [хората], използвайки различни визуални улики, като униформата, знаците или информацията в студиото на фотографа. Междувременно правех много изследвания в областта на краудсорсинга като професор по компютърни науки и си помислих, че може би има начин да обединя тези две неща. "
Лутер се натъкна на снимка на своя пра-пра-пра-чичо Оливър Крокстън. (С любезното съдействие на колекцията на Кен Търнър) Резултатът е безплатен онлайн софтуер, наречен Civil War Photo Sleuth, който използва краудсорсинг и разпознаване на лица, за да помогне на потребителите да идентифицират непознати теми в снимки от епохата на Гражданската война. Малко преди официалното си пускане през 2018 г., технологията спечели както най-голямата награда от 25 000 долара в Cloud AI Research Challenge на Microsoft за използването на софтуера за разпознаване на лица на Microsoft, така и най-добрата демонстрационна награда на конференцията Human Computation and Crowdsourcing 2018. Тази седмица Лутер се представя на конференцията на Асоциацията за интелигентни потребителски интерфейси на компютърните машини в Лос Анджелис.
Създаден с помощта на докторанти и студенти в Virginia Tech, включително ръководител на проекта Vikram Mohanty, и в сътрудничество с отдела по история на Virginia Tech, Photo Sleuth използва многопрофилен подход, за да предложи най-точните идентификации.
Първата важна стъпка в процеса беше изграждането на голяма база данни от вече идентифицирани снимки. Към днешна дата Photo Sleuth има приблизително 17 000 идентифицирани снимки от национални архиви като Института за военна история на САЩ, както и от частни колекции, които включват не само войници от Гражданската война, но и цивилни и други военни служители от епохата.
Лутер казва, че имали щастието да получат подкрепата на вече ентусиазирана общност от историци на гражданската война с достъп до тези снимки, защото без солидна база от вече идентифицирани снимки би било почти невъзможно софтуерът да бъде полезен.
„Не е като в Field of Dreams “, казва Лутер, „Ако бяхме стартирали сайта без изображения и просто се надявахме, че потребителите ще ги добавят всички, ще се сблъскаме с проблема със студен старт, където просто нямате съдържание. "
Базата данни с идентифицирани снимки играе съществена роля за подпомагане на потребителите да идентифицират снимки, които сами качват. Потребителите ръчно маркират специални визуални черти, като цвят на козината, коса на лицето или знак за военно звание, а снимката преминава през алгоритъм за разпознаване на лице, за да се анализират и регистрират уникални съотношения на лицето, като разстояние между ориентирите на лицето като носа и очите. Photo Sleuth сравнява визуалните данни на непознатата снимка с вече идентифицираните снимки в базата данни и представя на потребителя това, което според него са най-добрите съвпадения въз основа на сходството на лицето и информация, получена от другите метаданни, като например войници, които изглежда са в една и съща единица въз основа на знаците на униформите им. Докато софтуерът предприема умишлени стъпки по пътя, за да ограничи възможността за невярна идентификация, Лутер казва, че в края на деня зависи от потребителя да направи окончателната идентификация, когато е представен с най-добрите предположения на софтуера.
„Бяхме много загрижени за предотвратяването на фалшива идентификация, казва Лутер, „ защото когато говориш за интернет, веднъж поставиш някаква грешна информация там, е много трудно да се отървеш от нея или да я промениш. “
За да се увери, че техният софтуер предоставя на потребителите възможно най-добрите предложени идентификации, Лутер извърши анализ на първия месец на предложените идентификации на софтуера, използвайки методи, описани в колони, които е допринесъл за списанието за историята на гражданската война Military Images . Оценката на идентификациите от „определено не е съвпадение“, „вероятно не е съвпадение“, „вероятно съвпадение“ и „определено съвпадение“, анализът установи, че 85 процента от предложените идентификации са или вероятно, или определено съвпадение. На конференцията тази седмица Лутер казва, че планира да подчертае резултатите от най-новото изследване на екипа за Photo Sleuth, включително откритие, направено от Дейв Морин, колекционер на изображения от Гражданската война в Ню Хемпшир, за портрет на неидентифициран втори лейтенант на Съюза, Снимка Sleuth предположи, че мъжът в портрета е Уилям Х. Болдуин от 1-ви нюйоркски инженери. Морин, който потвърди, че Болдуин е родом от Ню Хемпшир, казва, че никога не би намерил въпросния инженер на гранитната държава без помощта на Photo Sleuth.
Курт Лутер е асистент по компютърни науки в Virginia Tech. (Ейми Лофлер) Изследването набляга и на силните страни на човешките историци и на самия софтуер. Въпреки най-добрите си усилия, Лутер казва, че софтуерът може да стигне дотук само при идентифициране на правилни съвпадения и разчита на потребителите да помогнат да идентифицират улики, които са в слепите точки на лицевия алгоритъм.
„[Алгоритъмът] е обучен за общо разпознаване на лица [на] предимно съвременни изображения“, казва Лутер. „AI има труден момент, когато лице е обърнато настрани [в профил]. Това е един необичаен портрет по днешните стандарти, но в средата на 19-ти век това е обичайно. “
Екипът откри също, че потребителите са много по-успешни от алгоритъма само при идентифицирането на други уникални производители като бради и белези.
Патрик Люис, историк на гражданската война и управляващ редактор на научни ресурси и публикации в историческото дружество в Кентъки, който не е бил част от развитието на Photo Sleuth, казва, че Photo Sleuth от гражданската война ще бъде чудесно средство за не само привеждане на тези забравени истории до живот, но за да помогне да се продължи изграждането на мрежа за сътрудничество на историците на гражданската война в цялата страна.
„Обичам да влизам и да разглеждам новите снимки с маркирани в Кентъки“, казва Люис. „[И да попитам] кои са хората, които събират там? Трябва ли да знам техните индивидуални колекционери и трябва ли да се свържа с тях, за да видя дали имат други материали, които биха могли да представляват интерес за научните изследвания? "
Въпреки че все още не се свързва с всеки отделен колекционер чрез Photo Sleuth, Люис казва, че самото историческо общество в Кентъки е работило за изграждането на записи на известни онлайн архиви и че софтуер като Photo Sleuth би подобрил драстично способността им да продължат тази работа.
Напред, Лутер казва, че искат да „удвоят [човешките силни страни]“ на софтуера, включително да добавят опция „Второ мнение“, която ще позволи на много потребители да си сътрудничат за окончателното идентифициране на снимка, както и да работят за разширяване на физическата работа и управление на общността, за да се увеличи потребителската база на Photo Sleuth. Софтуерът ще види и някои асансьори за лице, включително нова функция, която ще позволи на потребителите да качват и идентифицират хора в групова снимка.
„Крайната ни цел е да идентифицираме всяка непозната снимка от Гражданската война“, казва Лутер, „и да получим [Photo Sleuth] по-голям и по-добър, защото 25 000 изображения са само капка в кофата.“
