Преди няколко седмици бях в търговски център, когато забелязах жена, носеща страхотна чанта с каишка, подобна на въже. Тъй като съм на пазара за нова тота, обмислях да я попитам къде го е взела. Но преди да успея да направя ход, тя изчезна зад ъгъла. Когато се прибрах, опитах Googling чантата. Но аз не съм модница и открих, че нямам речника, който да опиша видяното. „Кожена чанта с каишка за връзки“ не беше правилна. Нито беше „портмоне с въжена дръжка“, нито „чанта с каишка за връв“. В крайна сметка се отказах.
Сега една нова технология има за цел да помогне на хората да търсят неща, които не могат непременно да опишат с думи.
Джеймс Хейс, компютърен учен от Технологичния институт в Джорджия, е създал компютърна програма, способна да съпоставя ръчно рисувани изображения с фотографии. Това в крайна сметка може да доведе до програма, която да комбинира услуги за търсене на изображения в интернет, като Google Images, и да намери снимки, които точно съвпадат с чертежите на потребителите.
„Целта е да можем да свързваме или да съпоставяме снимки и скици във всяка посока, точно както човек може“, казва Хейс. „Човек може да види лошо начертана скица и да разбере на коя снимка изглежда съвпада. Искаме да имаме същата способност изчислително. "
За да създаде програмата, Хейс нае близо 700 работници от Amazon Mechanical Turk, пазар за краудсорсинг, който отговаря на работниците и хората, които се нуждаят от изпълнени задачи. Екипът му показа на работниците снимки на обикновени предмети и животни, като катерици, чайници и банани, което им позволява да разгледат изображението в продължение на две секунди. След това работникът би нарисувал предмета от паметта. Екипът в крайна сметка събра над 75 000 скици на 12 500 обекта. Наричаха това „Скична база данни“.
След това програмата анализира скиците и ги съчетава със снимката, която най-много приличат. Технологията идентифицира правилната снимка в 37 процента от времето. Хората, за сравнение, са били правилни около 54 процента от времето. Въпреки че 37 процента може да не изглежда впечатляващо, всъщност това е доста скок за компютрите.
„Хората вече са толкова стряскащо добри в зрението, че разпознаваме образите без усилия“, казва Хейс. „Всъщност е изненадващо трудно изчислително.“
Едно от основните предизвикателства при подобряването на програмата е, че повечето хора са доста призрачни артисти. Както Хейс и неговият екип написаха в статия по темата: „Формите и люспите са изкривени. Обектните части са карикатурни (големи уши на слон), антропоморфизирани (усмихната уста на паяк) или опростени (крайни фигури на крайниците). “
В исторически план изследването за получаване на компютри за разпознаване на скици е фокусирано върху неща като разпределението на линиите в чертеж, посоката, в която линиите влизат или където са границите на чертежа. Но тъй като хората нарисуват само онова, което е ясно на хората (например, очите винаги са включени в скици, въпреки че са сравнително малки), за компютъра е важно да „научи“ как скиците са подобни и как те са склонни да да бъде различен от фотографиите. За целта програмата използва две отделни мрежи, една, която оценява скици, и тази, която оценява фотографиите. Чрез постоянен анализ на голям набор от данни, програмата може непрекъснато да „учи“.
Хейс и неговият екип планират да продължат да подобряват програмата, като добавят данни. Напредъкът в компютърното обучение също трябва да спомогне за подобряване на процента на съвпадение. Към момента програмата има сравнително висок процент на съвпадение при сравняване на скици с бази данни в интернет, включително Flickr, въпреки че е трудно да се определи количествено, казва Хейс.
В допълнение към търсенето на изображение в чантата, от което толкова силно се нуждая, програмата има и редица не толкова лекомислени потенциални приложения. Полицията може да сканира подозрителни скици и да ги сравни с база данни с криминални снимки. Програмата може да бъде използвана от хора, които говорят и пишат на който и да е език или изобщо не могат да пишат.
„Една от целите за разбиране на скиците е, че те са някакъв универсален език“, казва Хейс. „Не е обвързан с определен писмен език и изобщо не е обвързан с грамотността. [Програма като тази може да донесе] достъп до информация без писмен език. "
Програмата би могла да се използва и артистично, за да създава фотореалистични сцени от скици. Винаги си представяхте да живеете в замък на Луната? Начертайте го и програмата може един ден да създаде снимка за вас, като сшиете парчета от други изображения.
Информацията, събрана от Хейс и неговия екип, също може да помогне за справяне с някои въпроси на невронауката и психологията, казва Хейс.
„Тези двойки със скици-снимки говорят нещо за човешкото възприятие, за това, което смятаме за забележимо, какви части от изображенията привличат вниманието ни“, казва Хейс. „По някакъв начин тази база данни кодира това доста добре. Може да има нещо, от което да се дразните, ако искате да кажете нещо за самите хора. "
