https://frosthead.com

Може ли компютър наистина да оцени есе?

В бъдеще компютрите ще бъдат нашите лекари, нашите войници, нашите пожарникари и нашите учители. Те ще диагностицират заболявания, ще подхранват нашите бебета, ще защитават домовете ни и ще учат децата ни. Една компания вече разработва компютърна програма за оценяване на есе, която може да свали натоварването от преподаватели и стандартизирани тестови грейдери. Но може ли компютърът наистина да оцени внимателно изработеното есе?

Компанията edX със сигурност смята така. Те вече предлагат онлайн курсове на институциите, заедно със система за изкуствен интелект, която ще оценява студентските есета. Джон Маркоф ​​от New York Times обяснява:

Анант Агарвал, инженер по електротехника, който е президент на EdX, прогнозира, че софтуерът за незабавно класиране ще бъде полезен педагогически инструмент, даващ възможност на студентите да вземат тестове и да пишат есета отново и отново и да подобри качеството на своите отговори. Той каза, че технологията ще предложи различни предимства пред традиционната система в класната стая, където студентите често чакат дни или седмици за оценки.

„Има голямо значение в ученето с незабавна обратна връзка“, каза д-р Агарвал. „Студентите ни казват, че учат много по-добре с незабавна обратна връзка.“

Дали тази незабавна обратна връзка е висококачествена е друг въпрос. Скептиците на тези компютърни грейдери не са трудни за намиране. Една група, която се нарича „Професионалисти срещу машинното оценяване на студентски есета при оценяване на високи оценки“, излезе с изявление и събира подписи, за да се противопостави на предаването на задачата за класиране на компютър. Те пишат:

Нека да се срещнем с реалностите на автоматичното оценяване на есе. Компютрите не могат да „четат“. Те не могат да измерят основното на ефективната писмена комуникация: точността, разсъжденията, адекватността на доказателствата, здравият разум, етичната позиция, убедителният аргумент, смислената организация, яснотата и истинността.

В петицията се иска законодателите да спрат да разчитат на компютри за класиране и училищата да спрат да купуват в автоматизираните системи за оценяване.

Agarwal признава, че софтуерът може да бъде по-добър и се надява, че ще стане по-добър при разграничаване на добро есе от посредствено такова. „Това е машинно обучение и има много дълъг път, но той е достатъчно добър и кракът е огромен“, каза той пред New York Times . Освен това, казва той, всеки, който смята, че учителите са последователни, заблуждава себе си. „Установихме, че качеството на класирането е подобно на разликата, която откривате от инструктор до инструктор.“

Всъщност някои проучвания предполагат, че компютрите и учителите предлагат еднакъв вид променливост в оценките. Едно проучване на Марк Шермис от Университета в Акрон стигна до заключението, че „автоматизираното оценяване на есе е в състояние да доведе до резултати, подобни на човешки партитури за писане с удължен отговор с еднакво представяне както за източник, така и за традиционен писателски жанр.“ Изследването на Шермис, обаче, никога не е публикуван в списание и други изследователи поставят под въпрос твърденията му. Les C. Perelman от MIT написа отговор на доклада на Shermis, като написа, че „внимателно проучване на методологията на документа и използваните набори от данни показва, че подобно твърдение не се подкрепя от данните в проучването“.

Групата от професионалисти цитира и няколко документа, които предполагат, че компютрите не са толкова добри, колкото учителите в оценяването на учениците.

Най-вероятно това е въпрос дали тези компютри са достатъчно добри в степенуването, а не дали някога ще бъдат. Но не само учителите ще получат по-високи технологии, но и студентите. Ако студентите научат какво търси програмата, те могат сами да напишат програма, за да напишат перфектното есе въз основа на спецификациите на софтуера. Може би в бъдеще компютризираните учители ще оценяват компютризирани студенти.

Още от Smithsonian.com:

Естонското обучение преподава 100 процента от своите първокласници
Преподаване на ченгета да виждат

Може ли компютър наистина да оцени есе?