TIME: Школе дозвољавају вештачкој интелигенцији да шпијунира децу која можда размишљају о самоубиству. Али по коју цену?
Овај софтвер за праћење се користи широм земље, на милионима ученика. Али многи родитељи и чланови заједнице и даље нису свесни његовог постојања. Ученици можда имају осећај да се њихови школски уређаји надгледају, али вероватно имају ограничено разумевање о томе како се користе. Иако би идентификовање ризика од самоубиства могло бити вредан циљ, надзор вештачке интелигенције може се осећати као значајно кршење приватности, а истовремено представља и друге неочекиване штете.
Као истраживачи чији се рад фокусирао на димензије неједнакости, менталног здравља и технолошке политике, интервјуисали смо и разговарали са особљем како бисмо боље разумели предности и ризике овог софтвера. Један надзорник нам је рекао да овај софтвер за праћење може да идентификује ризичне ученике који можда већ нису на радару школског особља, пружајући им прилику да интервенишу пре него што се ситуација погорша.
Ми смо истраживачи, али сви смо и родитељи, а овај додатни слој безбедности за откривање ризика од самоубиства у почетку се може осећати као безначајан. Идеја о губитку детета је застрашујућа, па је потпуно разумљиво да би школе посегнуле за наизглед јефтином алатком која може да „ухвати“ приватне, осетљиве мисли везане за самоубиство које ученици можда неће открити никоме изван своје Гугл траке за претрагу.
Али проблем је у томе што, осим анегдота, постоји мало чврстих доказа који подржавају тачност овог софтвера, а постоје бројни примери кроз историју где су добронамерни приступи интервенцији менталног здравља проузроковали ненамерну штету. Слично томе, све је јасније да нова технологија такође има низ штетних колатералних ефеката на ментално здравље младих.
Кроз пажљив преглед постојећих доказа и кроз интервјуе са десетинама школског особља, родитељима и другима, открили смо да праћење засновано на вештачкој интелигенцији, далеко од тога да представља решење за упорни и растући проблем самоубиства младих, може довести до више проблема него што жели да реши.
Прво, коришћење праћења заснованог на вештачкој интелигенцији угрожава приватност ученика. Пошто софтвер ради док ученици користе своје школске рачунарске уређаје и налоге, он има потенцијал да прикупи велике количине података о њиховим животима. Иако су се неке компаније добровољно обавезале да ће чувати податке о ученицима, не постоји национална регулатива која ограничава већину података који се прикупљају, како се чувају и да ли се деле.
Додатно овом ризику за приватност, породицама ће можда бити тешко да одустану од коришћења софтвера. Открили смо да се у многим школским окрузима од породица захтева да пристану на праћење засновано на вештачкој интелигенцији као услов за коришћење рачунарских уређаја које издају школе. Ако породице одустану од надгледања, морају да обезбеде сопствени рачунар за школску употребу, што није приступачна опција за многе породице.
Друго, наше истраживање показује да многи родитељи и истраживачи имају забринутост да би коришћење алгоритама заснованих на вештачкој интелигенцији за идентификацију ризичних ученика могло да погорша неједнакости. На пример, било је извештаја да су интернет претраге LGBTQ ученика биле означене непропорционалним стопама од стране софтвера АI. Њихове активности се тада могу скренути пажњи школских званичника, нехотице „аутујући“ ове ученике.
Потенцијал да алгоритми за предвиђање ризика од самоубиства буду пристрасни у односу на миноритизоване групе добро је документован кроз друге студије. И док су многи тврдили да се ови алгоритми могу кориговати због пристрасности, постоји недостатак транспарентности о томе како и када се генеришу упозорења АI, што отежава ревизију података како би се боље разумело да ли су они заиста пристрасни. Друга студија из 2023. изазвала је додатну забринутост у вези са упозорењима која генерише софтвер за праћење ученика заснован на вештачкој интелигенцији, документујући да програми доследно означавају садржај који се односи на расу, пол и сексуалну оријентацију. Ово укључује претраге у вези са темама као што су Малколм X и Геј хор из Вашингтона.
На крају, док софтвер вештачке интелигенције обележава децу, на школама је да одлуче како да реагују на упозорења која добију. Током наших интервјуа, чули смо приче о упозорењима генерисаним праћењем заснованим на вештачкој интелигенцији која се користе за дисциплиновање ученика. На пример, разговарали смо са наставником који нам је рекао о ученику који има проблем са менталним здрављем и који је суспендован из школе, уместо да се састане са саветником или другим стручњацима за ментално здравље.
Што је још горе, праћење засновано на вештачкој интелигенцији може довести до повећаног броја сусрета између ученика и органа за спровођење закона. На пример, открили смо да, викендом и школским празницима, када немају особље које би прегледало информације, многе школе аутоматски усмеравају упозорења о ризику од самоубиства изазвана вештачком интелигенцијом локалним органима за спровођење закона. Са становишта школе, такав потез је често најбољи начин да се осигура да ученик који доживи кризу менталног здравља добије хитну помоћ. Али органи за спровођење закона можда нису у најбољој позицији да помогну студентима којима је потребна подршка, а могу чак и да погоршају проблеме. То је нешто што смо већ видели у другим ситуацијама, када је полиција позвана да помогне у кризама менталног здравља; Ризик од насилних интеракција са органима за спровођење закона је стваран — посебно за обојене младе људе — и мора се узети у обзир приликом одмеравања предности и недостатака коришћења ових алата.
Неки људи које смо интервјуисали су такође истакли да овај софтвер има потенцијал да подстакне постојеће неједнакости у погледу школске дисциплине. На пример, знамо да се обојени студенти већ суочавају са несразмерно високим дисциплинским мерама у средњој школи, као што су суспензије и искључења, што је повезано са "каналом" од школе до затвора. Упозорења креирана од стране АI софтвера могу да подстакну ове диспаритете повећавајући вероватноћу контакта са органима за спровођење закона.
На крају крајева, остаје нејасно да ли алати могу тачно открити ризик од самоубиства код ученика. До сада ниједна студија није пратила студенте које су ови програми означили као „у ризику“ од самоубиства, да би се видело да ли су заиста били у опасности („истински позитивни“) или не („лажно позитивни“); нити су студије разматрале у којој мери ученици у ризику од самоубиства нису били означени програмима („лажно негативни“). Реакције школа и органа за спровођење закона на ова упозорења, као и крајњи исходи ученика – без обзира да ли ученик добија медицинску помоћ или негу менталног здравља, или ако означени ученик има насилан сусрет са органима за спровођење закона – такође нису документовани. Овај недостатак доказа значи да није јасно да су предности софтвера веће од ризика које смо открили у нашем истраживању.
Родитељи, ученици, школско особље и здравствени радници морају пажљиво одмерити потенцијалне предности и изазове праћења заснованог на вештачкој интелигенцији. Иако може послужити као важан ресурс за школе усред растуће кризе менталног здравља младих, стварне, остварене користи и штете од ове технологије – укључујући и то да ли може тачно да открије ризик од самоубиства – нису познате.
У међувремену, пошто школски окрузи користе своје буџете за постављање алата заснованих на вештачкој интелигенцији за откривање ризика од самоубиства, важно је препознати познате проблеме. Софтвер изазива важне проблеме у вези са приватношћу и има могућност да продужи постојеће неједнакости. Као резултат тога, компаније са вештачком интелигенцијом и школе морају осигурати да породице имају свеобухватне информације о томе како се софтвер користи. Породице такође треба да имају могућност да одустану од праћења без кажњавања. Поред тога, потребно је више прописа на савезном, државном и локалном нивоу, како би се осигурало да су успостављене заштитне мере за заштиту ученика, тако да овај софтвер, који је на крају крајева дизајниран да побољша исходе менталног здравља ученика, на крају не учини више штете него користи.
Коментари
Постави коментар