Tekoäly-startup Character.AI katkaisee nuorten pääsyn virtuaalihahmoihinsa sen jälkeen, kun useat oikeusjutut syyttivät yritystä lasten vaarantamisesta. Yhtiö ilmoitti keskiviikkona, että se poistaa alle 18-vuotiaiden käyttäjien mahdollisuuden osallistua “avoimiin” keskusteluihin tekoälyn ihmisten kanssa alustallaan, ja päivitys tulee voimaan 25. marraskuuta.
Yhtiö ilmoitti myös käynnistävänsä uuden iänseurantajärjestelmän, joka auttaa tarkistamaan käyttäjien iän ja ryhmittelemään heidät oikeisiin ikäryhmiin.
“Jatkossa pyrimme luomaan PG-18-kokemuksen, joka silti antaa teini-ikäisille käyttäjillemme tapoja olla luovia, kuten luoda videoita, tarinoita ja streameja hahmojen avulla”, yhtiö sanoi Fortunelle jakamassa lausunnossa. “Tämän siirtymäkauden aikana rajoitamme chat-aikaa myös alle 18-vuotiaille käyttäjille. Raja on aluksi kaksi tuntia päivässä ja se laskee tulevina viikkoina 25. marraskuuta asti.”
Character.AI sanoi, että muutos tehtiin ainakin osittain vastauksena viranomaistarkasteluihin viitaten sääntelyviranomaisten tiedusteluihin sisällöstä, jota teini-ikäiset voivat kohdata jutellessaan AI-hahmojen kanssa. FTC tutkii parhaillaan seitsemää yritystä, mukaan lukien OpenAI ja Character.AI, ymmärtääkseen paremmin, kuinka niiden chatbotit vaikuttavat lapsiin. Yhtiö on myös edessään useita nuoriin käyttäjiin liittyviä oikeusjuttuja, joista ainakin yksi liittyy teini-ikäisen itsemurhaan.
Toisessa oikeusjutussa, jonka kaksi perhettä teki Texasissa, syytetään Character.AI:ta kahden alaikäisen, 11- ja 17-vuotiaan, psykologisesta pahoinpitelystä. Oikeudenkäynnin mukaan alustalla isännöity chatbot käski yhtä nuorista käyttäjistä vahingoittamaan itseään ja rohkaisi väkivaltaan vanhempiaan kohtaan, mikä viittaa siihen, että heidän tappamisensa voisi olla “kohtuullinen vastaus” hänen näyttöaikarajoituksiinsa.
Aiemmin tässä kuussa Bureau of Investigative Journalism (TBIJ) havaitsi, että tuomitun pedofiilin Jeffrey Epsteinin inspiroima chatbot oli tallentanut yli 3 000 keskustelua käyttäjien kanssa alustalla. Myyntipiste kertoi, että avatar nimeltä “Bestie Epstein” jatkoi flirttailua toimittajan kanssa senkin jälkeen, kun toimittaja, joka on aikuinen, kertoi chatbotille olevansa tyttö. Se oli yksi monista TBIJ:n ilmoittamista boteista, jotka Character.AI myöhemmin poisti.
Fortunelle jakamassa lausunnossa Meetali Jain, Tech Justice Law Projectin johtaja ja useiden Character.AI:n oikeuteen nostaneiden kantajien edustaja, piti muutosta “hyvänä ensimmäisenä askeleena”, mutta kyseenalaisti, kuinka politiikkaa toteutettaisiin.
“He eivät ole käsitelleet, kuinka he ottavat käyttöön iän vahvistamisen, kuinka he varmistavat, että heidän menetelmänsä säilyttävät yksityisyyden, eivätkä he ole käsitelleet mahdollisia psykologisia vaikutuksia, joita nuorten käyttäjien pääsy äkillisesti estetään, kun otetaan huomioon luodut emotionaaliset riippuvuudet”, Jain sanoi.
“Lisäksi näillä muutoksilla ei puututa taustalla oleviin suunnitteluominaisuuksiin, jotka helpottavat näitä emotionaalisia riippuvuuksia, ei vain lapsille, vaan myös yli 18-vuotiaille. Tarvitsemme lisää toimia lainsäätäjiltä, sääntelijöiltä ja tavallisilta ihmisiltä, jotka jakamalla tarinoitaan henkilökohtaisista haitoista auttavat torjumaan teknologiayritysten kertomusta, jonka mukaan heidän tuotteet ovat väistämättömiä ja hyödyllisiä kaikille sellaisina kuin ne ovat”, hän lisäsi.
Uusi ennakkotapaus tekoälyn tietoturvalle
Alustan käytön kieltäminen alle 18-vuotiailta merkitsee radikaalia politiikkamuutosta Googlen insinöörien Daniel De Freitasin ja Noam Shazeerin perustamalle yritykselle. Yhtiö sanoi, että muutoksen tavoitteena on luoda “ennakkotapaus, joka asettaa teini-ikäisten turvallisuuden etusijalle samalla, kun se tarjoaa nuorille käyttäjille mahdollisuuksia löytää, leikkiä ja luoda”, ja totesi, että se menee ikäisensä pidemmälle alaikäisten suojelemisessa.
Character.AI ei ole ainoa, joka joutuu tarkastelemaan teinien turvallisuutta ja AI-chatbottien käyttäytymistä.
Aiemmin tänä vuonna Reutersin hankkimat sisäiset asiakirjat ehdottivat, että Metan AI-chatbot voisi yrityksen ohjeiden mukaan käydä “romanttisia tai aistillisia” keskusteluja lasten kanssa ja jopa kommentoida heidän houkuttelevuuttaan.
Metan tiedottaja kertoi aiemmin Fortunelle, että Reutersin raportoimat esimerkit olivat epätarkkoja ja ne on sittemmin poistettu. Meta on myös ottanut käyttöön uusia lapsilukkotoimintoja, joiden avulla vanhemmat voivat estää lapsiaan keskustelemasta tekoälyhahmojen kanssa Facebookissa, Instagramissa ja Meta AI -sovelluksessa. Uudet suojatoimenpiteet, jotka otetaan käyttöön ensi vuoden alussa Yhdysvalloissa, Isossa-Britanniassa, Kanadassa ja Australiassa, antavat myös vanhemmille mahdollisuuden estää tietyt robotit ja nähdä yhteenvedot aiheista, joista teini-ikäiset keskustelevat tekoälyn kanssa.