Miles Brundage, tunnettu entinen OpenAI-politiikan tutkija, perustaa instituutin, joka on omistettu yksinkertaiselle ajatukselle: tekoälyyritysten ei pitäisi antaa arvostella omia kotitehtäviään.
Brundage julkisti tänään virallisesti AI Evaluation and Verification Research Instituten (AVERI), uuden voittoa tavoittelemattoman järjestön, jonka tavoitteena on edistää ajatusta siitä, että rajatylittävien tekoälymallien tulisi olla ulkoisen tarkastuksen alaisia. AVERI työskentelee myös tekoälyn auditointistandardien luomiseksi.
Julkaiseminen tapahtuu samaan aikaan, kun Brundagen ja yli 30 tekoälyn tietoturvatutkijaa ja hallintoasiantuntijaa ovat yhdessä kirjoittaneet tutkimusartikkeli, jossa esitetään yksityiskohtaiset puitteet maailman tehokkaimpia tekoälyjärjestelmiä rakentavien yritysten riippumattomille auditoinneille.
Brundage työskenteli seitsemän vuotta OpenAI:ssa politiikan tutkijana ja neuvonantajana siinä, kuinka yrityksen tulisi valmistautua ihmisen kaltaisen yleisen tekoälyn tuloon. Hän jätti yrityksen lokakuussa 2024.
“Yksi asioista, jonka opin työskennellessäni OpenAI:lla, on se, että yritykset selvittävät tällaisten asioiden säännöt itse”, Brundage kertoi Fortunelle. “Kukaan ei pakota heitä työskentelemään ulkopuolisten asiantuntijoiden kanssa varmistaakseen, että asiat ovat turvallisia. He kirjoittavat omat sääntönsä.”
Se luo riskejä. Vaikka johtavat tekoälylaboratoriot tekevät tietoturvatestejä ja julkaisevat teknisiä raportteja monien näiden arvioiden tuloksista, joista osan he tekevät kolmannen osapuolen “punaisen tiimin” organisaatioiden avulla, tässä vaiheessa kuluttajien, yritysten ja hallitusten on yksinkertaisesti luotettava siihen, mitä tekoälylaboratoriot sanovat näistä testeistä. Kukaan ei pakota heitä tekemään näitä arvioita tai raportoimaan niistä minkään tietyn standardin mukaisesti.
Brundage sanoi, että muilla toimialoilla auditointia käytetään antamaan yleisölle (mukaan lukien kuluttajat, liikekumppanit ja jossain määrin sääntelyviranomaiset) takeet siitä, että tuotteet ovat turvallisia ja ne on testattu tarkasti.
“Jos menet ulos ja ostat pölynimurin, tiedät, että siinä on komponentteja, kuten akkuja, jotka riippumattomat laboratoriot ovat testannut tiukkojen turvallisuusstandardien mukaisesti varmistaakseen, että se ei syty tuleen”, hän sanoi.
Uusi instituutti edistää politiikkaa ja standardeja
Brundage sanoi, että AVERI oli kiinnostunut politiikoista, jotka rohkaisevat tekoälylaboratorioita siirtymään tiukkaan ulkoisen tarkastuksen järjestelmään, sekä tutkimaan, mitkä standardit näiden auditointien tulisi olla, mutta ei ollut kiinnostunut suorittamaan itse auditointeja.
“Olemme asiantuntijaryhmä. Yritämme ymmärtää ja muokata tätä muutosta”, hän sanoi. “Emme yritä saada jokaista Fortune 500 -yritystä asiakkaiksi.”
Hän sanoi, että olemassa olevat julkiset kirjanpito-, tilintarkastus-, varmennus- ja testausyritykset voisivat ryhtyä tarkastamaan tekoälyn turvallisuutta, tai uusia yrityksiä perustettaisiin ottamaan tämä tehtävä.
AVERI kertoi keränneensä 7,5 miljoonaa dollaria 13 miljoonan dollarin tavoitteen saavuttamiseksi kattaakseen 14 työntekijää ja kahden vuoden toiminnan. Sen rahoittajia ovat tähän mennessä olleet Halcyon Futures, Fathom, Coefficient Giving, entinen Y Combinatorin presidentti Geoff Ralston, Craig Falls, Good Forever Foundation, Sympatico Ventures ja AI Underwriting Company.
Organisaatio kertoo saaneensa lahjoituksia myös rajatylittävien tekoälyyritysten nykyisiltä ja entisiltä työntekijöiltä. “Nämä ovat ihmisiä, jotka tietävät, mihin ruumiit on haudattu” ja “haluaisivat nähdä enemmän vastuullisuutta”, Brundage sanoi.
Vakuutusyhtiöt tai sijoittajat voivat pakottaa tekoälyn turvatarkastukset
Brundage sanoi, että voisi olla useita mekanismeja, jotka rohkaisevat tekoälyyrityksiä aloittamaan riippumattomien tilintarkastajien palkkaamisen. Yksi on, että suuret yritykset, jotka ostavat tekoälymalleja, saattavat vaatia auditointeja antaakseen heille varmuuden siitä, että heidän ostamansa tekoälymallit toimivat luvatusti eivätkä aiheuta piiloriskejä.
Vakuutusyhtiöt voivat myös vaatia tekoälyauditoinnin perustamista. Esimerkiksi vakuutusyhtiöt, jotka tarjoavat liiketoiminnan jatkuvuusvakuutusta suurille yrityksille, jotka käyttävät tekoälymalleja keskeisissä liiketoimintaprosesseissa, voivat vaatia auditointia vakuutuksen ehtona. Vakuutusala voi myös vaatia auditointeja laatiakseen käytäntöjä johtaville tekoälyyrityksille, kuten OpenAI, Anthropic ja Google.
“Vakuutusala etenee varmasti nopeasti”, Brundage sanoi. – Meillä on paljon keskusteluja vakuutusyhtiöiden kanssa. Hän huomautti, että tekoälyyn erikoistunut vakuutusyhtiö, AI Underwriting Company, on tehnyt lahjoituksen AVERIlle, koska “he näkevät auditoinnin arvon keinona varmistaa kirjoittamiensa standardien noudattaminen”.
Sijoittajat voivat myös vaatia tekoälyn turvatarkastuksia varmistaakseen, etteivät he ota tuntemattomia riskejä, Brundage sanoi. Ottaen huomioon useiden miljoonien dollarien shekit, joita sijoitusyhtiöt nyt kirjoittavat tekoälyyritysten rahoittamiseksi, näiden sijoittajien olisi järkevää vaatia riippumattomia tarkastuksia tuotteiden turvallisuudesta, joita nämä nopeasti kasvavat startup-yritykset rakentavat. Jos jokin suurimmista laboratorioista menee pörssilistalle (kuten OpenAI ja Anthropic ovat valmistautuneet tekemään seuraavan vuoden tai parin aikana), tilintarkastajien palkkaamatta jättäminen tekoälymallien riskien arvioimiseen voi altistaa nämä yritykset osakkeenomistajien kanteisiin tai SEC:n syytteisiin, jos jokin menisi myöhemmin pieleen ja myötävaikuttaisi osakekurssien merkittävään laskuun.
Brundage sanoi myös, että sääntely tai kansainväliset sopimukset voivat pakottaa tekoälylaboratoriot palkkaamaan riippumattomia tarkastajia. Yhdysvalloilla ei tällä hetkellä ole liittovaltion säädöksiä tekoälylle, ja on epäselvää, luodaanko niitä. Presidentti Donald Trump allekirjoitti toimeenpanomääräyksen, jonka tarkoituksena on saada ankaria tekoälyä koskevia Yhdysvaltain osavaltioita vastaan. Hallinto on sanonut tämän johtuvan siitä, että se uskoo, että yksi liittovaltion standardi olisi yritysten helpompi navigoida kuin useiden osavaltioiden lakeja. Mutta vaikka se yrittää rankaista osavaltioita tekoälysääntöjen säätämisestä, hallinto ei ole vielä ehdottanut omaa kansallista standardiaan.
Muilla maantieteellisillä alueilla tarkastuksen perusta saattaa kuitenkin olla jo muotoutumassa. Äskettäin voimaan tullut EU:n tekoälylaki ei nimenomaisesti edellytä tekoälyyritysten arviointimenettelyjen tarkastuksia. Mutta sen “General Purpose AI:n käytännesäännöt”, joka on eräänlainen suunnitelma siitä, kuinka huippuluokan tekoälylaboratoriot voivat noudattaa lakia, sanoo, että laboratorioiden, jotka rakentavat malleja, jotka voivat aiheuttaa “systeemiriskejä”, on annettava kolmannen osapuolen arvioijille vapaa pääsy mallien testaamiseen. Itse lain tekstissä sanotaan myös, että kun organisaatiot käyttävät tekoälyä “korkean riskin” käyttötapauksissa, kuten lainojen myöntämisessä, sosiaalietuuskelpoisuuden määrittämisessä tai terveydenhuollon määrittämisessä, tekoälyjärjestelmälle on suoritettava ulkoinen “vaatimustenmukaisuusarviointi” ennen markkinointia. Jotkut ovat tulkinneet näitä lain ja säännöstön kohtia siten, että ne edellyttävät olennaisesti riippumattomia tilintarkastajia.
Luo ‘varmennustasot’ ja löydä tarpeeksi päteviä tilintarkastajia
AVERI:n lanseerauksen yhteydessä julkaistu tutkimusartikkeli hahmottelee kattavan näkemyksen siitä, miltä raja-AI-auditoinnin pitäisi näyttää. Se ehdottaa “AI Assurance Levels” -kehystä tasosta 1, joka sisältää kolmannen osapuolen suorittamia mutta rajoitetun pääsyn testauksia ja on samanlainen kuin ulkopuoliset arvioinnit, joita tekoälylaboratoriot käyttävät tällä hetkellä yrityksissä suorittamaan, tasoon 4, joka tarjoaisi “sopimustason” varmuuden, joka riittää kansainvälisille tekoälyn turvallisuutta koskeville sopimuksille.
Pätevien tekoälyauditoreiden tiimin kokoamiseen liittyy omat vaikeutensa. Tekoälyauditointi vaatii yhdistelmän teknistä asiantuntemusta ja hallintotietämystä, jota harvalla on, ja niitä, joilla on, houkutellaan usein kannattavilla tarjouksilla samoista yrityksistä, jotka auditoitaisiin.
Brundage myönsi haasteen, mutta sanoi, että se on voitettavissa. Hän puhui eritaustaisten ihmisten sekoittamisesta “unelmatiimeiksi”, joilla yhdessä on oikeat taidot. “Sinulla saattaa olla ihmisiä olemassa olevasta tilintarkastusyrityksestä, joitain ihmisiä kyberturvallisuuden läpäisytestausyrityksestä, sekä ihmisiä yhdestä tekoälyn turvallisuuden järjestöstä ja ehkä akateeminen”, hän sanoi.
Muilla toimialoilla, ydinenergiasta elintarviketurvallisuuteen, standardien ja riippumattomien arvioiden hyväksymiseen ovat usein olleet katastrofit tai ainakin läheltä piti -tilanteet. Brundage sanoi toivovansa, että tekoälyn avulla standardit ja auditointiinfrastruktuuri voidaan luoda ennen kriisin syntymistä.
“Minun näkökulmastani tavoitteena on päästä teknologian todellisiin vaikutuksiin ja riskeihin verrannolliselle tarkastelustasolle mahdollisimman sujuvasti ja nopeasti, ylittämättä”, hän sanoi.