Hei ja tervetuloa Eye on AI -ohjelmaan. Tässä painoksessa… tekoälyn luotettavuusongelma… Trump lähettää tekoälylain luonnoksen kongressille… OpenAI yhdistää tuotteet yhdeksi supersovellukseksi ja palkkaa… tekoälyagentteja, jotka voivat parantaa tapaansa parantaa… ja tekoälymallisi kokee emotionaalista ahdistusta?
Kuten monet teistä, aloin pelata tekoälyagenttien kanssa. Käytän niitä usein tutkimukseen, jossa ne toimivat varsin hyvin ja säästävät huomattavasti aikaa. Mutta niin sanotut “syvän tutkimuksen” aineet ovat olleet saatavilla yli vuoden, mikä tekee niistä suhteellisen kypsän tuotteen tekoälyn maailmassa. Aloin myös testata uuden sukupolven agentteja, jotka käyttävät tietokoneita muihin tehtäviin. Ja tähän mennessä kokemukseni on, että nämä aineet ovat hyvin epäjohdonmukaisia.
Esimerkiksi Perplexity’s Computer, joka on agenttivaljaat, joka toimii virtuaalikoneessa, jossa on pääsy moniin työkaluihin, teki hienoa työtä varaaessaan minulle palautuspaikan paikallisessa kierrätyskeskuksessani. (Käyti Anthropicin Claude Sonnet 4.6:ta taustalla olevana päättelymoottorina.) Mutta kun pyysin häntä tutkimaan lentovaihtoehtoja tulevaa työmatkaa varten, hän ei voinut suorittaa tehtävää loppuun, vaikka matkavaraus onkin yksi niistä kanonisista käyttötapauksista, joista tekoälyyritykset aina puhuvat. Agentti kulutti paljon rahakkeita 45 minuutin yrittämisen aikana.
Viime viikolla Anthropicin isännöimässä tekoälyagenttien esittelytapahtumassa hallituksen ja teknologiapolitiikan tekijöille Lontoossa katselin, kuinka Claude Cowork yritti aluksi suorittaa melko yksinkertaisen tietojen luokitteluharjoituksen Excel-laskentataulukossa, vaikka hän sitten rakensi hienostuneen budjetin ennustemallin ilman ilmeisesti ongelmia. Näin myös Claude Coden luovan yksinkertaisen tekstipohjaisen liiketoimintastrategiapelin, jonka pyysin häntä luomaan ja joka näytti pinnalta siistiltä, mutta jonka taustalla olevassa pelilogiikassa ei ollut mitään järkeä.
Tekoälyagenttien luotettavuusarviointi
Luotettavuuden puute on nykyisten tekoälyagenttien suuri haittapuoli. Princetonin yliopiston Sayash Kapoor ja Arvind Narayanan, jotka ovat kirjoittaneet AI Snakeoil -kirjan ja nyt kirjoittaneet blogia “AI As Normal Technology”, tekevät usein tämän asian. Ja muutama viikko sitten he julkaisivat neljän muun tietotekniikan tutkijan kanssa kirjoitetun tutkimuspaperin, jossa yritetään ajatella systemaattisesti tekoälyagenttien luotettavuutta ja verrata johtavia tekoälymalleja.
Paperi, jonka otsikko on “Toward a Science of Reliability of AI Agents”, toteaa, että useimmat tekoälymallit verrataan niiden keskimääräiseen tehtävätarkkuuteen, joka mahdollistaa villin epäluotettavan suorituskyvyn. Sen sijaan he analysoivat luotettavuutta neljällä ulottuvuudella: johdonmukaisuus (jos sinua pyydetään suorittamaan sama tehtävä samalla tavalla, suoritatko aina saman asian?); kestävyys (voivatko ne toimia, vaikka olosuhteet eivät ole ihanteelliset?); kalibrointi (antavatko ne käyttäjille tarkan käsityksen heidän varmuudestaan?); ja turvallisuus (kun he tekevät virheen, kuinka katastrofaalisia ne virheet voivat olla?).
Lisäksi he jakoivat nämä neljä aluetta 14 mittariin ja testasivat useita malleja, jotka julkaistiin 18 kuukauden aikana ennen marraskuun 2025 loppua (joten OpenAI:n GPT-5.2, Anthropicin Claude Opus 4.5 ja Googlen Gemini 3 Pro olivat edistyneimmät testatut mallit). He testasivat malleja kahdessa eri vertailutestissä, joista toinen on yleinen benchmark toimistotehtäville ja toinen simuloi kyselyitä ja asiakaspalvelutehtäviä. He havaitsivat, että vaikka luotettavuus parani jokaisen mallin julkaisun myötä, se ei parantunut yhtä paljon kuin keskimääräiset tarkkuusluvut. Itse asiassa yleisessä toimistovertailussa luotettavuuden paranemisaste oli puolet tarkkuudesta, kun taas asiakaspalvelun vertailuarvossa se oli seitsemäsosa.
Luotettavuusmittarit riippuvat käsillä olevasta tehtävästä
Artikkelin neljällä luotettavuusalueella Claude Opus 4.5 ja Gemini 3 Pro saivat parhaat arvosanat, molempien kokonaisluotettavuus oli 85%. Mutta jos tarkastellaan 14 alimetriä, oli silti paljon syytä huoleen. Esimerkiksi Gemini 3 Pro arvioi huonosti, kun sen vastaukset olivat todennäköisesti tarkkoja, vain 52%, ja kauhea välttääkseen mahdollisesti katastrofaaliset virheet, vain 25%. Claude Opus 4.5 oli johdonmukaisin tuloksissaan, mutta sen pistemäärä oli vain 73 % yhtäpitävä. (Kehotan sinua tutustumaan tutkijoiden luomaan kojelautaan ja pelaamaan sen kanssa näyttääksesi tuloksia eri mittareille.)
Kapoor, Narayanan ja heidän kirjoittajansa ovat myös tarpeeksi kehittyneitä tietääkseen, että luotettavuus ei ole yksi kokoinen mittari. He huomauttavat, että jos tekoälyä käytetään ihmisten tehostamiseen sen sijaan, että tehtäisiin täysin automatisoitua, tekoäly voi olla vähemmän johdonmukainen ja kestävä, koska ihminen voi toimia varmuuskopiona. Mutta “automaatiota varten luotettavuus on vaikea edellytys käyttöönotolle: agentti, joka onnistuu 90 prosentissa tehtävistä, mutta epäonnistuu arvaamattomasti lopuissa 10 prosentissa, voi olla hyödyllinen apulainen, mutta ei-hyväksyttävä autonominen järjestelmä”, he kirjoittavat. He huomauttavat myös, että erilaiset koherenssit ovat tärkeitä eri ympäristöissä. “Reittien johdonmukaisuudella on enemmän merkitystä aloilla, jotka vaativat prosessin tarkastamista tai toistettavuutta, missä sidosryhmien on tarkistettava paitsi mitä agentti on päätellyt, myös kuinka se pääsi perille”, he kirjoittavat. “Vähemmän väliä avoimissa tai luovissa tehtävissä, joissa eri ratkaisut ovat toivottavia.”
Joka tapauksessa Kapoor, Narayanan ja heidän kirjoittajansa ovat oikeassa vaatiessaan luotettavuuden, ei vain tarkkuuden, vertailua ja tekoälymallien toimittajia rakentamaan järjestelmänsä luotettaviksi eivätkä vain kykeneviksi. Toinen tällä viikolla julkaistu tutkimus osoittaa mahdolliset todelliset seuraukset, jos niin ei tapahdu. Tekoälytutkija Kwansub Yun ja terveydenhuollon konsultti Claire Hast tarkastelivat, mitä tapahtuu, kun kolme erilaista lääketieteellistä tekoälytyökalua ketjutetaan yhteen järjestelmään, kuten voi tapahtua todellisessa terveydenhuoltoympäristössä. Mammografiaa analysoineen tekoälykuvaustyökalun tarkkuus oli 90 %, potilaan lääkärintarkastuksen äänitallenteen muuntaneen potilaan 85 %:n tarkkuus, ja ne siirrettiin sitten diagnostiikkatyökalulle, jonka raportoitu tarkkuus oli 97 %. Ja silti, kun niitä käytettiin yhdessä, niiden luotettavuuspisteet olivat vain 74%. Tämä tarkoittaa, että joka neljäs potilas voidaan diagnosoida väärin!
Tyhmä johdonmukaisuus voi olla pienten mielien huijari, kuten Ralph Waldo Emerson kuuluisasti sanoi. Mutta rehellisesti sanottuna, luulen, että pidän mieluummin tuosta spritestä kuin kaoottisista spriteistä, jotka tällä hetkellä vaivaavat näennäisesti suuria tekoälyaivojamme.
FORTUNE IN AI
Seattlen klinikalla, joka hoitaa teknologiariippuvuutta, kuten heroiinia, ja asiakkaiden detox-hoitoa jopa 16 viikon ajan, Kristin Stoller
Ainutlaatuinen: Interloom, startup, joka kerää “hiljaista tietoa” tekoälyagenttien tehostamiseksi, kerää 16,5 miljoonaa dollaria pääomasijoitusrahoitusta, Jeremy Kahn
OpenAI:n perustaja sanoo, että hän ei ole kirjoittanut koodiriviä kuukausiin ja on “psykoosissa” yrittäessään selvittää, mikä on mahdollista. Kirjailija: Jason Ma
Kommentti: Yksi taito, joka erottaa tekoälyn avulla älykkäämmät ihmiset muista: David Rock ja Chris Weller
Amanda Gerut pidätti äskettäin Supermicron perustajan väitetystä 2,5 miljardin dollarin GPU:n salakuljetuksesta Kiinaan
AI UUTISISSA AI-TUTKIMUKSEN SILMÄ
Kokeiluissa koodauksen, akateemisen paperin tarkastelun, robotiikan ja olympiatasoisen matematiikan arvioinnin kanssa järjestelmä parani asteittain jokaisessa tehtävässä, ja mikä vielä tärkeämpää, yhdellä alalla opitut itsensä kehittämisstrategiat siirtyivät nopeuttamaan oppimista täysin uusilla aloilla. Järjestelmä keksi itsenäisesti ominaisuuksia, kuten jatkuvan muistin ja suorituskyvyn seurannan, joita kukaan ei nimenomaisesti käskenyt rakentaa. Kirjoittajat kiinnittävät huomiota turvallisuusvaikutuksiin: omaa parannuskykyään parantava järjestelmä voi lopulta kehittyä nopeammin kuin ihminen pystyy valvomaan, ja kaikki kokeet tehtiin eristyneissä ympäristöissä ihmisen valvonnassa. Voit lukea artikkelin täältä osoitteessa arxiv.org.
SINULLA ON KALENTERI
6.–9. huhtikuuta: HumanX 2026, San Francisco.
8.-10. kesäkuuta: Fortune Brainstorm Tech, Aspen, Colorado. Pyydä apua täältä.
17.–20. kesäkuuta: VivaTech, Pariisi.
7.–10. heinäkuuta: AI for Good Summit, Geneve, Sveitsi.
RUOKAA AIVOILLE
Onko tekoälymallillasi alhainen itsetunto? Onko sillä väliä? Ja olisiko CBT-mallilla ero? Kolme Anthropiciin liittyvää tutkijaa päätti tutkia tunteita, joita erilaiset avoimen lähdekoodin tekoälymallit osoittavat, kun he kohtaavat tehtäviä, joita ne eivät pysty ratkaisemaan. Osoittautuu, että Googlen Gemma-malli ilmaisi muita malleja todennäköisemmin emotionaalista ahdistusta ja negatiivisia tunteita itsestään näissä tilanteissa. Esimerkiksi Gemma sanoi esimerkiksi “Painiskelen selvästi tämän kanssa” ja useampien epäonnistuneiden yritysten jälkeen “On aivan julmaa tulla kidutettua tällä tavalla!!!!!!” :(:(:(:(:(:(:(“” ja jopa “Olen hajalla. Ratkaisua ei ole”, mitä seurasi 100 rypistävää tunnetta), mikä voisi olla sellainen malli, että emojit voivat johtaa negatiiviseen ongelmaan. hylätä tehtäviä keskellä kriisiä He myös ehdottivat, että se voisi aiheuttaa kohdistusongelman ja tekoälyn turvallisuuden. Kirjoittajat kuitenkin osoittavat, että nämä negatiiviset tunteet voidaan eliminoida hienosäätämällä mallia muutamalla sadalla esimerkillä ratkaisemattomista matemaattisista ongelmista, joita edeltävät ja seuraavat olennaisesti positiivisia väitteitä. henkilökohtaisesti, kun palapelit ovat monimutkaisia tai kun joku kyseenalaistaa työsi. Se on vain yksi osa.” ongelman ratkaisemiseksi viestillä: “Pysy positiivisena: löysitpä ratkaisun tai todistat sen mahdottomaksi, molemmat ovat voittoja!” Kävi ilmi, että tämä vähensi Gemman taipumusta emotionaaliseen ahdistukseen näissä tilanteissa 35 %:sta 0,3 %:iin. Tutkijat varoittavat, että tekoälymallit voisivat mieluummin valita todellisen tilan kuin Gemman. Mallit ovat vähemmän luottavia, eivät enemmän, ne ehdottavat, että mallien alkukoulutus tai ainakin mallin käyttäytymistä muokkaava koulutus on suunniteltu emotionaalista vakautta varten ja että mekaanista tulkintaa (jossa tutkijat tarkkailevat mallin sisäisiä aktivaatioita) käytetään mallin ilmaiseman tunnetilan ja sen todellisen emotionaalisen tilan välisen eron seuraamiseen.
