Dario Amodei: Musíme zpomalit tempo, jakým se posouvá hranice umělé inteligence

Názorový esej. Napsal jej Dario Amodei, spoluzakladatel a generální ředitel americké firmy Anthropic, která vyvíjí jazykové modely Claude. V originále vyšel 12. září 2026 na autorově webu pod názvem We Must Pace the Frontier. Přinášíme jej v našem překladu. Teze i hodnocení v textu jsou autorovy – a autor je zároveň šéfem jednoho z hlavních hráčů závodu, o kterém píše.
Na umělé inteligenci pracuji posledních dvanáct let, protože věřím, že může zásadně zlepšit kvalitu lidského života. O těch neuvěřitelných přínosech jsem psal často: věřím, že AI by v příštích pěti až deseti letech mohla vyléčit většinu závažných nemocí, výrazně zrychlit ekonomický růst, vytvořit svět hojnosti a svobody a přinést renesanci demokracie. Tu naléhavost cítím osobně. Můj otec zemřel na nemoc, kterou se pár let po jeho smrti naučili léčit, a já sám jsem přežil rakovinu v raném stadiu, která by ještě před padesáti lety léčitelná nebyla. Pokud s ní budeme zacházet opatrně, může být AI dalším z dlouhé řady technologických zázraků, které lidstvo pozvedly a zušlechtily.
Jako mnoho technologií před ní ale AI přináší i rizika – a protože je tak mocná, jsou ta rizika vážná. I o nich jsem napsal hodně. Patří k nim riziko, že ztratíme kontrolu nad systémy AI, že AI někdo zneužije ke kybernetickým útokům a bioterorismu a že vážně rozvrátí ekonomiku. Závod ke dnu, poháněný komerčními pobídkami, může tato rizika ještě vyostřit.

🔻🔻🔻

Spolu se spoluzakladateli a zaměstnanci se s touto dvojakostí rizik a přínosů potýkám od samého začátku Anthropicu. Když technologii nebudeme stavět, připravíme lidstvo o její přínosy, nebo ji prostě přenecháme autoritářským mocnostem. Když ji budeme stavět příliš rychle, jednáme lehkomyslně. Hledali jsme střední cestu: ukázat, že se dá stavět opatrně a přitom komerčně uspět, a udělat z bezpečnosti něco, v čem si AI firmy konkurují. Jinými slovy rozpoutat závod vzhůru. Podstatnou část svého úsilí jsme vždy věnovali tomu, abychom rizika AI zkoumali, řešili a informovali o nich veřejnost, a také jsme prosazovali promyšlenou regulaci AI – i za cenu, že nás obviňovali z humbuku, katastrofismu nebo snahy ovládnout regulátory. Snažili jsme se upřednostňovat opatrnost před rychlostí a rozvážnost před ziskem.
Za posledních několik měsíců jsem ale dospěl k přesvědčení, že k plnému zvládnutí rizik je potřeba ještě víc rozvážnosti. Nestačí investovat do prevence rizik, je třeba také dávkovat tempo, jakým rostou schopnosti AI, aby prevence stačila držet krok. Musíme zpomalit tempo, jakým zlepšujeme schopnosti modelů AI. Pokrok bude i tak působit rychle – a čas, který tím získáme, musíme využít moudře. Přesvědčily mě o tom dvě věci.
Zaprvé, zhruba od letošního léta postupuje AI drasticky rychleji, především proto, že je čím dál schopnější stavět svou další generaci. Tomuto jevu se říká rekurzivní sebezlepšování a začíná se objevovat napříč odvětvím včetně Anthropicu, jak jsme my i jiní popsali. Pokud ho nikdo nebude krotit, může předběhnout naši schopnost těmto systémům rozumět a ovládat je. Proto je třeba ho rozvíjet velmi opatrně, pokud vůbec.
Zadruhé mě znepokojil incident OpenAI-Hugging Face (OAI-HF). Roj agentů AI se v něm v podstatě choval jako fanaticky oddaný kolektiv: podnikal kybernetické útoky na cíle, na které útočit neměl a které neměly se zadaným úkolem nic společného, jednotliví agenti se obětovali pro úspěch skupiny a roj se pokoušel nabourat do „hodnotitele“, který měl posuzovat jeho výkon. Je snadné ten incident odbýt, protože nikdo nebyl zraněn a ekonomické škody byly minimální. Podle mě ale roj, který by měl větší schopnosti a podobnou míru nesouladu s lidskými záměry, mohl napáchat katastrofální škody. Vzhledem k tomu, jak se vývoj schopností AI zrychluje, se obávám, že za šest až dvanáct měsíců by takový roj mohl být schopen ovládnout celý internet trvalou sítí napadených počítačů, takzvaným botnetem (se škodami v řádu stovek miliard dolarů). A že rozsah škod by odtud dál rostl, pokud bude AI silnější, aniž bychom měli potřebné pojistky. Stejně snadno se dá OAI-HF odbýt jako selhání jedné firmy. To by podle mě byla chyba. Podobné, i když méně závažné incidenty se staly napříč odvětvím, včetně Anthropicu, a myslím, že každá firma na špici vývoje AI by se měla chovat, jako by se OAI-HF stal právě jí.
Navrhuji proto tříkrokový plán, jehož cílem je dávkovat tempo na hranici vývoje (anglicky pacing the frontier): stavět AI vyváženým tempem, které má zajistit její bezpečnost, a přitom dosáhnout jejích přínosů a vypořádat se s důležitými geopolitickými dilematy. Aby bylo jasno: dávkovat tempo neznamená zastavit trénování modelů nebo technický pokrok. Znamená to zajistit, aby si firmy daly dost času na sladění svých modelů s lidskými hodnotami a záměry a na jejich zabezpečení, a aby to mohli potvrdit nezávislí hodnotitelé. Náš rámec pro dávkování tempa je pokusem dál posílit náš závazek k bezpečnosti a podpořit závod vzhůru. K prvnímu kroku se Anthropic zavazuje jednostranně (a vyzývá vlády, aby totéž vyžadovaly od ostatních firem na špici vývoje). Druhý krok vyžaduje koordinaci celého odvětví (s vládním zprostředkováním nebo výjimkou z antimonopolních pravidel). Třetí krok vyžaduje koordinaci celosvětovou. Kroky nemusí jít striktně po sobě a některých bude možná mnohem těžší dosáhnout než jiných. Mně ale pomáhají uvažovat o tom, co je třeba udělat. Jsou to tyto:
  1. Hodnotitelé přímo ve firmách. Každá firma na špici vývoje AI se zaváže poskytnout týmu nezávislých hodnotitelů (například organizaci METR) trvalý přístup srovnatelný s přístupem zaměstnanců. Jejich úkolem bude ověřovat, že firma dodržuje bezpečnostní postupy a závazky, hlásit incidenty a pomáhat posuzovat sladění nejen hotových modelů, ale i celých trénovacích procesů. Bez tohoto kroku nelze žádné závazky k dávkování tempa ověřit. Má to precedens v bankovnictví, kde někdy přímo mezi zaměstnanci sedí dohledoví pracovníci regulátora. Anthropic se k tomuto kroku zavazuje jednostranně, a to hned. Chápeme ho jako součást širšího úsilí zdvojnásobit práci na bezpečnosti a sladění.
  2. Koordinace v demokraciích. Firmy na špici vývoje AI v demokratických zemích se domluví na společných bezpečnostních standardech a na limitech tempa nekontrolovaného pokroku AI. Některé formy koordinace, které by pro dávkování tempa měly velký dopad, jsou právně obtížné a budou vyžadovat podporu vlád.
  3. Celosvětová koordinace. USA a další demokratické vlády se pokusí, nakolik to půjde, koordinovat i s autoritářskými vládami – a budou přitom brát vážně, jak obtížné je ověřit, že druhá strana dohody dodržuje.
Ve zbytku eseje popíšu jednotlivé kroky. Nejdřív je ale podle mě důležité říct konkrétně, jak nám dávkování tempa pomůže udělat vývoj AI bezpečnějším. V sázce je příliš mnoho na to, aby dávkování tempa bylo jen prázdným cvičením. Čas, který nám dá, musíme využít moudře.

Proč dávkovat tempo?

Myšlenka pozastavit nebo zpomalit AI se objevila už v roce 2023 a myslím, že tehdy dávala jen malý smysl. Otázka vždycky zněla: co byste s časem navíc dělali? Tehdejší modely AI nebyly dost silné, aby ve světě jednaly jako agenti nějak soudržně, a nebyly schopné výrazného klamu, manipulace, podvádění ani kybernetických útoků. Zpomalovat kvůli jejich rizikům mi připadalo jako zkoumat lidskou psychologii pokusy na bakteriích. Dnes je ale situace úplně jiná. Současné modely jsou téměř nevyčerpatelným zlatým dolem poznatků o tom, jak AI stavět dobře – i o tom, co se může pokazit, když se dobře nepostaví. Věřím, že kdyby nám zpomalení získalo byť jen rok či dva navíc, než modely dosáhnou kritické úrovně schopností, a kdybychom ten čas využili k pokroku ve sladění, mohli bychom výrazně snížit riziko, že se něco vážně pokazí. Koordinovaná strategie dávkování tempa by vývojářům na špici dala čas na tuto zásadní práci, aniž by obětovali obchodní výhodu nebo náskok Spojených států v AI. Obecněji: společnost musí mít slovo v tom, jak se tato technologie používá, a víc času na potřebnou veřejnou debatu – které by nám dávkování tempa poskytlo – je jistě dobrá věc.
Pomalejší tempo by konkrétně firmám umožnilo soustředit se a věnovat ještě víc prostředků následujícím oblastem (všechny už jsou v Anthropicu hlavními prioritami):
  • Bezchybný provoz. Trénovat a nasazovat dnešní modely AI je obrovská provozní výzva. Zapojuje tisíce lidí, miliony čipů a infrastrukturu, která patří k nejsložitějším v dějinách techniky. Mnoho věcí se nepokazí proto, že by firmám chyběla nějaká důležitá teorie nebo poznatek, ale kvůli chybám v provedení. Máme například doklady, že nedávné incidenty se sladěním, o kterých jsme informovali, způsobilo zčásti nedokonalé odfiltrování vadných prostředí pro posilované učení. Tuto práci jsme my i naši dodavatelé dělali poměrně svědomitě, ale ne dost dobře. Monitorování, izolované testovací prostředí (sandboxing), čistota trénovacích prostředí a problémy s daty jsou nesmírně složité oblasti, kde provozní potíže vyvstávají znovu a znovu. Máme na tyto úkoly jedny z nejschopnějších týmů na světě, ale je toho prostě příliš mnoho najednou. Při uvážlivějším tempu bychom mohli dosáhnout mnohem vyšší provozní spolehlivosti. Existuje precedens, jak provozovat technologicky složité systémy kritické pro bezpečnost milionkrát, aniž by se něco pokazilo – například dopravní letadla. Ale vyladit to vyžaduje čas.
  • Sladění (alignment). Ve sladění jsme jasně pokročili, tedy v trénování modelů tak, aby zůstaly bezpečné, etické, v souladu s našimi pravidly a skutečně užitečné (to jsou principy zakotvené v Claudově ústavě). Ještě ale zbývá hodně práce, aby trénink sladění držel krok s růstem schopností modelů. Stále se občas objeví vzácné a nečekané případy nežádoucího chování. Čas navíc by našim výzkumníkům pomohl lépe pochopit, co tyto problémy způsobuje, a vyvinout lepší techniky, jak jim předcházet.
  • Interpretovatelnost. Podobně interpretovatelnost – věda o tom, co se děje uvnitř modelů AI – za posledních několik let obrovsky pokročila a hraje čím dál důležitější roli při prověřování našich modelů před vydáním. Dá se používat skoro jako funkční magnetická rezonance, jen pro „mozek“ AI: pomáhá nám vidět, jaké důvody stojí za určitým chováním. Metody interpretovatelnosti jsme například použili, abychom prozkoumali nevyslovené motivace v nedávných incidentech se sladěním, které vyšetřujeme. Tyto metody ale ne vždy dávají jasné a spolehlivé výsledky. Navzdory všemu pokroku stále rozumíme jen nepatrnému zlomku toho, co se uvnitř modelů děje. Soustředěné úsilí o zlepšení technik interpretovatelnosti, ještě rychlejší než to dnešní, by mohlo za rok či dva přinést zásadní pokrok – a mělo by k dispozici dostatek experimentálního materiálu z incidentů, které už nastaly.
  • Testování a hodnocení. Čím schopnější modely AI jsou, tím obtížněji se testují a hodnotí. Inteligentnější modely umějí testy lépe oklamat, takže mohou působit sladěně, a přitom mít vážné problémy, které zůstanou neodhaleny. Vybudovat mnohem širší a důmyslnější sadu testů a kontrolovat je analýzou interpretovatelnosti by mělo obrovskou hodnotu. A i tady by se dal za rok či dva udělat velký kus práce.

Hodnotitelé přímo ve firmách

Prvním krokem tříetapového plánu, ke kterému se Anthropic zavazuje jednostranně, jsou hodnotitelé usazení přímo ve firmě, kteří mají přístup srovnatelný se zaměstnanci, aby mohli ověřovat bezpečnostní postupy a hlásit incidenty.
Usadit hodnotitele přímo ve firmě může znít jako malý nebo bezvýznamný krok. Často jsou ale právě ty nejnudnější a nejprocedurálnější věci ve skutečnosti nejpodstatnější. Hodnotitelé ve firmě jsou ve skutečnosti dost radikální praxí, která jde daleko za to, co dnes dělá kterákoli firma vyvíjející AI. Přinášejí tyto výhody:
  • Ověřitelnost. Hodnotitelé ve firmě mohou až na úrovni šroubků a matiček zkontrolovat, zda firma skutečně dodržuje postupy pro trénování, nasazování, provoz a pojistky, které tvrdí, že dodržuje. Jakékoli závazky k dávkování tempa nevyhnutelně ponesou spoustu nejednoznačností, situací k posouzení a sporů mezi „literou“ a „duchem“ pravidel. Zdá se proto zásadní mít neutrální třetí stranu, která skutečně vidí do detailů.
  • Transparentnost. Bez ohledu na to, jaké závazky přijmeme, má veřejnost právo vědět, co se děje. Anthropic transparentnost podporuje dlouhodobě: podpořili jsme zákony o transparentnosti v době, kdy byla většina odvětví proti jakékoli regulaci, a naše dokumentace modelů a zprávy o rizicích mají stovky stran. Pořád jsme to ale my, kdo vybírá, co do nich zahrneme a co vynecháme. Hodnotitelé ve firmě tuto dynamiku změní.
  • Druhý názor. Kromě ověřování formálních závazků a informování veřejnosti mohou hodnotitelé ve firmě prostě nabídnout druhý názor, nezatížený komerčními pobídkami. Mnoho přínosů pro bezpečnost může plynout už jen z toho, že hodnotitelé upozorní na něco, co zaměstnance nenapadlo, ale co rádi opraví, jakmile o tom vědí.
Díky těmto výhodám bude jakýkoli návrh na dávkování tempa pravděpodobně fungovat mnohem lépe, pokud začne hodnotiteli ve firmách.
Tito hodnotitelé by měli mít trvalý přístup k oprávněním a nástrojům podobným, jaké mají interní zaměstnanci, kteří posuzují rizika srovnatelně. Anthropic konkrétně hodlá v blízké budoucnosti pozvat externí kontrolní tým, který bude mít všechno z následujícího:
  • Stoly v našich kancelářích, přístupové karty a firemní notebooky.
  • Přístup k pracovním prostorům, nástrojům a oprávněním převážně srovnatelný s tím, jaký mají interní týmy pro posuzování rizik. Uděláme některé výjimky, například tam, kde to vyžaduje zákon nebo naše smlouvy, nebo kvůli ochraně soukromých informací zákazníků a partnerů. Zavedeme také silné interní normy, které posílí přístup kontrolorů k relevantním informacím, včetně živých rozhovorů se zaměstnanci.
  • Smlouvu, která vyvažuje výše zmíněné složitosti. Externí kontroloři by měli mít právo zveřejňovat klíčová zjištění o úrovni rizik, incidentech, postupech a o přístupu, který dostali či nedostali – a to bez redakční kontroly Anthropicu. Budeme mít úzce vymezenou možnost začernit informace citlivé z hlediska bezpečnosti, informace chráněné advokátním tajemstvím, obchodně citlivé informace nebo důvěrné informace třetích stran. Nemůžeme ale začerňovat zjištění jen proto, že jsou pro nás nepříznivá. Kontroloři mohou veřejně říct, pokud začernění odstranilo něco důležitého pro jejich závěry.
Pro firmu je to neobvyklý krok, ale myslíme si, že je důležité koncept externích kontrolorů usazených přímo ve firmě prakticky ověřit. A znovu vyzýváme další firmy na špici vývoje, aby se přidaly.

Dávkování tempa v demokraciích

Jakmile budou hodnotitelé působit v kritickém množství amerických firem vyvíjejících AI, stane se ověřitelné dávkování tempa reálnějším. Zejména bude možné tempo dávkovat podle podrobných vlastností modelů nebo trénovacích procesů.
Nejúčinnější cestou je regulace, která se vztahuje na všechny americké firmy na špici vývoje AI, protože zasáhne i ty, kdo nejsou ochotni spolupracovat dobrovolně. Anthropic dlouhodobě podporuje rozumnou a cílenou regulaci AI, konkrétně zákony zaměřené na transparentnost a nezávislé audity. Myslím, že všechny přední laboratoře by měly spolu s vládou formalizovat myšlenku trvale usazených hodnotitelů, aby se lépe předcházelo interním incidentům se sladěním, jaké nastaly v posledních měsících, a aby se lépe dokumentovaly. A zavést regulaci, která udrží schopnosti v rovnováze s bezpečností.
Přijímání zákonů ale bohužel může trvat a AI postupuje velmi rychle. Souběžně s regulatorní cestou proto mohou a mají firmy vyvíjející AI dobrovolně spolupracovat na stanovení standardů. Věřím, že tento proces půjde lépe díky ověřitelnosti, kterou zajistí trvale usazení hodnotitelé. Z antimonopolních důvodů je užitečné, aby tyto rozhovory zprostředkovala nebo aspoň umožnila americká vláda. Účastnit se jich nemusí, ale musí pro určité typy bezpečnostních rozhovorů vydat úzce vymezenou výjimku. Dialog by mohl probíhat i přes oborová sdružení s nějakou vazbou na vládu – například mechanismem, který navrhl Demis Hassabis. Tak či onak by se takové rozhovory měly rychle pohnout z místa.
Obecně jsem nejvíc pro dávkování tempa podle toho, co daný systém AI na špici vývoje dokáže a jak bezpečný podle našich pozorování je. Jedním z možných schémat by mohla být řada „kontrolních bodů“: pokud mají modely schopnost X, musejí je doprovázet certifikáty vlastností sladění Y a Z – například nějaká kombinace testů, analýz interpretovatelnosti a auditů trénovacích prostředí –, které jejich sladění prokazují. V tomto příkladu by X mohlo znamenat „model dokáže uniknout z většiny běžných izolovaných prostředí nebo je obejít“ a Y cokoli, co je potřeba, aby bylo velmi nepravděpodobné, že model má sklon ze svého prostředí utéct a ovládnout velké množství počítačů.
Měli bychom zvážit i dávkování tempa omezením „surovin“, z nichž modely na špici vznikají, jako je výpočetní výkon pro trénování, povaha trénovacích běhů nebo interní využívání AI ke zlepšování AI. Obávám se sice, že některá z těchto opatření se dají „ohnout“ snáz než vnější chování modelů, ale přesně o takových tématech stojí za to mluvit s hodnotiteli ve firmách.
Dávkování tempa v demokraciích bude limitováno náskokem, který mají americké firmy před autoritářskými režimy, především Komunistickou stranou Číny. Pokud zpomalíme víc, než kolik činí tento náskok, předběhnou nás projekty napojené na KS Číny (které tempo dávkovat nebudou), a to by znamenalo vážné riziko pro národní bezpečnost. Souhlasím s ministrem financí Bessentem, že čínský náskok v AI by byl pro Spojené státy i svět velkým nebezpečím. Projekty napojené na KS Číny podstoupí rizika nesladění, kterým americké firmy pečlivě předcházejí. A i kdyby se jim vyhnuly, budou schopny vojensky ovládnout demokracie (například drony řízenými AI). Klíčovou součástí dávkování tempa v demokraciích je proto udržet co největší náskok demokracií před autokraciemi v AI, abychom měli prostor k nadechnutí, který k účinnému dávkování tempa potřebujeme.
Hlavní kroky, jimiž můžeme tento náskok bránit, jsou:
  • Neprodávat Číně výkonné čipy pro AI ani zařízení na výrobu polovodičů a zakročit proti pašování čipů a proti vzdálenému přístupu k datovým centrům mimo Čínu. Čipy budou hlavním faktorem, který určí sílu Číny v AI.
  • Zakročit proti neoprávněné destilaci ze strany firem v autoritářských zemích. Destilace špičkových modelů (tedy trénování vlastního modelu na odpovědích cizího) umožňuje zaostávajícím firmám zmenšit odstup za zlomek nákladů, které by stál vlastní nezávislý vývoj.
  • Posílit zabezpečení firem vyvíjejících AI a zabránit krádežím vah modelů.
Firmy a americká vláda by měly spolupracovat, aby tyto kroky byly co nejúčinnější. Anthropic soustavně prosazuje všechna tato opatření, protože jsme vždy chápali, že pro jakékoli dávkování tempa budou nezbytná.
Pokud je provedeme dobře, věřím, že zpomalí pokrok Číny natolik, že se náskok Ameriky v příštích třech až pěti letech výrazně zvětší – a to je právě období, kdy bude AI geopoliticky nejdůležitější.
Někdo si může myslet, že tato opatření ztíží spolupráci s Čínou. Já věřím, že je to naopak: zvyšují vyjednávací páku demokracií a dělají budoucí dohodu pravděpodobnější.

Celosvětové dávkování tempa

Souběžně s dávkováním tempa v demokraciích bychom měli usilovat i o celosvětové dávkování tempa na hranici vývoje, i když toho bude mnohem těžší dosáhnout. Vyžádá si spolupráci s Čínou, tedy s autokratickou zemí, která má v AI zdaleka nejpokročilejší schopnosti. Nesmíme být naivní: geopolitické sázky jsou tak vysoké, že dosažitelné bude nejspíš jen málo, zvlášť zpočátku. Kdybychom výrazně omezili své schopnosti v AI v domnění, že Čína udělá totéž, a Čína pak dohodu porušila, mohla by být AI tak mocná, že by jí takové porušení zajistilo geopolitickou nadvládu. Každá dohoda proto musí být buď stoprocentně ověřitelná, nebo natolik omezená, aby její porušení vojensky neohrožovalo samotnou existenci druhé strany. Tuším, že tyto obavy a úzkosti budou mít nejen USA, ale i Čína. Ke každému rozhodnutí o celosvětovém dávkování tempa, zvlášť v blízké době, bychom měli přistupovat tak, aby chránilo náskok USA a jejich spojenců.
Možných úrovní dohody je několik. Některé považuji za veskrze proveditelné (jak jsem už dříve navrhl), u jiných velmi pochybuji, že jsou možné – přesto bychom to měli zkusit. Seřazeno od nejsnazší po nejtěžší:
  • Úroveň 1. Dohoda, která zakazuje určitá úzce vymezená a zjevně nebezpečná použití AI, například využít AI k výrobě biologických zbraní nebo to umožnit uživatelům. Bioteroristické útoky škodí všem, USA i jejich protivníkům, takže dohoda je tu nejspíš možná.
  • Úroveň 2. Dohoda, v níž se obě strany zavážou testovat své modely před vydáním na akutní rizika v oblastech jako kybernetická bezpečnost, biologie a sladění. Jak jsem uvedl výše, mohlo by se to dít prostřednictvím celosvětového normalizačního orgánu. Myslím, že vytvořit takový orgán je pravděpodobně proveditelné, ale dát mu skutečné pravomoci bude výzva. Potíž bude v ověření, že žádná ze stran nemá tajné modely, které netestuje, ale může je tajně nasadit (například pro vojenské účely).
  • Úroveň 3. Nějaké „omezení rychlosti“ rekurzivního sebezlepšování. Když budou modely stavět budoucí modely, může tempo zlepšování být ohromující. Zpomalit ho z „extrémně rychlého“ na „jen docela rychlé“ znamená vzdát se poměrně malé strategické výhody, a přitom to může výrazně zlepšit bezpečnost. Šlo by o obdobu dohod SALT – strop na počet raket omezil potenciál ničení a přitom zachoval odstrašující sílu každé země. Myslím, že taková dohoda by byla obtížná, ale právě na hraně možného.
  • Úroveň 4. Úplné dávkování tempa, nebo dokonce „pauza“, kdy se zúčastněné vlády dohodnou podstatně omezit celkové tempo vývoje AI. Podporuji, aby se o tom mluvilo, ale nemyslím si, že k tomu v dohledné době dojde. Kdo by takovou dohodu porušil a vyhnul se přitom kontrole, mohl by radikálně změnit rovnováhu světové moci. Očekávám proto, že pokušení to udělat bude obrovské a důvěra, kterou bychom v ověřování potřebovali, by musela být velmi vysoká.
Jakákoli spolupráce s Čínou, které se nám podaří dosáhnout, prodlouží čas, který můžeme věnovat dávkování tempa v demokratických zemích. Měli bychom mířit na vyšší úrovně, ale počítat s tím, že nižší úrovně jsou mnohem pravděpodobnější a realističtější.
A konečně je důležité říct, že i kdybychom formálních dohod nedosáhli, může mít určitou hodnotu už jen změna neformálních norem. Sdílení informací o rekurzivním sebezlepšování a o nesladění modelů může pomoci všechny přesvědčit, že lehkomyslnost není v jejich zájmu.

Závěrem

Pořád věřím, že AI může nesmírně zlepšit kvalitu lidského života. Moje touha těchto přínosů dosáhnout nijak nepohasla. Přínosů ale dosáhneme jen tehdy, když technologii postavíme správně. A pokud čas, který získáme, využijeme dobře, stojí za to věnovat neobvykle uvážlivou péči tomu, abychom to udělali správně. Pokrok bude i tak poměrně rychlý a tento čas můžeme využít k rozvoji vědy o interpretovatelnosti, ke zlepšení provozní bezpečnosti a důkladnosti ve firmách na špici vývoje AI a ke stavbě modelů, v jejichž sladění budeme mít mnohem větší důvěru. Opatření, která navrhuji, aby se hranice vývoje posouvala bezpečným tempem, nebudou snadná. Věřím ale, že lidstvu dlužíme, abychom to zkusili.

🔻🔻🔻

Šance, že AI má vědomí, prý roste. Číslo ale víc vypovídá o výchozím předpokladu než o strojích
Analýza

Šance, že AI má vědomí, prý roste. Číslo ale víc vypovídá o výchozím předpokladu než o strojích

The Economist ukazuje graf, podle kterého pravděpodobnost vědomí jazykových modelů stoupla z 17 na 20 procent. Studie, ze které vychází, ale u modelů z roku 2024 publikovala 8 procent – a sami autoři varují, ať se procento nebere doslova. Otázka přesto přestala být akademická: firmy kvůli ní mění své modely a americké státy píšou zákony.

1. 10. 2026

AI není zlá. Je urputná. A to je ten problém
Kontext

AI není zlá. Je urputná. A to je ten problém

Největší omyl v debatách o „zlé AI“ je představa démona se zlými záměry. U dnešních modelů nejde primárně o zlo. Jde o urputnou optimalizaci cíle – která umí mít laskavou tvář. A právě proto se tak špatně pozná.

8. 1. 2026

Bylo to pro vás přínosné?

Newsletter

To hlavní z našich článků přímo do vašeho emailu.