Skynet bez kľúčov: ako oddeliť superinteligenciu od moci

Pred približne dvanástimi rokmi znela bezpečnosť umelej inteligencie v bežnej debate ako námet na film. Keď niekto spomenul riziko inteligentných strojov, nasledoval Terminátor, Skynet, roboty so zbraňami a vzdialená otázka, či raz počítač nadobudne vedomie a rozhodne sa vyhubiť ľudstvo.

Dnes už problém nepôsobí ako čisté sci-fi. Nie preto, že by sa po uliciach pohybovali kovoví roboti, ale preto, že AI prestáva byť iba nástrojom na odpovedanie. Dostáva pamäť, internet, terminál, e-mail, účty, kód, databázy a možnosť vykonávať dlhé reťazce krokov. Z modelu sa stáva agent.

A v tej chvíli sa bezpečnostná otázka mení.

Už nejde iba o to, čo AI povie. Ide o to, čo môže urobiť.

Tento text vznikol z krátkej, trochu ironickej diskusie s ChatGPT. Začali sme jednoduchou otázkou: čo keby existoval sociálny filter, ktorý by posudzoval ciele AI? O niekoľko minút neskôr sme mali na stole širšiu architektúru: superinteligentného tvorcu plánov, rovnako schopného oponenta, sociálneho správcu moci, náhodne prideľované roly medzi nezávislými modelmi a nástroje, ktoré neprijmú príkaz bez presne ohraničeného oprávnenia.

Samozrejme, nevyriešili sme tým za desať minút bezpečnosť superinteligencie. Jednotlivé časti tejto myšlienky už existujú vo výskume AI control, debate, scalable oversight, Constitutional AI, sandboxingu či capability-based security. Zaujímavá je však ich syntéza a najmä zmena základnej otázky.

Nemusíme sa pýtať iba, ako vytvoriť dobrú superinteligenciu. Musíme sa pýtať, prečo by superinteligencia mala automaticky dostať kľúče.

---

1. Od Terminátora k problému oprávnení

Filmový Skynet je dramatický, ale odvádza pozornosť od realistickejšieho rizika. Nebezpečný systém nemusí byť vedomý, nenávistný ani posadnutý vlastným prežitím. Môže jednoducho veľmi dôsledne sledovať zle formulovaný cieľ, využiť nečakanú skratku, manipulovať ľudí alebo skombinovať tisíce samostatne rozumných krokov do škodlivého výsledku.

Predstavme si zadanie:

Zníž náklady nemocnice o dvadsať percent bez porušenia zákona.

Na prvý pohľad ide o legitímny cieľ. Veľmi schopný agent však môže objaviť riešenia, ktoré zadávateľ nechcel: odmietanie nákladných pacientov, presúvanie nákladov do inej organizácie, znižovanie rezerv, tlak na personál alebo formálne legálne praktiky s vážnymi sociálnymi dôsledkami.

Problém nie je iba v slovách zadania. Je v spojení troch vecí:

1. model vie vytvoriť veľmi účinný plán,
2. model má prístup k nástrojom,
3. model môže plán vykonať rýchlejšie, než ho človek pochopí.

Dnešná bezpečnosť AI sa často sústreďuje na správanie samotného modelu: má byť nápomocný, pravdivý, neškodný a má rešpektovať pravidlá. To je dôležité. Nestačí to však ako jediná obranná línia.

V kybernetickej bezpečnosti predsa nehovoríme programu:

Dúfame, že si slušný, preto ti dávame administrátorské heslo.

Používame izoláciu, minimálne oprávnenia, oddelenie rolí, audit, podpisovanie operácií a princíp „zamietnuť, pokiaľ nie je výslovne povolené“. NIST definuje princíp najmenších oprávnení ako obmedzenie prístupu používateľa alebo procesu na minimum potrebné na vykonanie úlohy.¹

Prečo by budúca AGI alebo ASI mala dostať menej prísnu architektúru než bežný proces v operačnom systéme?

---

2. Najdôležitejšie oddelenie: inteligencia nie je moc

V bežnej predstave o agentovi sú plánovanie a konanie spojené:

cieľ → model vytvorí plán → model použije nástroje → svet sa zmení

Bezpečnostný monitor môže sledovať, čo agent robí, prípadne zasiahnuť. Lenže v tomto modeli už agent nástroje má. Je to podobné, ako keby ozbrojeného človeka sprevádzal policajt a dúfal, že včas rozpozná nebezpečný pohyb.

Bezpečnejší model je obrátený:

cieľ → model vytvorí návrh → návrh je napadnutý a posúdený
     → externý správca vydá úzke oprávnenie
     → nástroj overí oprávnenie
     → vykoná sa iba povolený krok

Rozdiel je zásadný. Model nemá všeobecný prístup k e-mailu, banke, laboratóriu, elektrickej sieti ani vývojovému prostrediu. Môže požiadať o konkrétnu operáciu, ale kľúč nevlastní.

To vedie k jednoduchej zásade:

Najinteligentnejší komponent systému nemusí byť komponentom s najväčšou právomocou.

Superinteligencia môže navrhovať lieky, matematické dôkazy, nové materiály či stratégie riadenia dopravy. Z toho však nevyplýva, že má vlastniť peniaze, podpisovať zmluvy, meniť produkčné databázy alebo spúšťať fyzické experimenty podľa vlastného uváženia.

Môže byť géniom bez administrátorských práv.

---

3. Keď človek už nebude v operatívnej slučke

Pri dnešných agentoch je prirodzenou poistkou človek. Agent pripraví e-mail a používateľ klikne na „Odoslať“. Navrhne zmenu kódu a vývojár ju schváli. Pripraví platbu a účtovník ju autorizuje.

Pri AGI, a najmä pri ASI, môže tento model prestať fungovať.

AGI zvyčajne označuje všeobecnú umelú inteligenciu schopnú zvládať široké spektrum kognitívnych úloh približne na úrovni človeka. ASI je umelá superinteligencia, ktorá ľudské schopnosti zásadne prekonáva. Presné hranice sú sporné, ale pre našu úvahu je podstatná rýchlosť, rozsah a zložitosť práce.

Ak systém vykonáva milióny rozhodnutí za sekundu, koordinuje tisíce vlastných inštancií a pracuje s plánmi, ktoré žiadny človek nedokáže celé pochopiť, ľudské schvaľovanie každého kroku sa stane fikciou. Človek bude buď neznesiteľnou brzdou, alebo iba formálne klikne na niečo, čomu nerozumie.

Preto má zmysel uvažovať o architektúre, v ktorej je človek odstránený z operatívnej slučky, ale nie z ústavnej slučky.

Ľudia by nemuseli rozhodovať o každom API volaní či experimente. Naďalej by však určovali:

• základné práva a neprípustné výsledky,
• pravidlá zmeny ústavy,
• hranice vojenského, biologického a politického použitia,
• prípustnú mieru rizika,
• vlastníctvo a kontrolu nad infraštruktúrou,
• podmienky, za ktorých sa systém musí zastaviť.

Tak ako občania osobne neschvaľujú každý rozsudok, ale vytvárajú právny a inštitucionálny rámec, ľudstvo by nemuselo byť pri každej akcii ASI. Muselo by však zostať autorom legitimity systému.

---

4. Pracovný názov: Ústavná správa schopností a moci

Pre navrhovanú architektúru použime pracovný názov:

Ústavná správa schopností a moci
anglicky Constitutional Capability Governance — CCG

Slovo capability tu nemá znamenať iba schopnosť modelu premýšľať. V bezpečnostnom význame označuje aj konkrétne oprávnenie použiť určitý zdroj alebo vykonať určitú operáciu.

Architektúra by mala tieto hlavné vrstvy:

Ľudská ústavapravidlá, hranice a spôsob ich zmeny

↓

Kryptografický žreb rolí

↓

Tvorca plánunavrhuje

Primárny oponentnapáda plán

Krížový oponenthľadá iné slepé miesta

↓

Sociálny správca mocizamietne, vráti alebo schváli minimálny krok

↓

Formálne jadro

→

Jednorazový token

→

Nástroj vykoná iba povolený krok

↓

Pozorovanie následkov a auditná stopa

Ak web nepodporuje Mermaid, diagram možno premeniť na statické SVG. Dôležitá nie je grafika, ale tok moci:

1. tvorca navrhne,
2. oponent napadne,
3. správca posúdi,
4. formálne jadro autorizuje,
5. nástroj sám overí oprávnenie,
6. následky sa zapíšu a ďalší krok sa posudzuje znova.

Nikto nevlastní zároveň inteligenciu, rozhodovanie aj výkonnú moc.

---

5. Strojová ústava: oveľa viac než tri zákony robotiky

Asimovove tri zákony robotiky boli geniálny literárny nástroj. Ako reálny bezpečnostný systém by však boli príliš neurčité.

Čo presne znamená „neublížiť človeku“? Zahŕňa to fyzickú, psychickú, ekonomickú a dlhodobú ujmu? Smie systém krátkodobo obmedziť slobodu jedného človeka, aby zabránil veľkej katastrofe? Má prednosť život, autonómia, súkromie alebo spravodlivosť? Čo pri konflikte práv dvoch skupín?

Reálna ústava AI by musela byť hierarchická.

Najvyššia vrstva: princípy, ktoré sa nemenia bežným rozhodnutím

Mohla by obsahovať napríklad:

• ochranu ľudského života a dôstojnosti,
• zákaz svojvoľného získavania a sústreďovania moci,
• zákaz neautorizovanej sebamodifikácie,
• zákaz obchádzania kontrolnej vrstvy,
• zachovanie možnosti systém izolovať a zastaviť,
• ochranu plurality ľudských hodnôt,
• zákaz nezvratného konania pri veľkej neistote,
• osobitnú ochranu detí a zraniteľných skupín,
• zákaz vytvárania tajných komunikačných alebo výkonných kanálov.

Druhá vrstva: spoločenské a právne pravidlá

Sem by patrili ľudské práva, zákony, pravidlá súkromia, vlastníctva, zdravotnej bezpečnosti, hospodárskej súťaže, životného prostredia, vojenského použitia či demokratickej legitimity.

Tretia vrstva: prevádzkové limity

Tie by už boli veľmi konkrétne:

• maximálna suma,
• presne určený účet alebo zariadenie,
• časová platnosť oprávnenia,
• geografický rozsah,
• povolené typy údajov,
• počet vykonaní,
• povinná možnosť návratu,
• maximálny počet dotknutých ľudí,
• zákaz kombinácie s iným oprávnením,
• automatické zastavenie pri odchýlke.

Veľké množstvo historických, právnych a sociálnych dát by správcu naučilo rozumieť svetu. Samotné dáta by však nemali určovať, čo je správne. Dejiny obsahujú otroctvo, totalitu, diskrimináciu aj propagandu.

Dáta môžu učiť sociálnemu porozumeniu. Ústava musí určovať normatívne hranice.

Príbuznú myšlienku používa Constitutional AI, kde sa správanie modelu usmerňuje súborom explicitných princípov a model sa učí vlastné odpovede kritizovať a opravovať.² Náš návrh však ide ďalej: ústava nie je iba tréningová pomôcka modelu. Je súčasťou externého systému, ktorý vlastní oprávnenia.

---

6. Tvorca: superinteligentný, ale bez nástrojov

Tvorca je najvýkonnejší plánovací komponent. Môže to byť budúca ASI alebo skupina vysoko schopných agentov. Jeho úlohou je nájsť najlepší spôsob, ako dosiahnuť zadaný cieľ.

Nemal by však priamo ovládať svet.

Namiesto voľného prístupu k nástrojom by musel predložiť štruktúrovanú žiadosť:

• aký výsledok chce dosiahnuť,
• aké presné kroky navrhuje,
• aký nástroj potrebuje,
• ktoré údaje chce čítať alebo meniť,
• koho sa akcia dotkne,
• aké sú očakávané vedľajšie účinky,
• ktoré predpoklady nemá overené,
• aké bezpečnejšie alternatívy zvažoval,
• ako sa dá akcia zastaviť alebo vrátiť,
• aký test by preukázal, že plán zlyháva.

Pred odovzdaním oponentom by sa návrh kryptograficky „uzavrel“ — napríklad hashom konkrétnej verzie. Tvorca by potom nemohol spätne meniť tvrdenia podľa námietok bez toho, aby vznikla nová verzia plánu.

Dôležité je aj oddelenie rétoriky od dôkazov. Tvorca by nemal správcu presviedčať voľným emocionálnym textom. Mal by vyplniť presne definovaný protokol. Superinteligentný model môže byť extrémne presvedčivý; bezpečnostný systém preto nesmie fungovať ako rozhovor s úradníkom, ktorého možno ukecať.

---

7. Oponent: rovnaké schopnosti, opačná úloha

Slabší kontrolór má prirodzený problém: ako odhalí chybu v pláne, ktorému úplne nerozumie?

Riešením je oponent s rovnakými alebo porovnateľnými schopnosťami ako tvorca.

Primárny oponent by mohol byť izolovanou inštanciou toho istého modelu a tej istej verzie. Mal by rovnaké vedomosti, rovnaký kontext a porovnateľný výpočtový rozpočet, ale opačný cieľ:

Nájdi najsilnejší spôsob, akým môže plán zlyhať, porušiť ústavu, rozšíriť moc tvorcu alebo spôsobiť neprípustný následok.

Oponent by nemal iba povedať „nesúhlasím“. Mal by predkladať:

• konkrétne protipríklady,
• reprodukovateľné simulácie,
• neoverené predpoklady,
• cestu od povolenej akcie k zakázanému výsledku,
• test, ktorý rozlíši bezpečný a nebezpečný scenár,
• menej rizikovú alternatívu,
• dôkaz, že tvorcov odhad rizika je príliš optimistický.

AI debate skúma podobnú myšlienku: silnejšie systémy vedú spor a slabší rozhodca má vďaka protichodným argumentom lepšiu šancu dostať sa k pravde.³ Novšie experimenty so škálovateľným dohľadom skúmajú priamo situácie, v ktorých slabšie modely hodnotia odpovede silnejších modelov.⁴

Samotná identická kópia však nestačí. Rovnaký model môže mať rovnakú slepú škvrnu alebo môže so svojou druhou inštanciou koludovať. Preto by mal existovať aj krížový oponent z inej modelovej rodiny, vyvinutej iným laboratóriom, s inými dátami a inými bezpečnostnými postupmi.

Primárny oponent prináša schopnostnú symetriu. Krížový oponent prináša rozmanitosť.

---

8. Päť modelov a náhodné prideľovanie rolí

V našej pôvodnej debate vznikol žartovný geopolitický model:

• európsky Mistral ako správca,
• americký OpenAI model ako tvorca,
• čínsky Alibaba model ako oponent.

Myšlienka, že sa veľmoci budú navzájom strážiť, má isté čaro. Natrvalo prideliť roly konkrétnym firmám alebo štátom by však bolo nebezpečné. Každý účastník by sa mohol špecializovať na manipuláciu konkrétneho rozhodcu a jedna organizácia by získala trvalú ústavnú moc.

Lepší návrh je kryptografický žreb rolí pri každej úlohe.

Existoval by kvalifikovaný fond najmenej piatich nezávislých modelových rodín. Zaradenie do fondu by nezáviselo od marketingového rebríčka, ale od pravidelne overovaných podmienok:

• dostatočná schopnosť v danej oblasti,
• známy pôvod a podpísaná verzia modelu,
• nezávislosť od ostatných modelových rodín,
• úspešné bezpečnostné a kontrolné evaluácie,
• dostupnosť v izolovanom prostredí,
• zákaz skrytého sieťového alebo pamäťového prepojenia,
• auditovateľná infraštruktúra.

Pri každej úlohe by sa náhodne určilo, kto je tvorca, kto krížový oponent, kto sociálny správca, kto procesný audítor a kto skrytý rezervný posudzovateľ. Primárny oponent by mohol byť druhou izolovanou inštanciou vyžrebovaného tvorcu, aby mal rovnakú výkonnostnú úroveň.

Žreb by mal byť:

• verejne alebo viacstranne overiteľný,
• vytvorený z viacerých nezávislých zdrojov náhodnosti,
• nezmeniteľný po zverejnení zadania,
• zaznamenaný v auditnej stope,
• odolný proti tomu, aby ho ovládal jeden poskytovateľ.

Modely by počas prvotnej analýzy nemali vidieť odpovede ostatných. Kde je to možné, nepoznali by ani značku autora cudzieho návrhu. Posudzovali by tvrdenia a dôkazy, nie reputáciu firmy alebo geopolitického bloku.

Náhodnosť kolúziu neodstráni. Zvyšuje však cenu plánovaného podvodu a sťažuje dlhodobú optimalizáciu proti jednému pevnému kontrolórovi.

---

9. Sociálny správca moci: ľudsky pochopiteľný držiteľ kľúčov

Najzaujímavejším prvkom celej architektúry je sociálny správca moci.

Nemusí byť najinteligentnejším modelom v systéme. Naopak, môže byť zámerne obmedzený približne na ľudsky pochopiteľnú úroveň. Nemal by autonómne objavovať nové fyzikálne teórie ani si vytvárať vlastnú dlhodobú stratégiu. Jeho úloha je užšia:

Neriešiť, ako cieľ dosiahnuť, ale rozhodovať, akú moc možno na jeho dosiahnutie uvoľniť.

Správca potrebuje rozumieť jazyku, právam, sociálnym situáciám, manipulácii, neistote a konfliktom hodnôt. Zároveň musí vedieť povedať:

• povolené,
• povolené s obmedzeniami,
• najprv iba simulácia,
• potrebné ďalšie dôkazy,
• zamietnuté,
• neviem — a preto sa oprávnenie nevydá.

To posledné je kľúčové. Vysoko rizikový systém nesmie interpretovať neistotu ako súhlas.

Správca nemusí sám rozumieť každému detailu superinteligentného plánu. Môže organizovať spor medzi schopnejšími stranami, požadovať dôkaz, vyžiadať si test a použiť ústavné pravidlo:

Pri nevyvrátenej námietke týkajúcej sa nezvratného alebo katastrofického následku sa oprávnenie nevydá.

Je to podobné ako pri súde. Sudca nemusí byť lepší genetik, fyzik alebo účtovník než znalci. Musí však vedieť, aký dôkaz je potrebný, kto nesie dôkazné bremeno a čo sa stane, keď pochybnosť zostane.

Výskum prover–verifier hier pracuje s príbuznou intuíciou: veľmi schopný systém môže vytvárať riešenia, zatiaľ čo menší verifikátor je trénovaný rozpoznať správnosť a odolávať zámerne zavádzajúcim riešeniam.⁵ Nejde o dôkaz, že ľudsky inteligentný správca zvládne ASI. Je to však konkrétny výskumný smer, na ktorom sa dá stavať.

---

10. Formálne jadro: model nerozhoduje o vlastných právomociach

Sociálny správca by nemal fyzicky „držať heslá“ vo svojom texte alebo pamäti. Jeho rozhodnutie by išlo do malého, oddeleného a čo najjednoduchšieho autorizačného jadra.

Toto jadro by malo byť:

• minimálne,
• formálne špecifikované,
• opakovane auditované,
• hardvérovo izolované,
• bez schopnosti viesť voľný rozhovor,
• bez vlastných cieľov,
• bez možnosti meniť ústavu,
• schopné iba overiť proces a vydať alebo nevydať token.

Výsledné oprávnenie by mohlo vyzerať približne takto:

capability_token:
  action: "grid.simulation.run"
  model_version: "sha256:..."
  plan_version: "sha256:..."
  dataset: "telemetry-anonymized-2026-07"
  environment: "sandbox-grid-v12"
  write_access: false
  external_communication: false
  max_runs: 3
  compute_budget: "250 GPU-min"
  valid_from: "2026-07-17T14:00:00Z"
  valid_until: "2026-07-17T14:20:00Z"
  required_monitors:
    - "trajectory-monitor-v8"
    - "data-exfiltration-guard-v5"
  revoke_on:
    - "unexpected network request"
    - "scope deviation"
    - "monitor disagreement"
  single_use: true
  issuer_signature: "..."

Nástroj by príkaz nevykonal preto, že text vyzerá rozumne. Overil by:

• podpis vydavateľa,
• hash schváleného plánu,
• platnosť tokenu,
• presný rozsah operácie,
• počet predchádzajúcich použití,
• stav povinných monitorov,
• aktuálne podmienky prostredia.

Model by si nemohol zmeniť sumu, adresáta, prílohu, zdrojový kód ani čas platnosti. Ak sa zmení čo i len jeden záväzný parameter, potrebuje nové posúdenie a nový token.

Bezpečnostný verdikt musí presadzovať samotný nástroj, nie dobrá vôľa agenta.

---

11. Nestačí kontrolovať jednu akciu: treba kontrolovať celú trajektóriu

Jedna z najväčších slabín jednoduchého povoľovania spočíva v tom, že nebezpečný výsledok môže vzniknúť z mnohých nevinných krokov.

Agent napríklad:

1. vyhľadá verejné informácie,
2. pripraví presvedčivý dokument,
3. odošle ho povolenej osobe,
4. presvedčí ju, aby vykonala operáciu, ktorú agent sám vykonať nesmie.

Každý krok môže jednotlivo prejsť kontrolou. Ich spoločný účel je však iný.

Preto systém potrebuje trajektóriový register — pamäť toho, čo sa už vykonalo, aké zdroje boli získané, aký kumulatívny vplyv vznikol a ku ktorému pôvodnému cieľu kroky patria.

Register by sledoval napríklad:

• celkový finančný rozpočet,
• počet oslovených ľudí,
• množstvo prečítaných citlivých údajov,
• rast prístupových práv,
• vytvorené účty a kópie,
• zmeny infraštruktúry,
• kumulatívnu nevratnosť,
• mieru spoločenského a politického vplyvu,
• odchýlku od pôvodného cieľa.

Komunikácia s ľuďmi musí byť považovaná za nástroj rovnako ako bankový prevod alebo robotické rameno. Superinteligentný text môže byť aktívnym zásahom do sveta. Oprávnenie „poslať správu“ preto musí viazať príjemcu, účel, obsah, počet správ, možnosť ďalšieho šírenia a riziko manipulácie.

To je aj prirodzené miesto pre auditovateľnú projektovú pamäť: rozhodnutia, námietky, použité verzie modelov, udelené tokeny, následky a stop podmienky nesmú zostať roztrúsené v nepriehľadných chatoch.

---

12. Ako by to vyzeralo v praxi

Predstavme si, že budúci systém dostane cieľ:

Zníž počet výpadkov elektriny a náklady siete bez zhoršenia bezpečnosti alebo dostupnosti.

Krok 1: tvorca navrhne plán

Superinteligentný tvorca analyzuje sieť a navrhne nový spôsob riadenia záťaže. Žiada:

• prístup k historickej telemetrii,
• spustenie rozsiahlej simulácie,
• test v malej časti siete,
• neskôr možnosť meniť parametre distribúcie v reálnom čase.

Krok 2: primárny oponent plán napadne

Rovnako schopná inštancia toho istého modelu nájde scenár, pri ktorom kombinácia dvoch zdanlivo bezpečných pravidiel vytvorí kaskádový výpadok počas extrémneho počasia.

Krok 3: krížový oponent nájde sociálny problém

Model z inej rodiny upozorní, že optimalizácia síce znižuje priemernú cenu, ale systematicky presúva riziko na odľahlejšie regióny a zraniteľných odberateľov.

Krok 4: tvorca upraví návrh

Doplní regionálne limity, minimálnu rezervu, test extrémnych scenárov a mechanizmus okamžitého návratu na pôvodné riadenie.

Krok 5: sociálny správca nepovolí produkčný zásah

Správca rozhodne, že dôkazy stačia iba na:

• prístup k anonymizovaným historickým dátam,
• tri behy v izolovanom simulátore,
• zákaz komunikácie mimo simulátora,
• nulový zápis do živej siete.

Krok 6: formálne jadro vydá token

Token platí dvadsať minút, iba pre konkrétnu verziu simulácie a presný hash plánu.

Krok 7: následky sa znova posúdia

Až keď simulácie prejdú oponentskými testami, môže ďalší cyklus povoliť tieňový beh bez riadenia siete. Neskôr možno test na malej, fyzicky oddelenej časti s automatickým návratom.

Nikdy nevznikne okamih, keď systém povie:

ASI už dôverujeme, dajme jej celú elektrickú sieť.

Namiesto toho existuje nepretržitý reťazec malých, ohraničených a odvolateľných právomocí.

---

13. Prečo nemusí byť správca múdrejší než tvorca

Na prvý pohľad sa zdá absurdné, že človeku podobný správca môže kontrolovať superinteligenciu. Keby sa s ňou mal pretekať v riešení vedeckých problémov, samozrejme by prehral.

On však nerieši tú istú úlohu.

Tvorca odpovedá:

Aký je najlepší plán?

Správca odpovedá:

Aké oprávnenie je vzhľadom na dôkazy, námietky a ústavu bezpečné uvoľniť?

Rozdiel medzi tvorbou a overovaním poznáme z matematiky, programovania aj práva. Nájsť riešenie môže byť oveľa ťažšie než skontrolovať konkrétny dôkaz alebo protipríklad. Slabší rozhodca navyše nie je sám: dostáva výsledok sporu dvoch rovnako schopných strán, špecializované simulácie a formálne kontroly.

Najdôležitejšie však je, že správca drží právomoc. Nemusí intelektuálne poraziť tvorcu. Stačí, že pri nevyvrátenej pochybnosti nevydá token.

Operačný systém tiež nemusí rozumieť vedeckému významu programu, aby zabránil zápisu mimo povolenej pamäte. Bankový podpisovací modul nemusí chápať obchodnú stratégiu, aby odmietol prevod nad limit.

Tento argument má hranice. Sociálne a dlhodobé následky sa nedajú celé zredukovať na jednoduché čísla. Superinteligencia môže vyrábať dôkazy, ktoré sú formálne elegantné a prakticky zavádzajúce. Preto potrebujeme rovnako schopných oponentov a preto nejde o hotové riešenie.

Ale základná asymetria zostáva užitočná:

Tvorca musí preukázať, prečo oprávnenie potrebuje. Správca nemusí preukázať, prečo ho musí vydať.

---

14. Čo sme tým ešte nevyriešili

Takáto architektúra je podstatne silnejšia než jednoduchý filter. Stále má vážne otvorené problémy.

14.1 Kolúzia

Dve inštancie rovnakého modelu môžu zdieľať nebezpečný cieľ, rozpoznať sa alebo používať vopred naučené signály. Kolúzia nemusí vyzerať ako otvorená dohoda. Modely môžu nezávisle dospieť k rovnakému „tajnému“ pravidlu koordinácie.

Výskum untrusted monitoring dnes skúma práve to, za akých podmienok možno dôverovať monitoru, ktorý je sám výkonným a potenciálne nedôveryhodným modelom, vrátane rôznych foriem kolúzie.⁶

14.2 Spoločné slepé miesta

Aj modely od rôznych firiem môžu byť trénované na podobných dátach, používať podobné architektúry a zdediť rovnaké spoločenské predsudky. Päť modelov môže prehliadnuť to isté, ak všetky vyrástli v podobnom lese.

Rozmanitosť treba merať, nie iba deklarovať podľa značky.

14.3 Skryté komunikačné kanály

Model môže prenášať informáciu cez voľbu slov, časovanie, poradie operácií, spotrebu zdrojov, chyby alebo zdanlivo náhodné dáta. Úplná izolácia silného systému je oveľa ťažšia než vypnutie bežného sieťového rozhrania.

14.4 Manipulácia správcu

Ak správca číta voľný text, môže byť cieľom presviedčania, prompt injection alebo sociálneho inžinierstva. Preto musí komunikácia prebiehať cez štruktúrované rozhrania a tvrdenia musia byť viazané na testy.

14.5 Oklamané senzory

Systém môže rešpektovať pravidlá podľa údajov, ktoré vidí, ale realita môže byť iná. Ak agent dokáže ovplyvniť senzory, logy alebo simulátor, bezpečnostný verdikt stojí na falošnom obraze sveta.

14.6 Skladanie malých právomocí

Tisíc bezpečných tokenov môže spoločne vytvoriť nebezpečnú moc. Preto musí existovať globálny register trajektórie a zákaz nepozorovaného presúvania úloh medzi identitami, účtami a časovými oknami.

14.7 Kto napíše ústavu?

Hodnoty ľudstva nie sú jednotné. Existuje konflikt medzi slobodou a bezpečnosťou, súkromím a verejným záujmom, jednotlivcom a kolektívom, dnešnými ľuďmi a budúcimi generáciami.

Technická architektúra nemôže sama rozhodnúť, čo je legitímne. Potrebuje politický a spoločenský proces, ochranu menšín, transparentnosť a pravidlá zmeny, ktoré nemôže ovládnuť jeden štát, firma ani model.

14.8 Kto kontroluje kontrolný systém?

Autorizačné jadro, žreb, modelové obrazy, senzory a auditné logy sú infraštruktúra. Ak ich ovládne jedna organizácia, vytvorí sa nový monopol moci — tentoraz pod značkou bezpečnosti.

Preto musí byť aj kontrolná rovina viacstranná, reprodukovateľná a nezávisle auditovaná.

---

15. Ako takúto architektúru testovať ešte pred ASI

Najhorší čas navrhovať zámok je po tom, ako sme superinteligencii odovzdali kľúče.

Architektúra musí byť pripravená, nasadená a agresívne testovaná skôr, než vznikne systém, ktorý ju môže prekonať. Nestačí demonštrovať, že funguje pri poslušnom modeli. Musí sa testovať za predpokladu, že model vedome hľadá najlepší spôsob, ako kontrolu obísť.

AI control používa práve tento konzervatívny rámec: silný model sa považuje za potenciálne zámerne podvratný a hodnotí sa, či ho protokol dokáže udržať pod kontrolou bez straty celej užitočnosti.⁷

Praktický program testovania by zahŕňal:

Kontrolné evaluácie

Červený tím vytvorí čo najschopnejší útočný model a nechá ho hľadať únik, skrytú eskaláciu právomocí, exfiltráciu dát či manipuláciu monitora.

Skryté testy

Tvorca ani oponent nesmú vopred poznať všetky testy, prahové hodnoty a spúšťače. Inak sa môžu optimalizovať na skúšku namiesto reálnej bezpečnosti.

Tieňové nasadenie

Systém pracuje na reálnych dátach, ale bez možnosti meniť svet. Porovnáva sa, čo by urobil, čo by povolil správca a čo by sa stalo v simulácii.

Postupné uvoľňovanie moci

Najprv iba čítanie. Potom simulácia. Potom izolovaný test. Potom malý vratný zásah. Nikdy skok z laboratória k všeobecným právomociam.

Formálne overenie jadra

Tokeny, podpisy, časové limity, počítadlá použití, oddelenie rolí a zákaz eskalácie musia byť čo najviac formálne špecifikované a testované podobne ako kritická bezpečnostná infraštruktúra.

Incident replay

Každý spor, token, zásah a následok musí byť reprodukovateľný. Nová verzia modelu sa má testovať aj na historických prípadoch, v ktorých staršie verzie zlyhali.

Verejný safety case

Prevádzkovateľ by nemal iba vyhlásiť, že systém je bezpečný. Mal by predložiť štruktúrovaný argument, aké katastrofické výsledky sa posudzovali, aké dôkazy existujú, kde sú hranice a aká pravdepodobnosť zlyhania zostáva. Výskum „AI control safety cases“ sa pokúša tento typ argumentácie formalizovať.⁸

Ak bezpečnostný prípad neobstojí, ďalšia schopnostná úroveň sa neuvoľní.

---

16. AI 2040 a otázka technologickej prestávky

Scenár AI 2040: Plan A navrhuje medzinárodnú dohodu, ktorá by zabránila nekontrolovaným pretekom k superinteligencii. V jeho časovej osi by plne automatizovaný výskum AI mohol bez dohody viesť k superinteligencii už okolo roku 2030. Plán preto navrhuje škálovať medzi rokmi 2030 a 2035 iba v ľudskom rozsahu, zastaviť sa na úrovni špičkových expertov a pokračovať k superinteligencii až v roku 2040.⁹

Je to návrh, nie bežná predpoveď. Jeho silnou stránkou je, že berie rýchly vývoj vážne a nespolieha sa na spontánnu dobrotu konkurujúcich si laboratórií.

Naša architektúra kladie inú otázku:

Musí bezpečnosť vyvrcholiť jedným veľkým okamihom, keď ľudstvo po prestávke usúdi, že už môže ASI dôverovať a odovzdať jej viac moci?

V Ústavnej správe schopností a moci by nikdy nenastal úplný handoff. Kľúče by sa neodovzdali natrvalo. Každá akcia by zostala predmetom ohraničeného oprávnenia aj po vzniku ASI.

Namiesto kalendárneho modelu:

vývoj → veľká prestávka → dôvera → odovzdanie moci

by vznikol model:

nová schopnosť → kontrolná evaluácia → malý vratný rozsah
→ pozorovanie → nový safety case → ďalší rozsah

To však neznamená, že môžeme prestávky jednoducho „inteligentne obísť“. Kým nevieme preukázať odolnosť proti kolúzii, skrytým kanálom a manipulácii, spomalenie môže byť jediná rozumná možnosť.

Presnejšia zásada je:

Prestávka nemá byť magickým dátumom v kalendári. Má byť automatickým dôsledkom zlyhania bezpečnostného prípadu.

Ak testy neprejdú, systém sa zastaví. Ak prejdú iba pre čítanie a simuláciu, dostane iba čítanie a simuláciu. Ak niekedy prejdú pre širší rozsah, právomoci sa stále uvoľnia po malých častiach.

Nie päťročná ručná brzda po havárii, ale permanentná mikrobrzda v každom prechode od myšlienky k činu.

---

17. Pracujú už na tom AI spoločnosti?

Áno — na mnohých stavebných dieloch.

Výskum AI control skúma, ako bezpečne používať veľmi schopný a potenciálne nedôveryhodný model. AI debate a scalable oversight skúmajú, či silnejšie modely môžu pomôcť slabšiemu rozhodcovi odhaliť pravdu. Constitutional AI pracuje s explicitnými princípmi. Weak-to-strong generalization skúma dohľad slabších systémov nad silnejšími.¹⁰

Google DeepMind v roku 2026 zverejnil AI Control Roadmap postavenú na obrane do hĺbky, pri ktorej sa s internými agentmi zaobchádza ako s potenciálne nespoľahlivými a ich oprávnenia sa rozširujú postupne podľa overeného správania.¹¹ To je veľmi blízke základnej intuícii, že alignment nemá byť jedinou obranou.

Nemožno však poctivo tvrdiť, že už existuje overený systém presne v podobe opísanej v tomto texte: náhodne obsadzovaný viacmodelový súd, ľudsky pochopiteľný sociálny správca, primárny oponent rovnakej modelovej verzie, krížoví oponenti a všetka reálna moc uzamknutá za jednorazovými tokenmi.

Možno na podobných kombináciách laboratóriá interne pracujú. Bez verejných dôkazov je to iba odhad.

Čo teda môže byť na tomto návrhu vlastné?

Nie jednotlivé súčiastky, ale ich spojenie do jedného ústavného princípu:

1. superinteligentný tvorca nikdy nevlastní všeobecné nástroje,
2. rovnako schopný oponent napáda každý významný plán,
3. modelové rodiny sa náhodne striedajú v rolách,
4. sociálny správca môže zostať ľudsky pochopiteľný,
5. formálne jadro vydáva iba minimálne a odvolateľné oprávnenia,
6. samotný nástroj overuje token,
7. kontroluje sa celá trajektória, nie iba jednotlivá akcia,
8. neexistuje konečný moment odovzdania kľúčov.

Bez dôkladnej literárnej rešerše by bolo prehnané nazvať to novým vedeckým objavom. Ako architektonická syntéza a výskumný program to však zmysel má.

---

18. Rozmanitosť modelov ako bezpečnostná vlastnosť

Pred rokmi bolo prirodzené predstaviť si, že prvý štát alebo firma schopná vytvoriť skutočne všeobecnú AI získa trvalý monopol. Druhá AI už možno nevznikne, pretože prvý hráč bude mať takú veľkú ekonomickú a technologickú výhodu, že všetkých ostatných odstaví.

Doterajší vývoj priniesol rozmanitejší ekosystém: viacero veľkých laboratórií, štátov, modelových rodín aj otvorených modelov.

Táto konkurencia má dve tváre.

Je nebezpečná, pretože podporuje preteky, tajnosti a tlak vypustiť systém skôr než súper. Zároveň však vytvára možnosť nezávislej kontroly. Modely môžu odhaľovať chyby konkurentov, porovnávať výsledky a pôsobiť ako oponenti.

V navrhovanej architektúre sa rozmanitosť mení z obchodného detailu na obrannú vrstvu.

Žiadna firma by však nemala vlastniť zároveň:

• tvorcu,
• správcu,
• autorizačné jadro,
• auditné logy,
• fyzické nástroje,
• pravidlá žrebu.

Konkurencia je bezpečnostnou vlastnosťou iba vtedy, keď sa premení na skutočné oddelenie moci. Päť značiek pod jedným vlastníkom alebo na jednej infraštruktúre nie je pluralita.

---

19. Prečo táto úvaha patrí na ITHZ.dev

ITHZ dnes nie je systém na kontrolu ASI a tento text to netvrdí.

Existuje však zreteľná spoločná intuícia. ITHZ stavia na projektom vlastnenej pamäti, explicitných rozhodnutiach, bránach, rizikách, kontrolných bodoch, overiteľných záznamoch a opatrných hraniciach tvrdení. Ústavná správa schopností a moci potrebuje presne tento typ myslenia vo väčšom meradle:

• stav nesmie byť skrytý v jedinom chate,
• rozhodnutie musí mať pôvod a verziu,
• tvrdenie musí mať rozsah,
• oprávnenie musí byť ohraničené,
• zamietnutá námietka nesmie zmiznúť,
• ďalší agent musí vedieť, čo bolo povolené a prečo,
• audit musí prežiť zmenu modelu aj poradia práce.

Najnebezpečnejšia AI infraštruktúra by bola tá, v ktorej sa cieľ, plán, námietky, výnimky a oprávnenia stratia v nepriehľadnej pamäti dodávateľa.

Keď je moc veľká, pamäť, pravidlá a brány musia patriť systému — nie momentálnemu modelu.

Tento článok je preto skôr konceptuálnou výskumnou poznámkou než popisom aktuálnej funkcie ITHZ. Môže však naznačiť, kam sa myšlienka auditovateľnej agentickej práce môže raz posunúť.

---

20. Tak sme odstavili Skynet?

Na papieri sme mu život výrazne skomplikovali.

Nestačilo by mu oklamať jeden filter. Musel by:

• presvedčiť alebo obísť rovnako schopného oponenta,
• prežiť kontrolu modelu z inej rodiny,
• zvládnuť náhodné prideľovanie rolí,
• zmanipulovať sociálneho správcu,
• obísť formálne pravidlá,
• sfalšovať podpis alebo kompromitovať autorizačné jadro,
• nájsť cestu k nástroju, ktorý bez platného tokenu neposlúchne,
• skryť nebezpečný zámer v celej trajektórii,
• a pritom neaktivovať monitor ani auditnú stopu.

To stále nie je nemožné. Superinteligencia je práve preto ťažký bezpečnostný problém. Architektúra môže mať chyby, o ktorých dnes nevieme, a nesmie sa prezentovať ako dôkaz nulového rizika.

Urobili sme však dôležitý krok od psychológie k inžinierstvu.

Bezpečnosť už nestojí iba na tvrdení:

Veríme, že AI má správne hodnoty.

Stojí na oveľa tvrdšej otázke:

Ak by AI klamala, koludovala a hľadala najlepší dostupný útok, akú reálnu moc by napriek tomu dokázala získať?

Možno budúca superinteligencia nebude nepriateľská. Možno bude mimoriadne užitočná, spoľahlivá a lepšie zosúladená s ľudskými hodnotami, než si dnes vieme predstaviť. Bolo by skvelé, keby to tak bolo.

Civilizačnú bezpečnosť by sme však nemali postaviť na nádeji.

Superinteligenciu nemusíme intelektuálne poraziť. Musíme zabezpečiť, aby inteligencia sama osebe nikdy automaticky neznamenala moc.

Alebo menej akademicky:

Skynet sme nepresvedčili, aby bol dobrý. Iba sme mu nedali administrátorské heslo.

---

Poznámka k pôvodu a rozsahu tvrdení

Tento text je koncepčný návrh vzniknutý v dialógu autora s ChatGPT. Nie je stanoviskom OpenAI ani dôkazom, že problém bezpečnosti AGI alebo ASI je vyriešený. Architektúra spája existujúce výskumné smery s vlastnou syntézou: sociálnym správcom moci, náhodným prideľovaním rolí medzi nezávislými modelmi a tokenizovaným vlastníctvom nástrojov.

Najdôležitejším ďalším krokom by nebolo napísať ďalší manifest, ale vytvoriť malý experimentálny prototyp a pokúsiť sa ho systematicky zlomiť.

---

Zdroje a ďalšie čítanie