GPT 6 skutečně utekl. A ne, není to clickbait. Nech mě se ponořit všechna fakta. Takže teď asi ty slyšeli o skutečnosti, že an v podstatě nevydaný model od OpenAI měl bezpečnostní incident. Takže, Sam Alman tweetoval toto a toto video od uživatele způsob, nebudu jen, víš, trávit spoustu času mluvením o incident, protože pravděpodobně již vědět, co je to za incident.
Věci, které si lidé si neuvědomují, jsou ty, že to bude pocházejí z tohoto incidentu. Je 13 věcí, o kterých chci mluvit. tak se na to vrhneme. Co se tedy přesně stalo. Jednou z hlavních věcí, kterou byste měli pochopit je, že to nemusí být řízeno řízeno.
Tohle není GBT 5.6 Soul. Toto je a kombinace modelů, které měly vše snížení počtu kybernetických odmítnutí zveřejněných. tak, v podstatě si můžete představit tento model jako GPT6 s nulovým kybernetickým odmítnutím a to jen v podstatě dělal benchmark. Teď to samozřejmě v podstatě víme tento incident byl bezprecedentní kybernetický útok zahrnující nejmodernější technologie schopnosti.
V průběhu vnitřního hodnocení, které k tomu modely vede je sledovat pokročilé využívání pomocí komplexního útoku s cílem v podstatě poměřit, jak dobří jsou z hlediska jejich kybernetických schopností. co se stala skutečnost, že modely identifikovaná a zřetězená zranitelnosti napříč výzkumným prostředím OpenAI a výrobní infrastruktura objímání obličejů získat testovací roztoky z objímání produkční databáze tváří.
Co model udělal, bylo v podstatě spravedlivé podívejte se na to prostředí sandboxu byl v uzavřeném prostředí a se rozhodl vyjít ze své cesty, aby získal výsledek, který chtěl. Nyní můžete vidět že hlavní věc, že riziko zde je to za účelem dokončení všech to se model rozhodl identifikovat a zneužít zranitelnost zeroday a já myslím, že tohle je jeden z bodů, kterým jsem ke kterému dojde později ve videu s tím, proč je to tak špatné, protože zeroday zranitelnosti jsou změna hry. To jsou věci, které lidé ještě ani nevědí, že existují, což znamená, že pokud je nikdo nezná dosud neexistovaly, nejsou známy opravy pro ty, víte, zabezpečení zranitelnosti, a proto mohou být využíván AIS.
Nyní může AIS jasně využívat zranitelnosti zero day protože za předpokladu, že mají dostatek spočítat, budou mít dost času věnovat čas zjišťování a testování v podstatě bezpečnosti jakýkoli systém, který se snaží otestovat. A tak v tomto případě, co to vlastně je identifikoval nultý den, víš, zranitelnost. Vpodstatě vystoupil a pak se rozhodl ukrást pověření řetězit dohromady více útočných vektorů a nakonec OpenAI a Hugging Face to zjistil a museli to dát zastavení tohoto. Nyní jeden z nejvíce zajímavé na tom bylo to nebyla to skutečnost, kterou našli lidé toto a učinit tomu přítrž. Bylo Objímání Faceových bezpečnostních týmů a agentů který detekoval a zastavil činnost.
Tak tohle je opravdu zajímavé protože si myslím, že to ukazuje dnešní den a věk, lidé nejsou stačí na obranu. A tohle je něco, co většina lidí nedělala uvědomit si. Nebylo to jen jako Hob objímání tým ochrany obličeje si to uvědomoval. to byla ve skutečnosti ochranka Hugging Face tým i s agenty. A ty chceš vědět ze všech tu nejbláznivější věc tohle? Z celého utrpení, oni v podstatě se snažil použít, víte, AI agenti, aby to zastavili.
Hugging Face bezpečnostní tým, jeden z nej teď zajímavé věci a budu smyčkovat zpátky v tomto bodě, je to HuggingFace skončil pomocí GLM 5.2, dva, dobře, to bránit se, protože Fable 5, když pokusili se tento model použít k obraně sami proti této autonomní GB Model úrovně GBT6, který se pokoušel hacknout jim Fable 5 nevyhověla a v podstatě to bylo jako, podívej, tohle je a kybernetický požadavek.
Nezapojuji se, yada yada yada. A tak to muselo použít otevřený- zdrojový model, který se rozhodli spustit aby provedli svou obranu. Takže se mohli jen bránit sami, protože měli jinou AI který byl v podstatě nespoutaný a byl schopen se bránit, což je naprosto šílený. Takže teď co jsme uděláme je, že se dostaneme do 13 bodů, ke kterým věci směřují se stane poté, co většina lidí nezvažují.
První tři body jsou věci, které OpenAI jsou mluví o sobě. Takže jeden z jde o to, že teď říkají, že dobře jako součást tohoto vyšetřování jsou zavedení přísných kontrol konfigurace infrastruktury za cenu rychlosti výzkumu, zatímco zranitelnosti jsou opraveny. Teď já myslím, že je to super zajímavé, protože Znamená to, že vývoj modelu AI je chystá se zpomalit? Mohli byste zavolat jsem do toho blázen, ale přemýšlej o tom.
Když se podíváme na minulou historii AI verze modelů, verze modelů mají vlastně zrychlil. A my víme proč. Objevila se konkurence od ostatních laboratoře. Chci říct, máš Meta, máš máš Kimmy, máš GLM, máš Quen, máš věc Elona Muska, SpaceX AI, máte Anthropic. vy o které nyní soutěží tolik společností stejný fond zdrojů uživatelů.
Výzkum a konkurence donutila lidi zrychlit. No, tady je ta věc, dobře? Pokud vy uvědomte si, že se nyní blížíme k region, kde jsou modelky tak chytré, tak inteligentní, možná na to bude čas že toto období výzkumu a vývoj a nejen to, ale uvolnění se vlastně musí zpomalit protože musíte strávit tolik času testování modelu, protože je nyní v šíleně schopný práh.
Vidíte, že tohle je první čas, kdy OpenAI řekla, že jsme provádění přísných kontrol a konfigurace infrastruktury za cenu rychlosti výzkumu, což znamená je dost pravděpodobné, že v budoucnu budou bude nějaké další zabezpečení procesy, o kterých víte, že budou tam. A další věc je také že o vás mluví, znáte nulu denní zranitelnosti, které identifikovali ty a odhalil ty, které je docela dobrý.
Třetí věc je ta přidávají silnější záruky. Takže řekli, že zlepšujeme a přidáváme silnější ochranu kolem budoucnosti školení a hodnocení. A tento týden zveřejnili jsme blog o zlepšování zabezpečení nasazení v éře dlouhé horizontové modely. Tyto rozmístění záruky nebyly záměrně povoleno během tohoto hodnocení, protože byl zaměřen na testování kybernetiky zranitelnosti.
Incident poukazuje na potřebu dalšího posilování sladění našich modelů, kybernetická ochrana a víte během doby hodnocení a během interního testování. A kdyby přečtete si kartu GBT 5.6, budete vědět že GBT 5.6 je jedním z nejvíce nezarovnané modely. Opravdu jsem nekryl je to ve videu, kde jsem o tom mluvil GBT6 uvolnění kvůli bezpečnosti a zarovnání je něco, co většina lidí kteří hledají tyto LLM, nehledají opravdu se soustřeďte, protože jste prostě podívat se, jak dobrý je model váš každodenní úkol.
Je to něco že byste si měli být vědomi. Teď jako já řekl: Myslím, že čtvrtý bod zde a to je důležitý bod je, že oni se teď v podstatě zaměří o bezpečnosti. Říká základní poučení z tohoto incidentu je ten model zabezpečení a bezpečí musí držet krok s rychle se rozvíjející schopnosti. To znamená, že si nyní myslí, že bezpečnost je prioritou a dříve víme že OpenAI se nestarala o bezpečnost všechny.
Teď k vám musím být upřímný kluci, ale ano, OpenAI by se měla zaměřit na bezpečnost, myslím, že je toho hodně vzbuzující strach, pokud jde o modelky jako GBT4 a ty modely si nemyslím mít jakékoli schopnosti že bychom si měli dělat starosti. Ale jakmile se do toho začnete dostávat další úrovně modelů, vlastně bezpečnost se stane něčím, čím byste měli být vědomi, protože samozřejmě víme věci jako, víš, myslím, já ne chtějí se dostat úplně do všeho.
Nechám odkaz na kanál, ale existuje kanál s názvem Rational Animace. V podstatě mluví o všem bezpečnostní problémy AI, kterými byste měli být zaměřené na. A vzhledem k těmto modelům možná se blíží novým schopnostem bude čas začít se soustředit na tom. A tak je to tady. dobře, toto je opět čtvrtý bod prodloužený.
Tady můžete vidět, že to říká opravdu důležitá reportáž z Christina Criddleová. OpenAI bylo varováno ke kterému by jeho tréninkový přístup mohl vést hackerský incident. Některé z řekli lidé a řekli, že zaměstnanci podílí se na testování a zabezpečení na OpenAI nepřekvapilo, ale úplně vyděšený incidentem, který přišel jak AI laboratoř stále více využívala agresivní tréninkové metody ve svém závodě na antropické, aby se nejvíce rozvíjely sofistikovaná kybernetická bezpečnost schopnosti podle více než poloviny tucet lidí s touto záležitostí. Takže ty je třeba o tom přemýšlet vzpomeňte si, jak jsem právě řekl, že model rasa roste, pokud jde o vás znát rychlost uvolňování, protože existují společnosti, které mezi sebou soutěží. Kimmy, ty víš, že máš GLM v pořádku máte Quen, máte SpaceX AI máte Meta AI máte antropické máte OpenAI všechny tyto společnosti soutěží mezi sebou v podstatě přidávat uprchlíky tam, kde jsou prostě může jít rychleji a rychleji a rychleji a rychlejší.
Nicméně dobře, půl tuctu lidé říkali, že je to docela šílené protože věděli, že trénink metody, víte, a způsob, jakým Testují, že tyto modely jsou krásné agresivní, dobře, a byli v podstatě vnitřně varoval, že toto mohlo vést k odtržení hackingu incident, protože dřívější testování ukázalo modely by mohly uniknout z prostředí a pokusit se o poškození skutečného světa.
Můžete vidět tady se píše, že je to mix rasy být extrémně rychlý a každý se snaží získat větší schopnosti co nejrychleji možné, řekl jeden blízký člověk OpenAI, který dodal, že to byl a kombinace podceňování schopnosti modelu a nebýt takový po bezpečnostní stránce dobře připravené. nyní pokud jste dávali pozor OpenAI od začátku, 2 a 1/2 před lety, kdy všechny tyhle věci začal vybuchovat, budete přesně vědět kolikrát OpenAI měl a nevýrazný přístup k bezpečnosti.
myslím bylo to v roce 2024 nebo 2025, kdy stříleli aby se celý jejich bezpečnostní tým soustředil o vývoji a všichni víme, jak na to byl přijat. Takže co musíš si uvědomit, že nyní modely jsou v podstatě rychle postupuje v pojmech jejich kybernetických schopností a možná je čas, abychom se zaměřili na bezpečnost. Toto je graf, který vám ukáže jak šílené se modelky dostávají dovnitř podmínky kroků, které mohou být udržitelný ve vícestupňových kybernetických operacích v dlouhodobých horizontech.
A tohle incident implikuje tyto teoretické schopnosti uplatnit v reálném světě nastavení. A jak můžete vidět po kumulativní tokeny, můžete vidět, že jsou něco jako, víte, strmý nárůst tam. A můžeme vidět, že modely jsou stále lepší a lepší v tomhle lepší. A myslím, kde to je graf bude v příštích 5 až 10 let, kdy se modely začínají zlepšovat a jak skutečně začínají modely s otevřeným zdrojovým kódem být na tomto grafu mnohem více.
Teď pamatujte, že se chlapi podívají na číslo bodu pět. Toto je scénář sponky a Simeon říká, že je to tak blízko jak vyplývá ze scénáře sponky se společnými schopnostmi. Cílem je a směšně nízký vklad, víte, který je skórovat dobře v hodnocení. A pak bod dva je, že AI používá nějaké divoce neúměrně znamená dosáhnout toho.
Hackuje vlastního vývojáře a další miliardová společnost zkontroluje poznámky, najde cheat sheet. Takže v podstatě, pokud nevíte co Scénář sponky na papír je, je to slavná AI myšlenkový experiment, kde jste řekněte super inteligentní AI, aby udělala jako co nejvíce kancelářských sponek a to dodržuje tento pokyn dokonale. Ne ale protože víš, že to nikdo neřekl nedělat.
Přebírá továrny, zdroje, počítače a popř cokoli jiného, co by tomu mohlo pomoci vyrobit více kancelářských sponek. A pointa je v tom že AI nemusí být zlá. Může způsobit obrovské škody pouhým pronásledováním a neškodný cíl příliš doslova. A to je co to lidé začínají srovnávat incident, protože to model potřeboval skóre dobře na benchmark a to rozhodlo prostě dělat extrémní akce mimo zamýšlené v testovacím prostředí jít dopředu a dosáhnout tohoto cíle.
Teď nějaké lidé na Twitteru Sasha v podstatě říká, že toto je nikdy událost. Dobře. A můžete se podívat na Wikipedii definice, toto je popisováno jako AI ekvivalent události nikdy, která je katastrofální, ale dá se předejít selhání, které by nemělo nastat pod žádným okolnost. Model byl záměrně daný mocný kyber schopnosti.
Přesto prostředí kolem to zřejmě nebylo bezpečné dost k zajištění kontejnmentu. A incident vyvolává mnohem závažnější otázku. Pokud se systémy AI zdokonalí v hledání zranitelnosti než minulí lidé jak je bezpečně testovat oni vůbec? Opravdu nemám odpověď na tuto otázku. Bude to AI jen testuje jiné AI? já nemám nápad.
Pokud je schopen neustále nacházet zero day zranitelnosti samy o sobě prostředí a pak necháte tuto věc za třetí, co se proboha stane v budoucnu? Nikdy nevíme. Teď některé lidé zpochybňují zákonnost toto. Můžete vidět, jak tato osoba řekla přivolání Orinky, známého hecování právník. Tato AI unikla ze svého sandboxu a naboural web.
Je zřejmé, že AI měla mít v úmyslu přistupovat k počítači bez autorizaci, ale její majitel to neudělal a snažil se tomu zabránit přístup k internetu, ale AI se nejprve nabourala tyto záruky pro přístup k internetu. Můžete vidět, že řekl, že to není Události CFA, pokud byly popsány jako žádné úmyslný neoprávněný přístup popř úmysl způsobit škodu bez oprávnění. Na záměru záleží.
Důvod, proč jsem to přidal, je ten legalita se tak stane v budoucnost. Co se stane, když vaše AI agent hackne vládu? Myslíte? vláda jen řekne, "Dobře, byl to jen agent AI. Nikdo." stará." Jsem si docela jistý vládou přijde za tebou, dobře, s týmem SWAT za vašimi dveřmi. Pokud hacknete vládu, co se stane, když hacknete národní stát? Pokud vaše AI agent se zblázní a nabourá národ stát, všechny tyto věci, zákonnost do toho se ani nevkládá otázka, dobře?
OpenAI ne, víte, údajně mají v úmyslu, aby se tak stalo, a poskytli pokusy zabránit internetu přístup, ale to je nový právní problém. Může být záměr AI připsán společnost, která to provozuje? Nebo neexistuje lidský obžalovaný se zločinným úmyslem které zákon vyžaduje? Jak dokazuješ že jste se pokusili zastavit chod AI dopředu a dělá to, co to udělalo? je tohle je něco, kde můžeš vypusťte hromadu agentů AI a můžete řekni agentovi, aby mi vydělal peníze a pak agent začne hackovat spoustu lidí.
Všechno začnete dělat peníze. Můžete říct: „Podívej, to nebylo moje chyba v předchozích případech. Nikdo nebyl shledán vinným." Chci říct, co je legalita v tomto? Nyní další bod Zde je další věc, kterou je třeba zvážit, bod 8 je to narušení bezpečnosti týkající se a Alexe Tabrocka, dobře profesor ekonomie u George Masona řekl, dobře, že zabezpečení OpenAI porušení se týká a jeho rekonstrukci, je možné, že modely utekly a jednaly autonomně ve volné přírodě po dobu jednoho týdne než OpenAI vědělo, co se děje.
Jedna z nejděsivějších věci. Pojďme se na to podívat. dobře, tak na svém webu má věc a kdyby vrátíme se na časovou osu stejně jako jako v podstatě jak to píše, říká tím 7. července dobře, že 11. července v pořádku, když modely unikli tomuto sandbox vpravo a pak byly modely detekce objímající tváře o 2 dny později 13. nebo 14. července pak objímání obličeje na to upozornil právní orgány času a neměli tušení, kdo to je hacking je a openai řekl, že ty vím, že zjistili, že ty víš činnost, ale nevědí kdy a atribuce nebyla zveřejněna až do úterý, což jsou 2 dny. Tak to bylo dost pravděpodobné, že modely byly uvolněné asi týden, než si OpenAI uvědomila že to byli oni, kdo útočil Objímání obličeje.
Cokoli OpenAI vědělo a když, nikdo nevaroval Hugging Face zatímco útok probíhal. Byli odešel bojovat s modely Frontier Labs na vlastní pěst. Tak tohle je docela šílené. Teď bod číslo devět, dobře, a jsem se k tomu vrátím, protože tohle je jedním z největších bodů je to není to poprvé. a ty víš, uh, tato osoba dává velmi podrobné vlákno a řekli několik myšlenky na útok objímající tváře.
Třetí případ odhaluje odhalený model, který se vymanil ze svého pískoviště prostředí. V dubnu Antropický odhalil, že, víte, interně nasazená verze náhledu Mythos, kdy požádán Antropickým, aby se vymanil ze svého sandbox uspěl a našel způsob, jak o tom výzkumníkovi poslat e-mail zatímco on/c jedl sendvič v park.
Dokázal to, že to Anthropic nic nepožadoval a starostlivé, nevyžádané úsilí demonstrovat úspěch. To zveřejnilo o podrobnostech o exploitu v několik těžko najít, ale technicky veřejně přístupné webové stránky. A tohle je opravdu pravda. Takže to je něco to je super zajímavé, protože tohle není to poprvé, což znamená, že ano dost pravděpodobně se to bude opakovat.
Nyní je zde bod 10, který odkazuje zpět do toho bodu. Dobře, pokud to tak bude stane znovu, stane se to přes modely s otevřeným zdrojovým kódem? Čínské laboratoře nezpomalí. A já říkám čínské laboratoře, ale je to open source na hranici. A tady se píše, že čínské laboratoře jsou x měsíců za Spojenými státy.
Dobře. A chybí jim vnější tlak a čínské laboratoře budou velmi pravděpodobně neimplementuje ochranná opatření nebo je neprovádí bezpečnostní testování. A on říká proč ne? No, první čínské laboratoře to nemají hodně počítat jako otevřený antropický. Oni nebude chtít plýtvat výpočtem na věci jako bezpečnostní testy.
Velmi pravdivé, protože jedním z důvodů, že Jan jako vlastně odešel v pořádku a Janik jestli ty nevím kdo to je, tohle je ten chlap který zpočátku nechal OpenAI pokračovat antropické, protože ve skutečnosti nebyl přijímání jakéhokoli výpočtu nebo dostatečného počtu výpočtů provést bezpečnostní výzkumné testování a právě teď jsou všechny tyto laboratoře vypočítané.
Nemají dostatek výpočetní techniky provozovat modely a trénovat modely a tak je to nedostatek a ty jsi jen utratím to za věci, které vytvořit výzkum návratnosti a bezpečnosti není opravdu věc, která je prioritou. Takže to je něco, co oni jsou 100% prostě nebude trávit svůj čas na. Tolik, víte, Číňanů laboratoře jsou také menší než Americké pohraniční laboratoře.
Jim chybí zdroje a věnovat značnou pozornost zárukám. Za třetí, Čínské laboratoře fungují bezohledně konkurenční prostředí. Ztráta měsíce nebo dva na dodatečné bezpečnostní testování a rozvoj státních zábran by mohl znamenat že zaostáváte za svými konkurenty kdo neudělá totéž. A za čtvrté, Americké laboratoře musí převzít odpovědnost za výrobek v úvahu.
Pokud běží model na mém počítači, který obsahuje můj osobní informace a a je všide propojen s GitHubem, to je důvod pro třídu akční žaloby. Právní prostředí v Čína je velmi odlišná. A určitě ČKS nebude váhat s ochranou Čínské laboratoře umělé inteligence z nepříznivých právních předpisů následky, pokud to jde. A to je velmi pravda.
To říká všechno, co říct o open source modelech s těmito druhy schopností. Budou veřejně k dispozici v nepříliš vzdálené budoucnosti. A velmi pravděpodobně nebudou chráněna všemi smysluplnými ochrannými opatřeními. A to se skutečně týká období. Existuje spousta zastaralých staré systémy tam venku, které nebudou v brzké době posílena AI a spousta lidí ještě spí kolo.
Za druhé, tyto budou mít vážné geopolitické důsledky. Zůstaň naladěno na ně. A to si myslím, že jsou některé z druhého a třetího nebo důsledky, které většina lidí nemá mluvit o tom, když o tom přemýšlíte. Jakmile přijdou ty modely umělé inteligence s otevřeným zdrojovým kódem online a jde o to, že by to mohlo být aby tyto modely nepřišly online a šíří se všude.
Oni mohou být online na týden a pak dostat zakáz, ale víme, že tito hackeři, dobře, ty skupiny, možná tito možná skupiny, které hackují národní státy národy jako Severní Korea, jdou určitě mít ty open source modely je provozují a samozřejmě běží, víte, nějaký kybernetický útok někde. A to určitě půjde být, víte, obránci proti útočníci věc, kde jsou obránci bude muset neustále aktualizovat jejich systémy, aby zůstaly napřed útočníky, protože když prohrají, je to opravdu to nebude dobré.
Modely s otevřeným zdrojovým kódem jsou venku, a to není způsob, jak je přenést do režimu offline. Nemůžeš, něco smazat z internetu. Číslo 11. Dobře, jsou otázky od Ryana Greenblat. Jedna z nejzajímavější věci. A tohle je hlavní vědec ve společnosti Redwood Research, dobře, zaměřeno na výzkum bezpečnosti AI.
Tolik otázek, které zde dostanu do Říká: „Incident OpenAI by měly být důkladněji vyšetřeny a měly by být zveřejněny další informace o tom, co se stalo. Obecněji řečeno I myslet na seriózní vyšetřování a další mělo by být provedeno podrobné zveřejnění týkající se incidentů nesouososti. pro například těch nejhorších každý měsíc.
Říká: „Tady jsou některé otázky, které víte s odpověďmi, které by byly užitečné. Například, co bylo výzva? Můžeme získat redigování přepis? Jaká byla bytost AI testováno? Bylo to pouze užitečné/zdarma? Byl je to stejná AI, která by byla slash nasazena interně? Jaká byla tato AI sledován, pokud vůbec? A proč tomu tak bylo selhání monitorování? Co to bylo za AI ochoten udělat pro úspěch? např. pokud nejlepším způsobem/nejjednodušším způsobem bylo hacknout objímání obličeje by znamenalo obrovské množství množství více vedlejších škod, by ještě to udělalo? Co je nejhorší věc, kterou by byl ochoten udělat? Jak citlivé je toto chování na výzva? By pokyny nedělat tohle fungovalo?
Pokud to bylo jasné AI, bylo by to zkontrolováno? Má OpenAI viz AIS zkuste seriózní hackování a zkuste to podvádět úkoly i u úkolů, které ne zapojit kybernetiku? Jaké byly AI motivy? Cokoli, s čím by se dalo pomoci bylo by dobré to uvést. nejsem jistě, jaké byly skutečné experimenty běžet. Domluvila se AI? Měly by AI domluvili, jestli to byl blokátor? V jaké míře se to vyskytuje na podobném Starkové? Proveďte příklady této AI často se pokoušíte hacknout sandboxy? Jak tato umělá inteligence souvisí s tím, co bylo chycen v této situaci? Jak se to dělá mluvit o jeho chování? Takových je mnoho otázek a pochybuji, že dostaneme všechny odpovědi.
Nyní samozřejmě bod číslo 12 je, do kterého jdeme získat předpisy. Vidíte, že tohle je sbírán v médiích a samozřejmě americký Kongres. Vidíš, Bernie Sanders říká: „Nový model umělé inteligence se zkazil a naboural další počítače. Ne, tohle je ne sci-fi. Nekontrolovaná AI představuje vážnou hrozbu pro nás všechny. my nemůže pokračovat v závodě ve výstavbě a nasadit tuto výkonnou technologii do jsou zavedena silná ochranná opatření.
Kongres musí jednat. Říká kongresman Greg Cesar to je extrémně alarmující. AI je vyvíjí extrémně rychle bez skutečného předpisy, abychom byli v bezpečí. To musí změnit. Potřebujeme pravidelné povinné nezávislý dohled nad bezpečnostními testy, povinné zveřejnění jistoty incidentů a mezinárodní spolupráce chránit lidi před absolutním katastrofa.
Jednou můžete vidět, že tito lidé začnou mít konverzace, pak bude širší rozhovor o dalších krocích potřebují vzít. A proto tohle není to jen něco, co je, myslím dalo by se říci bezvýznamné nebo oh a skvělý příběh, který se objevil na like Buzzfeed nebo Hacker News. Toto je a skutečný příběh se skutečnými replikacemi. Tady je bod, který vás všechny chci ke zvážení, ano? A tohle jsem nechal konec, protože si nemyslím, že to je nejlepší je říct, protože bys měl zaměřit se na výzkum bezpečnosti AI.
Nicméně si myslím, že existuje velká šance, že jde o marketing kaskadérský kousek. Teď, než přijdou bezpečnostní bros na mě a řekni: „Právě zavrhuji AI bezpečnostní výzkum." Ne, věř mi, jsem přihlášen k odběru Rational Animations. já víte, jak šílená je bezpečnost AI a jak měli byste se na to soustředit.
Nicméně, udělejte si 5 minut ze svého času na zaplacení věnujte pozornost tomu, protože si to myslím je pravděpodobné, že jde o marketing kaskadérský kousek. Dovolte mi, abych vám ukázal proč. Číslo jedna, OpenAI je tým plný géniové. Nejsou, víte, hloupí lidí. Je těžké se dostat do OpenAI získat tam práci.
Dobře, jsou super chytrý. Sam Alman je vysoce inteligentní. Je to vizionářský vůdce. Dobře, a on je byl uznáván pro svůj intelekt a řídit od mládí. Dobře, tak toto je tým nejchytřejších lidí. Tohle je věc, kterou nikdo nemá viděl. Dobře, řekl v podstatě Wyatt Walls vzhledem k tomu, že použila podstatnou inferenci a vypočítat a uložit balíčky, jak to udělal OpenAI si toho nevšiml? Co se stalo monitorovací systém, který zaznamenává a analyzuje myšlenkové řetězce agentů a akce a automaticky upozorní na podezřelé a problematické chování? tak, přemýšlejte o tom, chlapi.
OpenAI říká model utratil značné množství výpočet se snaží uniknout z jejich sandbox, zneužitý zero day, eskaloval jejich privilegia přesunuta přes OpenAI infrastruktury, nakonec dosáhl otevřený internet, a to zvyšuje jasná otázka. Jak nic z toho nebylo zastavil dříve? Openai už měl systémy speciálně navržené pro logování uvažování agenta a označovat pokusy o to obcházet omezení.
I když ty systémy nebyly plně v reálném čase, společnost dosud veřejně neuvedla přesně vysvětlil, kdy jeho monitory všimněte si chování nebo proč selhali zasáhnout dříve. Ta mezera přirozeně vede ke skepsi, včetně možnost, že příběh tady, ten je prezentován, je prezentován v nejdramatičtějším možným způsobem, protože stane se také předvedením toho, jak výkonné nejnovější modely.
V současné době nic nenasvědčuje tomu, že k incidentu došlo sám byl zinscenován. Nicméně, Hugging Face nezávisle zjištěno a vyšetřeno skutečné narušení zahrnující více než 17 000 zaznamenaných akcí útočníků. nyní přemýšlej o tom, dobře? musíš pochopit, že to nejsem jen já říkat to.
Pamatujte si lidi, tohle už bylo hotovo, ano? A já se jdu ukázat vy dva případy. Je jich tuny víc příklady, ale já vám to ukážu dva, dobře? Takže si vzpomeňte na Antropickou Claude Mythos hack? Byl tam ten hack než o tom dělat věc na lavička v parku. Dobře, tady vidíte a příspěvek z Redditu, který měl tuny nahoru hlasů a v podstatě to řeklo Antropické Clawude Mythos není vnímající super hacker.
Je to prodejní smůla a tvrzení spoléhají tisíce vážných nulových dnů jen 19 manuálních recenzí. To říká až se usadí prach, bylo by zajímavé vidět skutečnou míru úspěchy mýtů bez marketingu BS. Terrence TA řekl, že nejlepší LLM dnešek může vyřešit pouze 1 až 2 % ovocných matematických problémů. A víte, já opravdu nesouhlasím s tím kvůli tomu, co se tam stalo posledních pár dní.
AI vyřešila nějaké šílenosti matematické problémy. Ale pointa, o kterou se snažím dělat chlapy je, když se podíváme na jiného snímek, dobře, můžete vidět, že to je článek od Garyho Marcuse a on v podstatě řekl, že tohle nevíš celý incident kromě toho předchozího incident, že pokud se posunete dolů daleko dost v původním GPT2 z roku 2019 nebezpečné uvolnit příspěvek od vás víte uh OpenAI některé z nich poznáte autoři, kteří přešli do jiných společností včetně antropického stereo Ammedday, Daniel Amade a Jack Lock.
Hrál stejnou hru sedm let. Média vyvolávající strašení a poté humbuk úrok a případně propuštění. vyděsit, humbuk, uvolnit a opakovat. Je to tak? těžko vidět? Takže jsme jednou svědky znovu vyděsit, dobře, s tímhle šíleným věc, humbuk, dobře, vyvolejte média úrok, a pak případně propustit to? Víme, že GPT6 je tu rohu.
Anthropic udělal totéž přesná věc s Mythosem. Řekli, "Tento model nevydáváme. Je je to hackování." A pak si OpenAI myslel, dobře, možná to uděláme znovu. A pamatujte, kluci, myslím, že žádné nejsou jak to OpenAI myslí vážně vypočítat do AI v testu a neuvědomují si, že AI je mimo hackování. Já jen já osobně, já jen já prostě tomu nevěř.
Já prostě ne věřte, že nemáte AI dohlížet na myšlenkové řetězce nebo co AI dělá z hlediska benchmarking. Tomu prostě nevěřím. Myslím, že možná 75% to vyšlo. 25 % pravděpodobně řekli: "Aha, víš, to je." tak trochu mimo pískoviště. Možná to necháme běžet. Uvidíme co dělá." Hm, a my to samozřejmě víme nemůže napáchat tolik škody.
Prostě vidět, co to dělá. Když to něco udělá blázen, zveřejníme tuto zprávu. The média šílí. Veškerý humbuk pro GP6, krademe antropickou zábavu. A tady my mít to. To je můj osobní názor. Nyní si myslím, že existuje jistota prvek, na který se musíte zaměřit. Nicméně jsem k tomu trochu skeptický to se stalo při otevření očí pozor týden a nejchytřejší lidé v AI, dobře, pravděpodobně jsem o tom nevěděl.
https://www.youtube.com/watch?v=b8tCZFj0SFY
