Överdrifterna kring artificiell intelligens, AI, USA:s nu misslyckade försök att monopolisera denna teknik och den senaste tidens motreaktion från Kina är en lektion i hur man innoverar.
De visar också att USA håller på att förlora denna förmåga, skriver signaturen Moon of Alabama.
I mitten av 2023, när hajpen, dvs. överdrifterna kring artificiell intelligens skapade rubriker, skrev jag:
För närvarande pågår en viss hajp om en familj av storskaliga språkmodellerare, bl a ChatGPT. Programmet läser naturliga språkinmatningar och bearbetar dem till ett relaterat naturligt språkinnehåll. Det är inte något nytt.
Den första artificiella lingvistiska Internet-datorenheten (Alice) utvecklades av Joseph Weizenbaum på Massachusetts Institute of Technology (MIT) i början av 1960-talet. Jag hade roliga konversationer med ELIZA på 1980-talet, på en stordatorterminal.
ChatGPT är lite smartare och dess repetitiva resultat, dvs. de ”konversationer” som den skapar, kan mycket väl förvåna vissa människor. Men hypen kring detta är obefogad.
För närvarande är den faktiska korrektheten i resultaten från de bästa storskaliga språkmodellerna uppskattningsvis 80%. De hanterar symboler och mönster, men har ingen förståelse för vad dessa symboler eller mönster representerar. De kan inte lösa avancerade matematiska och logiska problem, ibland inte ens mycket grundläggande sådana.
Det finns nischade tillämpningar, t.ex. översättning av skrivna språktexter, där AI eller mönsterigenkänning ger vissa resultat. Men man kan ändå inte lita på att de får med varje ord, än mindre på att översättningen, som ofta styrs av kontexten, blir korrekt. Modellerna kan vara en hjälp, men du måste alltid rätta resultaten.
Sammantaget är precisionen i dagens AI-modeller fortfarande alldeles för låg för att de ska kunna lösa verkliga problem. Mer data eller mer datorkraft kommer inte att ändra på detta. Om man vill övervinna dessa begränsningar måste du hitta några fundamentalt nya idéer.
Men hajpen fortsatte. En stor AI-modell, ChatGPT, togs fram av en ideell organisation, OpenAI. Men dess VD, Sam Altman, fick snart upp ögonen för de stora pengasummor han kunde tänkas tjäna. Ett år efter att ha försvarat OpenAI:s icke-vinstdrivande struktur gjorde Altman i praktiken en kupp i styrelsen och privatiserade organisationen:
ChatGPT-skaparen OpenAI arbetar med en plan för att omstrukturera sin kärnverksamhet till ett vinstdrivande företag, som inte längre kommer att kontrolleras av den ideella styrelsen, säger personer som är bekanta med ärendet till Reuters, allt ett drag som kommer att göra företaget mer attraktivt för investerare.
VD:n Sam Altman kommer också att få ägarandelar för första gången i det vinstdrivande företaget, som kan vara värt 150 miljarder dollar efter omstruktureringen, eftersom man också försöker ta bort taket på utdelningar till investerare, tillade källor.
Den stora språkmodellen ChatGTP som OpenAI levererade fick sluten källkod. En svart låda som kördes i molnet och som man kunde betala för att chatta med eller använda för att översätta, generera innehåll eller analysera vissa problem.
Att utbilda och underhålla ChatGTP krävde mycket datorkraft och pengar. Det var dyrt, men det fanns ingen ny teknik i det. De algoritmer som användes var välkända och den träningsdata som behövdes för att ”programmera” det var fritt tillgängligt internetinnehåll.
Trots all hype kring AI är det inte en hemlig eller ens ny teknik. Inträdeshindren för all konkurrens är låga.
Det var därför Yves i Naked Capitalism, med hänvisning till Edward Zitron, frågade: ”Hur ska OpenAI kunna överleva?” Det gör det inte. Eller har små chanser att göra det. Diskussionerna i USA tog aldrig hänsyn till dessa fakta.
Politikerna såg AI som nästa stora grej som skulle främja den amerikanska kontrollen över världen. De försökte förhindra all potentiell konkurrens om det försprång som USA trodde sig ha på området. Nvidea, USA:s sista ledande chiptillverkare, förlorade miljarder när företaget förbjöds att sälja sina senaste AI-specialiserade modeller till Kina.
För två dagar sedan tillkännagav Trump projektet Stargate, en investering på 500 miljarder dollar i AI-infrastruktur i USA :
Tre ledande teknikföretag meddelade på tisdagen att de kommer att skapa ett nytt företag, kallat Stargate, för att bygga ut infrastrukturen för artificiell intelligens i USA.
OpenAI:s VD Sam Altman, SoftBanks VD Masayoshi Son och Oracles ordförande Larry Ellison dök upp i Vita huset på tisdagseftermiddagen, tillsammans med president Donald Trump, för att presentera företaget, som Trump kallade ”historiens största AI-infrastrukturprojekt”.
Bolagen kommer att investera 100 miljarder dollar i projektet initialt, med planer på att investera upp till 500 miljarder dollar i Stargate under de kommande åren. Projektet förväntas skapa 100 000 amerikanska jobb, sa Trump.
Stargate kommer att bygga ”den fysiska och virtuella infrastrukturen för att driva nästa generations AI”, inklusive datacenter runt om i landet, sa Trump. Ellison sa att koncernens första dataprojekt på 1 miljon kvadratmeter redan är under uppförande i Texas.
Vi introducerar vår första generations resonerande modeller, DeepSeek-R1-Zero och DeepSeek-R1. DeepSeek-R1-Zero, en modell som utvecklats via storskalig förstärkningsinlärning (RL) och som ett preliminärt steg utan övervakad finjustering (SFT), visade anmärkningsvärda resultat när det gäller resonemang. Med RL utvecklades DeepSeek-R1-Zero naturligt och kunde uppvisa en rad kraftfulla och intressanta resonemangsbeteenden.
De nya DeepSeek-modellerna har bättre jämförelsevärden än någon annan tillgänglig modell. De använder en annan kombination av tekniker, mindre träningsdata och kräver mycket mindre datorkraft för att uppnå detta. De är billiga att använda och har, till skillnad från OpenAI, öppen källkod.
Forbes skriver:
USA:s exportkontroller mot avancerade halvledare var avsedda att bromsa Kinas AI-framsteg, men de kan i själva verket oavsiktligt ha stimulerat innovationer. Företag som Hangzhou-baserade DeepSeek har inte kunnat förlita sig enbart på den senaste hårdvaran och därför tvingats hitta kreativa lösningar för att göra mer från mindre.
Den här månaden släppte DeepSeek sin R1-modell som använder avancerade tekniker som ren förstärkningsinlärning för att skapa en modell som inte bara är bland de mest formidabla i världen, utan som har helt öppen källkod, vilket gör den tillgänglig för alla i världen att undersöka, modifiera och bygga vidare på.
DeepSeek-R1:s prestanda är jämförbar med OpenAI:s bästa resonemangsmodeller för att lösa en rad olika uppgifter, inklusive matematik, kodning och komplexa resonemang. Till exempel fick DeepSeek-R1 79,8 % på AIME 2024-jämförelsen för matematik jämfört med OpenAI-o1:s 79,2 %. På MATH-500 uppnådde DeepSeek-R1 97,3% jämfört med o1:s 96,4%. I kodningsuppgifter nådde DeepSeek-R1 96,3-de percentilen på Codeforces, medan o1 nådde 96,6:te percentilen - även om det är viktigt att notera att jämförelseresultaten kan vara ofullkomliga och inte bör övertolkas.
Men det som är mest anmärkningsvärt är att DeepSeek kunde uppnå detta till stor del genom egna innovationer snarare än genom att förlita sig på de senaste datachipen.
Även Nature är imponerad:
En kinesiskbyggd stor språkmodell som heter DeepSeek-R1 ses av forskare som en spännande, prisvärd och öppen rival till ”resonerande modeller” som OpenAI:s o1.”Detta är häftigt och helt oväntat”, skrev Elvis Saravia, en AI-forskare och medgrundare av det brittiska AI-konsultföretaget DAIR. AI, på X.
R1 sticker ut av en annan anledning. DeepSeek, det nystartade Hangzhou-företaget som byggde modellen, har släppt den som ”open weight”, vilket innebär att forskare kan studera och bygga vidare på dess algoritm. Modellen publiceras under en MIT-licens och kan återanvändas fritt, men anses inte vara helt öppen källkod eftersom dess träningsdata inte har gjorts tillgängliga.
”Öppenheten i DeepSeek är ganska anmärkningsvärd”, säger Mario Krenn, chef för AI-laboratoriet vid Max-Planck-Institut für die Physik des Lichts i tyska Erlangen. Öppenheten kan jämföras med o1 och andra modeller som byggts av OpenAI i San Francisco, inklusive dess senaste version o3, som ”i huvudsak är svarta lådor”, säger han.
Även långsiktiga internetinvesterare, som har sett allt, är imponerade:
Marc Andreessen 🇺🇸 @pmarca - 9:19 UTC · Jan 24, 2025
Deepseek R1 är ett av de mest fantastiska och imponerande genombrott jag någonsin har sett - och genom sin öppna källkod är det en verklig gåva till världen. 🤖🫡
DeepSeek har inte släppt hela kostnaden för att träna R1, men den som vill använda dess gränssnitt behöver bara betala en trettiondel av vad o1 kostar att köra. Företaget har också skapat ”destillerade” miniversioner av R1 för att göra det möjligt för forskare med begränsade datorresurser att leka med modellen.
Och det fungerar faktiskt!
Brian Roemmele @BrianRoemmele - 14:34 UTC · Jan 23, 2025
Gänget, jag tror att vi har gjort det!Om tester som gjorts över natten bekräftas så har vi DeepSeek R1 som med ÖPPEN KÄLLKOD, kör med 200 tecken per sekund på en ICKE-INTERNET-ansluten Raspberry Pi.En rejält bättre AI än ”OpenAI”, helt ägd av dig i fickan, fri att använda!Jag kommer att göra Pi-resultatet tillgängligt så snart alla tester är slutförda.Du sätter bara in den i en Raspberry Pi och du har AI!Det här är bara början på den kraft som uppstår när du använder en VERLIGT öppen källa i en AI-modell.
Den senaste Rasberry Pi-hårdvaran kostar från 50 dollar och uppåt. Programvaran är gratis.
Här klämtar en dödsklocka för OpenAI:
Arnaud Bertrand @RnaudBertrand - 14:23 UTC · Jan 21, 2025
De flesta människor inser förmodligen inte hur dåliga nyheter Kinas Deepseek är för OpenAI.
Kineserna har skapat en modell som matchar och till och med överträffar OpenAI:s senaste modell o1 i en rad olika jämförelse, och den kostar bara 3 % av OpenAI:s pris.KDet är i princip som om någon hade släppt en mobiltelefon i nivå med iPhone, men sålt den för 30 dollar istället för 1 000 dollar. Det är så dramatiskt.Dessutom släpper de det hela som öppen källkod, så du har till och med möjlighet - som OpenAI inte erbjuder - att skippa deras gränssnitt (API) alls och köra modellen ”gratis” själv. ...
DeepSeeks bakgrundshistoria är också fantastisk.
År 2007 bestämde sig tre kinesiska ingenjörer för att bygga en kvantfond (finansiell spekulationsfond) med hjälp av AI. De anställde hungriga människor, nyutexaminerade från universitetet. Deras ”High-flyer”-fond var till viss del framgångsrik, men under senare år började den kinesiska regeringen slå ner på finansteknik, kvanthandel och spekulation.
Med gott om tid och tillgång till oanvänd datorkraft började ingenjörerna bygga DeepSeek-modellerna. Kostnaderna var minimala. Medan OpenAI, Meta och Google spenderade miljarder på att bygga sina AI, var utvecklingskostnaderna för de publicerade DeepSeek-modellerna bara 5 till 6 miljoner dollar.
Henry Shi @henrythe9ths - 23:20 PM · Jan 20, 2025
7. Den lärdom vi dragit.
Att ha mindre resurser innebär ibland att man kan innovera desto mer. DeepSeek bevisar att du inte behöver:
- Miljarder i finansiering
- Hundratals doktorer
- En lysande karriär
Det enda som behövs är några briljanta unga hjärnor, modet att tänka annorlunda och beslutsamheten att aldrig ge upp
En annan lärdom är att briljanta unga hjärnor inte bör slösas bort på att optimera finansiell spekulation, utan i stället ska användas för att skapa saker som man kan använda.
DeepSeek visar att det är omöjligt att via handels- och teknikhinder hålla teknik borta från konkurrenter. Man kan, med rimliga resurser, helt enkelt innovera sig runt hindren.
Trots miljarder dollar, högljudda marknadsförare som Trump kan självgoda och skrytsamma bedragare som Sam Altman inte framgångsrikt konkurrera med ett team av välutbildade ingenjörer.
Som en skribent på kinesiska nyhetssajten Guancha noterar (maskinöversättning):
I vetenskaps- och teknikkriget mellan Kina och USA uppstår Kinas unika fördel just ur det amerikanska förbudet. Man kan säga att vår starka vilja att överleva tvingats fram av Washington, och att maximera våra begränsade resurser är hemligheten bakom våra framsteg. I historien är detta inte något nytt, det vill säga att den svage segrar över den starke och att den lille kämpar mot den store.
Den amerikanska sidan kommer att hamna i ett Vietnam-liknande dilemma - att förlita sig för mycket på sin egen absoluta fördel vilket innebär att man slösar bort en massa resurser och till slut förtär sig själv.
Inga kommentarer:
Skicka en kommentar
Underteckna med ditt namn.