ja, man könnte sein blog auch zuhause hosten. wojtek powiertowski zeigt wie er es macht. ich finde das wahnsinnig interessant, aber bin froh dass es auch anders geht.
archiv: 2026 ×
Turns out that LLMs are good at de-anonymization:
Attention taken to its highest degree, is the same thing as prayer.
— Simone Weil
bürgerwiese
neues vorhaben, nachdem ich mit diesem checkin auf swarm zum „mayor“ der bürgerwiese geworden bin: jeden tag (an dem ich an der bürgerwiese vorbeikomme) ein bild und einen checkin an diesem baum. das ist langweilig, aber ergibt bestimmt ne schöne …
dieses video könnte man durchaus als KI 101 bezeichnen. der gast dieser folge startalk mit neil degrasse tyson und seinen beiden sidekicks ist geoffrey hinton, der letztes jahr für seine grundlagenforschung zu neuronalen netzwerken den physik nobelpreis bekommen hat. er erklärt ein paar der grundlagen kündtlicher neuronaler netzwerke und warum er denkt dass KIs bereits denken. zu den grundlagen fand ich folgendes faszinierend:
das menschliche gehirn hat ungeführ 100 trillionen (noronale) verbindungen. wenn man das mit dem zeitraum den wir leben vergleicht (um die 2,5-3 milliarden sekunden), kann man sagen: wir haben sehr viele verbindungen, aber wenig erfahrung.
bei den neuronalen netzen die wir derzeit zu bauen imstnde sind ist das umgekehrt. sie haben ca. 1 milliarde verbindungen (viele LLMs haben sehr viel weniger weniger), was ungefähr 1% der verbindungen sind, die menschen haben. dafür haben diese künstlichen neuronalen netze und LLMs viele tausend mal mehr erfahrenungen.
die grenzen an die heutuge LLMs stossen hängen (laut geoffrey hinton) vor allem damit zusammen, dass sie auf erfahrungen basieren die wir aufgeschrieben haben. eine go KI, die aus erfahrungen echter go-experten/meister gelernt hatte, war immer etwas schlechter als die menschlichen experten. unschöagbar wurden diese KI-systeme als sie anfingen gegen sich selbst zu spielen, sich ihre erfahrungen also selbst beigebracht haben. das dürfte auch de weg sein, wie LLMs klüger werden, meint geoffrey hinton.
wirklich sehenswert, wenn man KI abseits des hypes und gegen-hypes etwas besser verstehen möchte.
DIY perks baut eine sehr, sehr helle tachenlampe und es macht (mir) — wie immer — sehr grosses vergnügen dabei zuzuschauen.
heiko ist auf dem richtigen weg: man muss seinem RSS sehr viel aufmerksamkeit und liebe schenken um damit die aufmerksamkeit der RSS lesenden (ein bisschen) zu belohnen. denn RSS leser und leserinnen sind die besten und treuesten begleiter aller die ins internet schreiben.