dieses video könnte man durchaus als KI 101 be­zeich­nen. der gast dieser folge startalk mit neil degrasse tyson und seinen beiden sidekicks ist geoffrey hinton, der letztes jahr für seine grund­la­gen­for­schung zu neu­ro­na­len netz­wer­ken den physik no­bel­preis bekommen hat. er erklärt ein paar der grund­la­gen kündt­li­cher neu­ro­na­ler netzwerke und warum er denkt dass KIs bereits denken. zu den grund­la­gen fand ich folgendes fas­zi­nie­rend:

das mensch­li­che gehirn hat ungeführ 100 tril­lio­nen (noronale) ver­bin­dun­gen. wenn man das mit dem zeitraum den wir leben ver­gleicht (um die 2,5-3 mil­li­ar­den sekunden), kann man sagen: wir haben sehr viele ver­bin­dun­gen, aber wenig erfahrung.

bei den neu­ro­na­len netzen die wir derzeit zu bauen imstnde sind ist das umgekehrt. sie haben ca. 1 milliarde ver­bin­dun­gen (viele LLMs haben sehr viel weniger weniger), was ungefähr 1% der ver­bin­dun­gen sind, die menschen haben. dafür haben diese künst­li­chen neu­ro­na­len netze und LLMs viele tausend mal mehr er­fah­re­nun­gen.

die grenzen an die heutuge LLMs stossen hängen (laut geoffrey hinton) vor allem damit zusammen, dass sie auf er­fah­run­gen basieren die wir auf­ge­schrie­ben haben. eine go KI, die aus er­fah­run­gen echter go-experten/meister gelernt hatte, war immer etwas schlech­ter als die mensch­li­chen experten. un­schöag­bar wurden diese KI-systeme als sie anfingen gegen sich selbst zu spielen, sich ihre er­fah­run­gen also selbst bei­gebracht haben. das dürfte auch de weg sein, wie LLMs klüger werden, meint geoffrey hinton.

wirklich se­hens­wert, wenn man KI abseits des hypes und gegen-hypes etwas besser verstehen möchte.