craw­ling, le­sen, frü­her

ges­tern abend, kurz be­vor ich ins bett ge­hen woll­te, sah ich hohe CPU last auf dem ser­ver auf dem wir­res.net läuft. nor­ma­ler­wei­se (re-) ak­ti­ve­re ich dann kurz cloud­fla­re (was ich nor­ma­ler­wei­se de­ak­ti­viert habe) und die un­höf­li­chen AI-craw­ler, die mei­ne mei­ne sei­te mit an­fra­gen be­schies­sen, ver­schwin­den dann re­la­tiv schnell. ges­tern schien das ak­ti­vier­te cloud­fla­re nicht viel aus­zu­rich­ten. die last blieb hoch. erst als ich das caching und die AI-craw­ler-ab­wehr auf sehr ag­gres­siv um­stell­te, ging die last run­ter.

das heisst wohl zwei­er­lei: die craw­ler schei­nen et­was ge­schick­ter dar­in zu wer­den, sich als le­gi­ti­me be­su­cher aus­zu­ge­ben, sind aber wei­ter­hin viel zu ag­gres­siv oder nach­läs­sig pro­gram­miert. ich hab ja nichts da­ge­gen, wenn die mei­ne sei­ten in­de­xiert wer­den. von such­ma­schi­nen, AI-craw­lern oder me­cha­ni­schen tür­ken. aber ich wür­de mir schon wün­schen, dass sie sich an die re­geln hal­ten oder zu­min­dest höf­lich blei­ben. ich habe vor al­lem kei­ne lust, die gan­ze zeit die cloud­fla­re schutz­wäl­le hoch­ge­zi­gen zu las­sen oder AI-la­by­rin­the auf­zu­stel­len.

je­den­falls stol­per­te ich ges­tern abend bei mei­nem kon­troll­gän­gen über mei­ne web­site über die­sen fast 20 jah­re al­ten bei­trag: ich nen­ne es le­sen

der bei­trag er­in­ner­te mich dar­an, dass „wir nen­nen es ar­beit“ jetzt schon 20 jah­re alt ist, dass ich seit 2006 ei­nen you­tube-ka­nal mit 63 abon­nen­ten habe und ein­mal ein vi­deo ver­öf­fent­licht habe, das > 100k views ein­ge­sam­melt hat.

• 

• 

und weil alex matz­keit mir, der kalt­mam­sel und fran­zi auf der re­pu­bli­ca die fra­ge „wie war es da­mals wirk­lich?“ stel­len wird, fiel mir die of­fen­sicht­li­che ant­wort wie­der ein: da­mals war es ge­nau­so wie heu­te. aus­ser dass wir et­was jün­ger wa­ren. es gab et­was we­ni­ger craw­ler und das hos­ting war eine spur ein­fa­cher, aber es gab und gibt ge­nau so viel oder we­nig in­ter­es­se von ech­ten men­schen an in text-, au­dio- oder vi­deo­form ge­logg­ten in­hal­ten wie heu­te.

goog­le fand blogs da­mals to­tal gut und schick­te ge­le­gent­lich be­su­cher vor­bei, die dann ir­ri­tiert wie­der ab­zo­gen. heu­te schickt goog­le nur noch leu­te vor­bei, die sich für re­zep­te in­ter­es­sie­ren.

was ge­blie­ben ist: blog­gen ist wei­ter­hin ein rand­phä­no­men. und das ist auch nicht wei­ter schlimm. im ge­gen­teil.