Alt, aber immer wieder beeindruckend zu sehen: Arithmetik mit Wörtern. Hier mit unserem GPT-2-Class-Modell und Tokenizer (Credits gehen an @surbaniak, der hat den trainiert) Nanoschnack https://github.com/nanoschnack/nanoschnack/ trainiert nur mit deutschen Texten.
Technisches Detail: dachte es funktioniert nicht. Aber das Leerzeichen vor den Wörter wird mitgelernt beim Tokenizer. Er kennt kein 'Vater', nur ' Vater'.
Mehr am Donnerstag in Heidelberg: https://community.cncf.io/events/details/cncf-cloud-native-heidelberg-presents-building-a-gpt-2-model-from-scratch-nanoschnack/cohost-cloud-native-heidelberg/

