dienstag_01 hat geschrieben: ↑Mi 12 Nov, 2025 20:45
Alles, was existiert, kann analysiert werden und steht damit früher oder später generativen Modellen zur Verfügung.
Das ist ein weiterer Punkt. Eben nicht. Bei Analysen zeigte sich z.B., daß die neueren LLMs bei komplexen Aufgaben nicht besser wurden, sondern schlechter und zwar derart, daß die Erfolgsrate mancher LLMs gegen Null geht. Noch ein Punkt: Bereits wenige "schlechte" Daten können den Rest quasi "vergiften", der relevant ist, dabei bedeutet schlecht nicht gleich z.B. niedrige Auflösung, sondern auch bspw. widersprüchlich zum Rest, was man so nicht erkennen kann. "LLMs generate text at the token level through an auto-regressive process: given the prior tokens, the model predicts the next token in the sequence. What’s concerning is how quickly these errors can multiply. For example, even a tiny 1% error rate per token can escalate exponentially into an 87% chance of error by the 200th token."
Es gibt auch ein oberes limit was die Menge an Trainingsdaten betrifft, auch wenn dieser recht hoch scheint. Da dies zugleich auch eine Kostenfrage ist...