Ist vielleicht nicht immer gut, wenn man z.B. nicht einfach nur immer die Standardsachen vom Browser nutzen möchte, sondern bessere Komponenten, würde der es nicht vorschlagen, aber man kann es ja vielleicht für solche Sachen dann ausschalten.

@Shuhib Siddiqi Speed.Codes ja klar, aber man möchte natürlich auch ein gutes Ergebnis und nicht unbedingt das mit den wenigsten Tokens, das meinte ich. Bei Caveman ist die Idee ja, dass man unnötige Sprachbestandteile weglässt und das Ergbnis gleich bleibt.

@Shuhib Siddiqi Speed.Codes Kommt auf die Limits an, ich nutze viel Codex gerade im Abo, da sind die recht großzügig.

@Shuhib Siddiqi Speed.Codes Für eine eigene App meinst Du? Ok, verstehe, aber da habe ich gerade keinen Bedarf, wäre höchstens was für AI Coding, aber da habe ich schon einige.

@Shuhib Siddiqi Speed.Codes Klar, hier geht es aber um kleine Modelle, bei denen oft die Agenten die Tool-Calls nicht hinkriegen (Edit z.B.), einige halt besser als andere. Im Video war Cline der knappe Gewinner, bei dem es am wenigsten Tool-Call-Fehler gab.

@Shuhib Siddiqi Speed.Codes Danke, kannst es gerne weitersagen ;)

@Shuhib Siddiqi Speed.Codes Ok, mal sehen, vielleicht mache ich noch einmal einen Vergleich der kostenlosen LLMs, aber ich glaube das wechselt auch immer mal wieder und man hat auch kleine Limits.

@Shuhib Siddiqi Speed.Codes Ja, aber die kleinen Modelle werden immer besser bzw. man kann sie mit cleveren Techniken halt klein machen. Es gibt auch schon 1 Bit Quantisierung, aber die muss man von Grund auf neu trainieren, d.h. die sind noch nicht ganz so weit, würden dann aber auch schon auf einem Handy laufen.