Christian Dalager

Vejr til vandfarver? Lokale modeller begynder at ligne noget

Hastighed eller tokens/s (TPS) er ikke altid er den eneste parameter, og privacy og uafhængighed har også plads ved beslutningsbordet. Det handler så...
· linkedin
Billede fra LinkedIn-opslag

Hastighed eller tokens/s (TPS) er ikke altid er den eneste parameter, og privacy og uafhængighed har også plads ved beslutningsbordet.

Det handler så om at finde modeller der er gode nok til at klare sig selv over lidt længere tid, så man kan stole på at man ikke har sat dem igang med en opgave og så efter 20 minutter kommer tilbage og finder ud af, at de lige kom til at bygge en giraf af papirklips, som de fandt på bordet, fordi de synes at det var en ret god måde at løse opgaven på.

Har efter at luret på erfaringer fra kolleger Aleksander Rist og Mikkel Bundgaard-Ovesen startet den nye Qwen3.8-27b model op i en helt ren OpenCode (ingen skills eller MCP'er) på min AMD 395+ (strix halo)-baserede Framework 128 Ubuntu.

Og i en enkelt prompt fik jeg efter 10 minutter et fejlfrit Python program, der med en vejr-agent(Qwen3.6-35b) henter vejret for København og giver det videre til en vandfarve-agent(Flux-2-Klein-9b), som laver en 512x512 illustration af vejret.

Prompten, som var super sloppy og nærmest pinlig:

use pydantic AI agents to create a simple flow where an agent fetches the weather data for today for copenhagen. And another agent renders an artistic watercolor rendition based on todays weather.

Prompt 2 bad den om at undgå stereotypiske Københavnermotiver, fordi jeg ikke ville risikere at blive sagsøgt af den lille havfrues efterkommere.

TPS? Ca 25. Hvis du også har et AMD kort af en slags, så brug https://lemonade-server.ai/ i stedet for ollama. Den er nice. Og hvis du ikke er bange for Python og vil lave agentiske applikationer, kan du kigge på Pydantics AI libraries, der er super enkle og til at forstå https://pydantic.dev/docs/ai/overview/

PS: jeg har også skrevet dette indlæg som one-shot og i vanlig stil ikke brugt AI til at at skrive eller korrekturlæse. Men skulle du virkelig trænge til det — fik du der din mdash 😁 PPS: og lad nu vær med at tro at folk ikke kan se, hvornår AI har skrevet din linkedin post. Det behøver man sjældent watermarks for at se. PPPS: illustrationen er i sagens natur AI genereret.

Oprindeligt delt på LinkedIn