Artikelen
Experimenten met lokale modellen en AI voor infrastructuurbeheer.
Hoe ik Claude Code dagelijks inzet voor infrastructuurwerk: van RCA's en GitOps-wijzigingen tot incident response. Met de spelregels die ervoor zorgen dat er geen logdata, persoonsgegevens of productiewijzigingen buiten mijn controle om gaan.
Een 35B-model op een GPU van 12 GB, sneller dan Ollama: 40 tokens per seconde met MoE expert-offload en speculative decoding. Mijn eigen model behandelt de vragen, Claude is een tool die het alleen inzet voor verificatie. Met editor-integratie, een eigen CLI, kennisbanken en toegang van overal.
Een ontwerp voor een MCP-server waarmee mijn eigen model bij een verstoring metrics en logsjablonen opvraagt, met een vast stappenplan, zodat ruwe logs nooit het huis uit gaan.
Mijn RAG-kennisbank staat in Git, niet in een database. AI mag kennis voorstellen als concept, maar alleen wat ik goedkeur en merge, komt in de vectorstore.
Een eigen terminalassistent op basis van opencode en mijn lokale model, met een eigen identiteit en thema, kennisbanken via RAG en een failover-proxy die automatisch kiest tussen het thuisnetwerk en een relay.
Mijn eigen model beantwoordt de meeste vragen. Alleen als het nodig is, escaleert het één zelfstandige vraag naar Claude, met goedkeuring via een dialoogvenster en een harde kostengrens. Vaste kosten per escalatie: minder dan een cent.
De Continue-extensie in VS Code praat met mijn eigen 35B-codeermodel: agent-modus met tool-calling, eigen regels, een escalatietool naar Claude en een route die thuis en onderweg werkt.