Fortsætter med endnu et eksperiment med ren browser-AI uden server...
Fortsætter med endnu et eksperiment med ren browser-AI uden server side komponenter: Semantic Search. Semantisk søgning er som regel noget man skal...
Semantisk søgning er som regel noget man skal have ned fra øverste hylde, men det behøver man faktisk ikke altid.
Der er mange scenarier, hvor man har et begrænset datasæt, som man vil have god søgning i, uden at skulle bygge eller købe en tung søgemaskine. Jeg har eksperimenteret med en ren transformers.js tilgang og en 33mb gte-small model, i ONNX format.
Det virker faktisk overraskende godt og kunne være en solid søgekandidat til statiske sites - så vil man selvfølgelig pre-embedde sine dokumenter/sider i en site-generation pipeline.
Hvor jeg ville bruge det:
- Dokumentationssites, hvor vi bygger en mkdocs site fra markdown filer
- En brevsamling uden backend (Oldefars breve fra 1. verdenskrig)
- Proof of concepts hvor jeg hurtigt kan lave en v1 af semantisk søgning og udskyde kompleksiteten indtil resten af arkitekturen er faldet på plads.
- Byggeklods sammen med WebMCP så man kan eksperimentere med client-side RAG
Links til ting i kommentar
Oprindeligt delt på LinkedIn