AI-assistenten en agents voor uw team
Een algemene chatbot kent uw documenten, klanten en werkwijzen niet. Ik bouw assistenten en agents die dat wel doen, met een bron bij elk antwoord en duidelijke grenzen aan wat ze mogen.
Vertel over uw projectHet probleem
Kennis zit in documenten, wiki's, tickets en hoofden van mensen. Het juiste antwoord vinden kost tijd, en nieuwe collega's stellen steeds dezelfde vragen.
Openbare chattools zijn verleidelijk, maar ze kennen uw context niet, weten niet wat een gebruiker mag zien en sturen uw gegevens naar buiten.
Hoe ik het aanpak
Beginnen bij de vragen
We verzamelen eerst echte vragen en taken, zodat we bouwen wat mensen nodig hebben.
De juiste bronnen koppelen
Documenten, wiki's, tickets of databases, zo geïndexeerd dat de assistent de relevante passages vindt en ze als bron noemt.
Toegangsrechten respecteren
Gebruikers krijgen alleen antwoorden uit bronnen die ze mogen inzien.
Agents met duidelijke grenzen
Als een assistent iets doet, zoals een ticket aanmaken of een record bijwerken, gebruikt hij een kleine set duidelijk afgebakende tools, en alles wat risico heeft vraagt om goedkeuring van een mens.
De antwoorden meten
Een testset met vragen en bekende antwoorden, zodat kwaliteit gemeten wordt in plaats van aangenomen.
Waar u op moet letten
- Een assistent zonder bronnen is moeilijk te vertrouwen. Elk antwoord hoort te laten zien waar het vandaan komt.
- Verouderde documenten geven verouderde antwoorden. Iemand moet eigenaar zijn van de bronnen.
- Een agent die alles mag, is een beveiligingsrisico. Geef hem alleen de tools die hij nodig heeft.
Vergelijkbare projecten
World Brain Scholar
World Brain Scholar bouwt AI-software voor wetenschappelijke uitgevers.
Mijn werk bij World Brain Scholar
Een eigen AI-werkomgeving met meerdere agents
Het team wilde AI-assistenten die geen gegevens naar een openbare chatapp sturen. Nu is er een zelf gehoste chatomgeving met gespecialiseerde agents, plus een aparte API-laag die het gebruik logt en antwoorden in een cache bewaart.
- Een zelf gehoste chatomgeving met agents voor verschillende taken.
- Een API-laag tussen de agents en de modelaanbieders die het gebruik logt en antwoorden cachet.
- Alles draait op infrastructuur die de klant al had.
- Vragen en documenten van het team
- Gespecialiseerde agents
- Laag voor logs en cache
- Antwoorden in de eigen omgeving van de klant
Lokale taalmodellen, alleen als het team ze nodig heeft
Het team wilde taalmodellen gebruiken zonder data naar een externe aanbieder te sturen. Maar een model op een lokale GPU houdt een groot deel van het GPU-geheugen bezet, ook als niemand het gebruikt. Nu heeft het team één API voor alle lokale modellen. Een agent op elke GPU-machine start een model bij het eerste verzoek en stopt het na een uur zonder verzoeken. Dan is de GPU weer vrij voor ander werk.
- Eén OpenAI-compatibele API voor alle lokale modellen, waar teamleden hun chat- en codeertools aan koppelen.
- Een dashboard toont welke modellen draaien, en beheerders kunnen elk model starten en stoppen.
- De modellen draaien op GPU-machines die het bedrijf al heeft. Er gaat geen data naar een externe aanbieder.
- Verzoek uit een chat- of codeertool
- Gedeelde API
- Model starten als dat nodig is
- Antwoord van het lokale model
Veelgestelde vragen
Kan het ChatGPT, Claude of een lokaal model gebruiken?
Elk daarvan. De keuze hangt af van uw gegevens, uw privacy-eisen en de kosten, en één gateway kan ze combineren.
Waar draait het?
In uw eigen omgeving of in een private cloud in de EU, gekoppeld aan uw bestaande inlogaccounts.
Wat is MCP?
Het Model Context Protocol is een open standaard om AI-assistenten te koppelen aan tools en gegevens. Ik gebruik het om assistenten een gecontroleerde set acties in uw systemen te geven.