AI-agenter går från att svara på frågor och ge rekommendationer till att också kunna agera självständigt.
De kan samla information, använda verktyg och utföra uppgifter åt användaren.
Det skapar nya säkerhetsrisker. Junglemap lanserar nu en utbildning som ska ge utvecklare och produktägare kunskap om hur de kan bygga agentiska AI-system med säkerheten från början.
Till skillnad från generativ AI kan agentiskt AI gå längre än att skapa innehåll. Den kan ta emot mål, avgöra vilka steg som krävs, hämta information, använda andra system och utföra uppgifter. Det förändrar riskbilden och vad de som designar, bygger och driftsätter systemen behöver tänka på innan en AI-agent får möjlighet att agera.
– Frågan är inte längre om ett system klarar uppgiften, utan vad det får göra på egen hand och vad som händer när något går fel. Autonomi ska vara ett medvetet val, inte standard, säger Niklas Rosén, Director of Content på Junglemap och ansvarig för kursen.
Kursen utgår från OWASP Top 10 for Agentic Applications, ett branschramverk för säkerhetsrisker i agentiska AI-system. Liksom Junglemaps övriga utbildningar är den uppbyggd av nanolektioner på max tre minuter.
Den nya kursen Building safe AI agentstar bland annat upp:
Vad vi bygger – vad gör ett AI-system agentiskt och hur kartlägger OWASP riskbilden kring det?
Grad av autonomi– hur mycket ska en agent få göra på egen hand och hur tillämpas principen om least agency?
Påverkan utifrån – hur kan agenter manipuleras genom prompter, manipulerad data eller verktyg?
Behörigheter och identitet – hur begränsar vi vad en agent kan komma åt och göra?
Data och minne – hur förhindrar vi att felaktig eller manipulerad information påverkar framtida beslut?
Mänsklig kontroll – när behöver en människa ta över för att stoppa fel innan de får större konsekvenser?
Redo för produktion – hur avgör vi om ett agentiskt AI-system är säkert nog att driftsätta?
