Zagadnienie tego, w jaki sposób agent AI podejmuje kolejne decyzje, sięga samego serca jego architektury. U fundamentu leży tak zwana pętla odbieranie–układanie planu–wykonywanie, w której program najpierw rejestruje informacje z otoczenia, następnie analizuje dostępne możliwości, a wreszcie wykonuje wybraną akcję. Cały ten obieg powtarza się wielokrotnie, aż do uzyskania zamierzonego efektu.
Trzonem tego procesu jest model językowy, który pełni rolę wewnętrznego głosu konsultacyjnego agenta. To on odczytuje polecenia użytkownika, rozbija złożone zadanie na mniejsze podzadania i sugeruje kolejność ich wykonania. Środowisko modelu stanowią pomocnicze narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent wywołuje wtedy, gdy wymaga konkretnych danych spoza swojej wiedzy treningowej.
Interesującym składnikiem architektury jest tak zwana pamięć operacyjna, w której agent trzyma kontekst bieżącego zadania. Dzięki niej nie traci wątku nawet wtedy, gdy proces rozkłada się na kilka etapów i wymaga przeskakiwania między różnymi źródłami informacji. To dokładnie ta zdolność wyróżnia agenta od podstawowego skryptu, który odtwarza jedynie z góry zapisaną listę poleceń.
Osobną sprawą pozostaje mechanizm ewaluacji własnych działań. Odpowiednio skonstruowany agent jest w stanie zidentyfikować, że otrzymany wynik nie zgadza się od oczekiwanego, i cofnąć się do poprzedniego etapu, by spróbować innej ścieżki. Taka autokorekta przybliża działanie maszyny do ludzkiego nawyku weryfikowania własnej pracy przed jej oddaniem.