איך בונים AI Agent מסחרי שלא הולך לאיבוד בענן

כולם יכולים להריץ GPT-4 ולקבל תוצאות מרשימות בדגימה ראשונה. השאלה האמיתית: איך עוברים מסוכן שעובד 80% מהזמן ב-demo, לסוכן שאתם נותנים ללקוח אמיתי לדבר איתו על חיוב חודשי? ## הבסיס: כל סוכן הוא state machine GPT הוא לא הסוכן. הוא רק המודל. הסוכן הוא state machine שמורכב מ: - prompt template (system + few-shot) - tools (function calling spec) - memory (short-term context + long-term store) - guardrails (input/output validators) - handoff logic (כשהסוכן צריך להעביר לבן-אדם) ## RAG: הדרך לסוכן שמכיר את העסק שלכם אי אפשר ללמד את GPT-4 על המוצרים, התקנון, ה-FAQ של העסק שלכם דרך fine-tuning בלבד. צריך RAG: vector store עם החומרים, retrieval בכל שאלה, prompt construction דינמי. ## Observability: בלי זה אתם עיוורים לוגינג של כל token, של כל retrieval, של כל tool call. metrics על latency, cost, hallucinations. בלי dashboard, אין לכם מושג למה הסוכן עונה בצורה הזאת לשאלה הזאת. ## Guardrails לא רק validation על input. גם על output. לפני שהמשתמש רואה את התשובה: בדיקה שאין PII דלוף, שאין אזכור של מתחרים, שיש דיסקליימר אם נדרש. ## הקפיצה האחרונה: handoff כל סוכן מסחרי צריך handoff חלק לאדם. תזהו את הסיגנלים (משתמש מתוסכל, שאלה מורכבת, decision שדורש מומחה), הציעו handoff, העבירו את כל ההקשר. ## מסקנה GPT-4 הוא 10% מהעבודה. ה-90% האחרים הם ארכיטקטורה, observability, ו-edge cases. זה ההבדל בין demo ל-production.