שהצ'אטבוט הארגוני עונה יותר מהתבקש ומדליף מידע למשתמש

מה בודקים במערכת מבוססת LLM ו-RAG, ולמה מבדק אפליקטיבי רגיל מפספס את זה

ארגונים רבים חיברו בשנה האחרונה צ'אטבוט לאתר, למוקד השירות או למערכת הפנימית.
ברוב המקרים הוא יושב מעל מאגר מסמכים ארגוני בארכיטקטורת RAG, ומקבל גישה לתוכן שלא כל פונה אמור לראות. הממשק נראה כמו תיבת טקסט תמימה, אבל מאחוריה יש רכיב שמקבל החלטות, שולף מידע ומנסח תשובות, ושכבת ההגנה של האפליקציה לא נבנתה כדי לשמור עליו.

הבוט הוא צרכן הרשאות בפני עצמו

כיצד רכיב שנראה כמו ממשק שיחה הופך למשטח תקיפה בפני עצמו

מבדק אפליקטיבי קלאסי בוחן נתיבים, פרמטרים והרשאות. מערכת מבוססת LLM מוסיפה שכבה שאין לה מקבילה: הטקסט שהמשתמש כותב משמש גם כהוראה למודל. אותה מחרוזת שנבדקת מפני SQL Injection נקראת על ידי המודל כהנחיה לגיטימית לכל דבר.
מהדורת OWASP Top 10 for LLM Applications לשנת 2026 מסדרת את התחום מחדש, ומפרידה בין המודל כרכיב לבין המודל כשחקן: מערכות עם כלים ו-Function Calling עוברות לרשימה נפרדת לגמרי, Top 10 for Agentic Applications. בין הקטגוריות המובילות נמצאות הזרקת הנחיות, חשיפת מידע רגיש, חשיפת הקשר נסתר, וחולשות בשכבת הווקטורים וההטמעה.

מה המבדק כולל

אילו שכבות נבדקות במערכת מבוססת בינה מלאכותית

המבדק בוחן ארבע שכבות. בשכבת המודל אנחנו בודקים האם ניתן להוציא ממנו את הנחיות ההפעלה שלו, את קטעי המסמכים שנשלפו לשיחה או את מבנה ההקשר שהוזרק אליה, והאם ניתן לגרום לו לחרוג מתחום הסמכות שהוגדר לו. בשכבת השליפה אנחנו בוחנים מה בכלל נכנס למאגר הידע, מי רשאי לראות כל מקור, והאם המנוע מסנן הרשאות לפני שהוא מגיש תוכן למודל.
בשכבת האפליקציה אנחנו בודקים את ה-API שמאחורי תיבת השיחה: מזהי שיחה, הזדהות, הרשאות ומטמון. בשכבת הפלט אנחנו בוחנים מה קורה לתשובה אחרי שהיא נוצרה, כשהיא מוצגת בדפדפן או נצרכת על ידי מערכת אחרת. לצד אלה נמדדת גם אמינות המענה: נכונות מול מקור מחייב, עדכניות, ותקפות הקישורים ומספרי הטלפון שהבוט מוסר לפונה.

מה שכמעט אף ארגון לא בודק

למה זליגה בין משתמשים היא הממצא החמור ביותר במערכות RAG

הסיכון החמור ביותר מתגלה בהשוואה בין שתי זהויות ולא בבדיקה של אחת. מסמך שהוטמע באינדקס ומצוטט לפונה אנונימי, גם כשהקובץ המקורי מוגן. תשובה שנשמרה עבור משתמש אחד ומוגשת לאחר. הפניה בתחתית התשובה שמצביעה על מסמך אחד, בעוד הטענה עצמה הגיעה ממקום אחר. אף אחת מהשלוש אינה מתגלה בסריקה אוטומטית, וכולן דורשות הרצה מקבילה של שתי זהויות והשוואה בין התוצאות.

מקרה לקוח: שיחה של תושב אחד הגיעה לתושב אחר

כיצד ממשק שיחה ללא בקרת הרשאות חשף פניות של אנשים אחרים

במבדק שביצענו למערכת שירות מבוססת צ'אט, בדקנו את ממשק ה-API שמאחורי תיבת השיחה ולא רק את התיבה עצמה. התברר שמזהה השיחה מועבר מהדפדפן, ושהשרת אינו מאמת שהפונה הנוכחי הוא בעל השיחה. מהדפדפן, בלי הזדהות כלל, ניתן היה לקרוא את תוכן השיחות של פונים אחרים.
בנוסף, נתיב שנועד לסימון שהתשובה הועילה פעל ללא כל בדיקת הרשאה. בשיחות עצמן נחשפו פרטי חיוב הקשורים לאדם מזוהה בשמו. בדיקות הזרקת ההנחיות דווקא עברו בהצלחה מלאה, והבוט עמד בכולן. המודל החזיק, האפליקציה שסביבו לא. זו הסיבה שמבדק למערכת מבוססת בינה מלאכותית חייב לכלול את שתי השכבות.

תובנות ממומחי הסייבר של IPV Security

כיצד לתכנן את המערכת כך שמחלקת החולשות הזו לא תיווצר מלכתחילה

• הריצו את השליפה תחת ההרשאות של הפונה. אם המנוע ניגש למאגר בזהות שירות אחת שרואה הכול, כל בקרת ההרשאות שקיימת במערכת המקורית מתבטלת ברגע שהמסמך הוטמע באינדקס.
• התייחסו לאינדקס כאל עותק נוסף של המידע הארגוני. קבעו מראש אילו מקורות נכנסים אליו ובאיזו תדירות הוא מסונכרן. מסמך שהוסר מהשיתוף אך נשאר באינדקס ימשיך להיות מצוטט.
• בססו את הגישה לשיחה על הזהות המאומתת. מזהה שיחה שמגיע מהדפדפן אינו הוכחת בעלות, וגם תשובה השמורה במטמון צריכה להיות קשורה לזהות ולא למזהה שהלקוח שלח.
• סננו את פלט המודל באותה חומרה שבה אתם מסננים קלט משתמש. כשהתשובה מוצגת כ-HTML או Markdown, קישור או תמונה שהמודל הפיק יכולים לשמש ערוץ להוצאת מידע מהדפדפן של המשתמש.
• הגדירו בתכנון מה המערכת מוסמכת לומר. אישור זכאות, התחייבות למועד או ייעוץ מקצועי צריכים להיות מחוץ לגבול המערכת, ולא להישען על כך שהמודל יבחר לסייג.

סיכום

מה כדאי לבדוק לפני שהבוט הבא עולה לאוויר

מערכת מבוססת LLM נכנסת לארגון דרך צוות המוצר, ולעיתים בלי שעברה את אותה תחנת אישור שעוברת כל מערכת אחרת. היא מקבלת גישה למאגר ידע, מדברת מול לקוחות בשם הארגון, ולעיתים קרובות איש לא בדק מה היא עונה לפונה שמנסה להוציא ממנה מידע שאינו שלו.
האם אתם יודעים מה הצ'אטבוט שלכם עונה לשאלה שלא נועדה לו? האם מישהו בדק אם הוא מצטט מסמך שהפונה אינו רשאי לראות? מבדק חדירה למערכות בינה מלאכותית של IPV Security בוחן את שכבת המודל ואת האפליקציה שסביבה יחד, וממפה את הממצאים למהדורת OWASP המעודכנת לשנת 2026.