הסכנה אינה רק בתשובה שגויה. היא בתשובה שגויה שנשמעת כאילו אין בה ספק.
אחד המאפיינים המרשימים של AI הוא היכולת לנסח תשובות ברורות, מסודרות ובטוחות. אותו מאפיין הוא גם מקור לסיכון. כאשר טקסט נראה מקצועי, אנשים נוטים להקדיש פחות תשומת לב לבדיקה. כך טעות, מקור שלא קיים או הנחה לא נכונה יכולים לעבור לתוך מסמך, מצגת או החלטה.
המערכת אינה משקרת במובן האנושי. היא מייצרת תשובה על בסיס דפוסים סטטיסטיים וההקשר שקיבלה. כאשר חסר מידע, היא עלולה להשלים אותו בצורה שנשמעת סבירה. לכן איכות הניסוח אינה הוכחה לאיכות המידע.
לא כל תוצר דורש אותה רמת בקרה
טיוטה לפוסט פנימי אינה דומה לדוח הנהלה. רעיון לפעילות אינו דומה למכתב זכאות. כדי שהבקרה תהיה מעשית, כדאי להתאים אותה לסיכון.
רמת סיכון נמוכה
סיעור מוחות, ניסוח ראשוני, ארגון רעיונות או שיפור שפה. כאן אפשר להסתפק בקריאה, התאמה לסגנון ובדיקת פרטים בסיסיים.
רמת סיכון בינונית
סיכום מסמך, חומר הדרכה, תקשורת לעובדים, ניתוח משובים או השוואת חלופות. כאן נדרש להשוות למקור, לבדוק שלא הושמט מידע ולוודא שהמסקנות אינן חורגות מהנתונים.
רמת סיכון גבוהה
מידע רפואי, משפטי, פיננסי, זכויות, החלטות תעסוקתיות, נתונים לציבור או המלצה שמשפיעה על אדם. כאן נדרשת בדיקה של בעל מקצוע ולעיתים אישור נוסף. בחלק מהמקרים לא נכון להשתמש בכלי חיצוני כלל.
חמש בדיקות שכדאי לבצע
1. בדיקת מקור
כאשר המערכת מציגה עובדה, נתון או ציטוט, פותחים את המקור המקורי. אין להסתפק ברשימת קישורים שנוצרה בתשובה. בודקים שהמקור קיים, מעודכן ותומך בטענה.
2. בדיקת שלמות
סיכום יכול להיות נכון ועדיין להחסיר הסתייגות חשובה. משווים את התוצר למסמך המקורי ושואלים מה לא נכנס, אילו חריגים נעלמו והאם נוצרה מסקנה חזקה מדי.
3. בדיקת הקשר
תשובה כללית יכולה להיות נכונה בעולם אך לא מתאימה לארגון, למדינה, לקהל או למועד. בודקים האם ההנחות מתאימות למציאות המקומית.
4. בדיקת הטיה
שואלים מי מיוצג בתוצאה ומי לא, האם ההמלצה פוגעת בקבוצה מסוימת והאם המערכת חזרה על סטריאוטיפ או דפוס היסטורי.
5. בדיקת פעולה
לפני שמשתמשים בתוצר, שואלים מה יקרה אם הוא שגוי. ככל שהנזק האפשרי גדול יותר, כך נדרשת בקרה חזקה יותר.
בקרה אנושית אינה "לעבור בעיניים"
כאשר ארגון מגדיר שכל תוצר ייבדק על ידי אדם, אך אינו מסביר כיצד, הבדיקה עלולה להיות סמלית. בקרה טובה דורשת זמן, גישה למקורות, מומחיות וסמכות לעצור תהליך. אדם עייף שמקבל עשרות תוצרים לבדיקה יכול להפוך לחותמת גומי.
לכן כדאי להגדיר רשימת בדיקה קצרה לכל שימוש מרכזי. לדוגמה, בסיכום ישיבה: האם כל החלטה מופיעה, האם המשימות שויכו לאדם הנכון והאם מידע רגיש הוסר. בחומר הדרכה: האם העובדות נבדקו, האם השפה מתאימה לקהל והאם אין הטיה.
גם הפרומפט הוא חלק מהבקרה
תוצאה טובה מתחילה בהנחיה טובה. כדאי לבקש מהמערכת לציין מה היא אינה יודעת, להפריד בין עובדות להערכות, להסתמך רק על מקורות שסופקו ולהציג נקודות שדורשות אימות. זה אינו מבטל טעויות, אך הופך אותן לקלות יותר לזיהוי.
בונים תרבות שבה מותר לעצור
עובדים צריכים לדעת שלא מצפים מהם להשתמש בכל תוצאה רק מפני שהארגון השקיע בכלי. מותר לדחות תשובה, לבקש מקור, לחזור לעבודה ידנית או להתייעץ. זהו חלק ממקצועיות, לא התנגדות לחדשנות.
NIST מדגיש בדיקה, הערכה וניהול סיכונים לאורך מחזור החיים של מערכת AI. בארגון, המשמעות היא שהבקרה אינה פעולה חד פעמית. עוקבים אחרי טעויות חוזרות, מעדכנים הנחיות ומשנים שימושים כאשר הסיכון גדול מהערך.
הערך של AI אינו בכך שהוא נותן תשובה סופית, אלא בכך שהוא עוזר לאדם להגיע לתוצאה טובה יותר ולבדוק אותה.
קריאה לפעולה
רוצים לבנות כללי בקרה ושימוש מקצועי ב-AI שמתאימים לעבודת הארגון? הכירו את ההדרכות ותהליכי הליווי של בינה ארגונית.