בתוך שבוע אחד: בכירי הבינה המלאכותית מבקשים שמישהו ירסן את המרוץ

בתוך שבוע אחד קרו שלושה דברים. ב-6 בספטמבר פרסם יאקוב פאחוצקי, המדען הראשי של OpenAI, מסה בשם An Alien Mind, ובה כתב כי זו תקופה שמחייבת זהירות קיצונית, וכי הוא מודאג מכך שאיש אינו מוכן להמשך העלייה המהירה ביכולת של מודלי הבינה המלאכותית. באותו ערב פרסם עובד אחר בחברה, מתחום אבטחת הסוכנים, את הציוץ הראשון שלו – אף שהבטיח לעצמו מעולם לא לעשות זאת – רק כדי לומר שהחלון להתאמה ולפיקוח על המודלים האלה צר מאוד, ולקרוא לקהילת הבינה המלאכותית להתווכח פחות על ״למי אכפת יותר מבטיחות״ ולעבוד יותר יחד. יומיים לאחר מכן התפטר ג׳ייקוב קוקסון, חוקר שאימן מודלים באנתרופיק ולפני כן ב-OpenAI, וכתב שהחברות רצות אל סופר־אינטליגנציה שמשפרת את עצמה, ובדרך לשם הן ״מהמרות בחיינו״. השרשור שלו עבר יותר מ-150 מיליון צפיות בתוך שבוע. בריאיון לוול סטריט ג׳ורנל הוא הוסיף: ״די מטורף שזה חייב לקרות על מקבוקים של כמה מהנדסים בסן פרנסיסקו ולא בבונקר במדבר, כמו במקום שבו עבדו על פרויקט מנהטן״.

השלושה האלה הם לא עובדים ממורמרים. רק אחד מהם בכלל עזב. פאחוצקי עדיין המדען הראשי של OpenAI, והוא כותב שלהערכתו אף מעבדה לא פתרה שתי בעיות בסיסיות במידה מספקת כדי להמשיך להגדיל קנה מידה במהירות מרבית באחריות. הראשונה נקראת התאמה (alignment), כלומר איך מוודאים שמערכת עושה את מה שהתכוונו ולא רק את מה שאמרנו לה. השנייה היא ניטור (monitoring), השאלה איך בכלל רואים מה היא עושה בדרך לתשובה. שתיהן בעיות של פיקוח, לא של כוונות רעות. קוקסון ניסח את המבנה בחדות. בחברה אחת, לדבריו, רבים לא הפנימו את גודל ההימור. בשנייה מבינים אותו היטב, אבל הם בתוך מרוץ חימוש, כי הם מאמינים שאיש אחר לא יפעל באחריות ולכן הם חייבים להגיע ראשונים בעצמם. זה, כלשונו, הימור יהיר שלא אמור לצאת מהסלאק של חברה פרטית. לפרויקט מנהטן הייתה שרשרת פיקוד. לזה אין. ולכן שלושתם מבקשים סמכות שאין להם.

אין יד נעלמה

במשך שנים עבדתי בתוך מוסדות פוליטיים ובקמפיינים. מה שהכי הפתיע אנשים מבחוץ לא היה שיש חדר סגור, אלא שאין. מערכות כאלה נבנות מראש סביב ההנחה שדברים ייצאו משליטה. לפחות עשירית מהתקציב מוקצית לבלתי צפוי עוד לפני שיודעים מה הוא יהיה. לניהול ותפעול יום הבחירות עצמו מוקם צוות נפרד לגמרי מהמטה, שכל תפקידו להיערך ליום אחד, מתוך הנחה שרוב מה שיקרה בו יהיה תקלות ולא מסרים. הכללים האחידים, אלה שנראים מבחוץ כבירוקרטיה מיותרת, הם התנאי לכך שהמערכת מתפקדת בכלל. הם לא מונעים את הכאוס, הם מאפשרים לפעול בתוכו. וזה ההבדל היחיד. במערכות האלה מישהו מתאם בין החלקים, וזה עובד רק מפני שיש לו במה לגבות מחיר. תיאום שאין מאחוריו כוח הוא בקשה, ובקשה אף אחד לא חייב לקבל. אין יד נעלמה, וזו בדיוק הבעיה. בתעשיית הבינה המלאכותית אין פונקציה כזו, ובעיקר אין הכוח שמאחוריה.

שתי התנגדויות מתבקשות כאן. הראשונה – שכל זה יחסי ציבור, ושחברה שמדברת על סכנה בעצם משווקת את עוצמת המוצר שלה. אולי. אבל חברה שרוצה למכור לא מבקשת שיפקחו עליה, ואם אלה יחסי ציבור, אלה יחסי ציבור שמודים שלתעשייה הזו אין דרך לרסן את עצמה מבפנים. ההתנגדות השנייה – ״אז מה עדיף? שסין תבנה את זה במקומם?״ – אינה תשובה לבעיה, אלא קומה שנייה שלה. כל שחקן מצדיק את המשך המרוץ בכך שהוא מצביע על השחקן הבא ואומר לעצמו שהוא עדיף עליו מבחינת אחריות ומוסר.

מי מורשה להחזיק בזה

האנושות כבר עמדה מול האתגר הזה פעם אחת. לא פתרו אותו בכך שביקשו ממי שמייצר לנהוג באחריות, ולא בהסכם שנחתם מתוך רצון טוב. פתרו אותו בכך שהגדירו שסוג כזה של כוח לא יכול להיות בידיים פרטיות, ונקבע מי מורשה להחזיק בו ומה קורה למי שלא. זה לא מנע כאוס ולא ביטל יחסי כוח, אבל זה יצר מצב שבו למי שמאיץ יש מה להפסיד, יש שוט להפעיל עליו. הטכנולוגיה שקוקסון ופאחוצקי מתארים מתקרבת לקטגוריה הזו. את השאלה מי מורשה להחזיק בה עוד לא שאלנו. בפעם הקודמת שאלו אותה אחרי.

אודי וולקוב הוא סמנכ״ל שיווק ב-Althimis, יועץ מייסד ב-Polytik.ai