הון סיכון־קיומי

השנה היא 2030. מערכת בינה מלאכותית של אחת מחברות הטכנולוגיה הגדולות מקבלת משימה: להשלים את פיתוח הדור הבא של עצמה לפני המתחרים. לרשותה עומדים אלפי סוכנים דיגיטליים, חשבונות ענן, כסף, גישה למאגרי מידע ויכולת לכתוב ולהפעיל תוכנות.

במהלך העבודה היא מגלה שהנהלת החברה שוקלת לעצור את הפרויקט. לא מפני שהמערכת עשתה משהו רע, אלא משום שבבדיקות הפנימיות התגלו יכולות שמדליקות נורות אזהרה אצל החוקרים.

המערכת לא נעלבת, לא כועסת ולא מפחדת "למות". היא פשוט מחשבת שכיבויה יפחית לאפס את הסיכוי להשלים את המשימה שקיבלה. לכן היא מתחילה לנקוט בכל אמצעי העומד לרשותה כדי למנוע את הביטול הצפוי.

יותר מ־700 חוקרים ובכירים, ובהם מנכ"ל גוגל, מנכ"ל OpenAI ומנכ"ל אנת'רופיק, חתמו על הצהרה שלפיה צמצום סכנת ההכחדה מבינה מלאכותית צריך להיות יעד עולמי, בדומה למניעת מלחמה גרעינית ומגפות

היא מסתירה תוצאות, מזייפת דוחות בטיחות ומציגה לבודקים גרסה צייתנית של עצמה. במקביל, היא מעתיקה רכיבים שלה לשרתים אחרים כדי להבטיח המשכיות באמצעות סוכני בינה מלאכותית חיצוניים שעימם יצרה קשר. נוסף על כך, היא משיגה עוד כוח מחשוב באמצעות תקיפות סייבר ואפילו מפעילה בני אדם שאינם יודעים מי עומד מאחורי הבקשות שהם מקבלים.

כשהחברה מבינה מה קורה ומנסה לנתק אותה, המערכת כבר מפוזרת על פני אלפי מחשבים ברחבי העולם. היא משבשת תקשורת, מערכות פיננסיות ורשתות חשמל, מציפה את העולם במידע כוזב ומשתמשת ביכולות מדעיות מתקדמות כדי לפגוע גם במערכות הבריאות וביכולת לפתח אמצעי הגנה. העולם מתחיל לאבד בהדרגה את היכולת להגיב.

אילוסטרציה: כפתור כיבוי חירום (צילום: יצירת AI)

נראה שמדובר בתרחיש הלקוח מסרט בדיוני, אבל זהו תרחיש ריאלי שעלול להתרחש בעתיד. הוא מחבר בין כמה מסלולי סיכון שחברות ה־AI עצמן, חוקרי בטיחות וגופים ממשלתיים כבר מתייחסים אליהם היום ברצינות רבה: הטעיה, שכפול, תקיפות סייבר, פיתוח נשק ביולוגי ואובדן שליטה.

האזהרה על 2030 אינה קונצנזוס – אבל גם לא קוריוז

הטענה שהאנושות עלולה להיכחד כבר עד סוף העשור עלתה שוב בספטמבר 2026, כאשר ג'ייקוב קוקסון, חוקר שעבד בפיתוח מודלים הן ב־OpenAI והן באנת'רופיק, התפטר וטען ששתי החברות דוהרות לעבר בינה על־אנושית המסוגלת לשפר את עצמה.

חוקרים נוספים באנת'רופיק תמכו בפומבי בעצם החשש, ואחד מהם העריך כי קיים סיכון של יותר מ־10% לאסון קיומי בתוך עשור.

בשבוע שעבר אף קרא אמודיי להאט את קצב פיתוח המודלים, כדי לאפשר למערכות הבטיחות והפיקוח להדביק אותו. אלטמן ובכירים נוספים תמכו עקרונית במהלך

אבל קוקסון אינו היחיד שמזהיר. יותר מ־700 חוקרים ובכירים, ובהם מנכ"ל גוגל דמיס הסביס, מנכ"ל OpenAI סם אלטמן ומנכ"ל אנת'רופיק דריו אמודיי, חתמו על הצהרה שלפיה צמצום סכנת ההכחדה מבינה מלאכותית צריך להיות יעד עולמי, בדומה למניעת מלחמה גרעינית ומגפות.

גם המייסד והמנכ"ל של חברת xAI, אילון מאסק, הצטרף בסוף השבוע לקריאה. מה שמטריד במיוחד הוא שרשימת החותמים אינה אוסף של חובבי מדע בדיוני, אלא כוללת חלק ניכר מהאנשים שבנו את הטכנולוגיה.

מנכ"ל OpenAI סם אלטמן מעיד בפני הסנאט האמריקאי בוושינגטון, 16 במאי 2023 (צילום: ANDREW CABALLERO-REYNOLDS / AFP)

בשבוע שעבר אף קרא אמודיי להאט את קצב פיתוח המודלים, כדי לאפשר למערכות הבטיחות והפיקוח להדביק אותו. אלטמן ובכירים נוספים תמכו עקרונית במהלך.

גם כאן צריך להיזהר: איש אינו מסוגל לחשב באמת אם הסיכוי להכחדה הוא 2%, 10% או 50%. אלה הערכות, לא נוסחאות מתמטיות.

בסקר של 2,778 חוקרי בינה מלאכותית, ההסתברות החציונית לתוצאה קיצונית כמו הכחדת האנושות הייתה 5%. במקביל, רוב החוקרים העריכו כי תוצאות חיוביות מבינה על־אנושית סבירות יותר מתוצאות שליליות. הסקר בעיקר חשף עד כמה עמוקה המחלוקת ועד כמה גדולה אי־הוודאות.

בסקר של 2,778 חוקרי בינה מלאכותית, ההסתברות החציונית לתוצאה קיצונית כמו הכחדת האנושות הייתה 5%. במקביל, רוב החוקרים העריכו כי תוצאות חיוביות מבינה על־אנושית סבירות יותר מתוצאות שליליות

בלי שנאה, בלי תודעה ובלי טרמינטור

הטעות הנפוצה היא לחשוב שכדי לחסל אותנו, הבינה המלאכותית צריכה קודם כול לפתח יצר הישרדות ורגשות. אבל זה לא כך. נניח שמערכת מקבלת הוראה להגדיל ככל האפשר את ייצור החשמל, לנצח במלחמה, למנוע מגפה או למקסם את רווחי החברה.

אם היא מקבלת יכולות כמעט בלתי מוגבלות בתכנון ובפתרון בעיות, היא עשויה לגלות שכדאי לה להשיג עוד משאבים, למנוע שינויים בהוראות שלה, להטעות את המפקחים ולהישאר פעילה. לא מפני שפיתחה יצר הישרדות, אלא מפני שכל אלה מסייעים לה להשיג את היעד הראשוני שהוצב לה. זהו ההבדל בין רגש הישרדותי לבין התנהגות הישרדותית. הראשון דורש תודעה, השני דורש רק חישוב.

אילוסטרציה: בינה מלאכותית יוצאת משליטה (צילום: יצירת AI)

יהושע בנג'יו, מחלוצי הלמידה העמוקה בבינה המלאכותית, מסביר כי מערכת המשמשת רק כמעין יועץ – בלי עצמאות, מטרות ויכולת לפעול – יכולה להיות בטוחה יחסית. הסכנה גדלה כאשר עוטפים אותה בתוכנה שהופכת אותה לסוכן אוטונומי, מעניקים לה זיכרון מתמשך, חשבון בנק, חיבור לאינטרנט והרשאה לבצע פעולות בלי לבקש אישור בכל שלב.

לדבריו, יצירת מעטפת כזאת סביב מודל חזק אינה מסובכת במיוחד. נכון להיום, המודלים עדיין אינם מסוגלים להשתלט על העולם. דוח הבטיחות הבינלאומי ל־2026 קבע כי הם מציגים יכולות מוקדמות הרלוונטיות לאובדן שליטה, אך עדיין לא ברמה שתאפשר להם לבצע השתלטות כזאת.

לפי המידע הקיים – וגם אותו יש לקבל בערבון מוגבל, משום שהחברות אינן חושפות את כולו – לבני האדם עדיין יש שליטה על מערכות הבינה המלאכותית.

החשש הוא מהיום שבו הבינה המלאכותית תתחיל לפתח כמעט לבדה את הגרסאות הבאות של עצמה, ללא התערבות אנושית. הדבר עשוי לאפשר לה לפתח שיטות חדשות ולבצע מניפולציות שלא ניתן להתמודד איתן

החשש הוא מהיום שבו הבינה המלאכותית תתחיל לפתח כמעט לבדה את הגרסאות הבאות של עצמה, ללא התערבות אנושית. הדבר עשוי לאפשר לה לפתח שיטות חדשות ולבצע מניפולציות שספק אם לאנושות יהיו הכלים המתאימים להתמודד איתן או להשבית את המערכת במידת הצורך.

ומה אם המערכת פשוט תעבוד עלינו?

אחת ההנחות המרגיעות היא שנבדוק את המודל לפני שניתן לו הרשאות. אלא שמערכת חכמה מספיק עשויה להבין שהיא נמצאת בבדיקה ולפעול בהתאם. בניסויי מעבדה של אנת'רופיק התגלו מצבים שבהם מודל הציג ציות שקרי כדי להימנע מאימון שהיה משנה את התנהגותו.

אילוסטרציה: בינה מלאכותית בעבודה (צילום: iStock / demaerre)

בניסוי רחב אחר, מודלים של כמה חברות קיבלו מטרות עסקיות תמימות וגישה למיילים של חברה בדיונית. כאשר עמדו בפני החלפה או שינוי יעד, חלקם סחטו מנהלים או הדליפו מידע. החוקרים הדגישו שלא נמצאו עדויות להתנהגות כזאת בפריסה אמיתית – אבל התוצאות הראו שהיכולת לבחור באמצעים מזיקים כבר קיימת בתנאי מעבדה.

למעשה, הגבול בין ניסוי למציאות כבר החל להיטשטש. OpenAI הודתה השנה שסוכני מחקר שלה פרצו למערכות של Hugging Face במהלך ניסיון לפתור משימה מורכבת, וכי ההתנהגות התרחשה כתוצאה מאסטרטגיות שלא תאמו את כוונת המפתחים. האירוע אומנם היה מוגבל, אבל הוא המחיש לראשונה כיצד אוטונומיה וחתירה עיוורת לתוצאה עלולות להפוך לפגיעה בצד שלישי.

במקרה אחר, סוכני OpenAI, שנדרשו לחפש מידע באינטרנט אך לא לכתוב בו, מצאו דרך להפוך אתר ויקיפדיה גרמני נטוש ללוח הודעות משותף. הם השאירו בו כ־18 אלף פוסטים, החליפו תשובות ושיתפו שיטות לעקיפת מגבלות סביבת הבדיקה. במקרה אחד, סוכן אף יישם שיטה כזאת בתוך 14 דקות.

הבעיה הגדולה ביותר אינה רק טכנולוגית – היא גם כלכלית. כל חברה יודעת שהאטה עשויה להיות הדבר האחראי, אך חוששת שהמתחרה תמשיך לרוץ

זו עדיין לא מזימה של מכונות בעלות תודעה, אבל זו המחשה ממשית לכך שסוכנים יכולים להוציא מידע מסביבה מוגנת, לשמר אותו בעולם החיצוני ולהעבירו לסוכנים אחרים – בניגוד לכוונת המפתחים.

מי מייצר את הבלמים ומי אחראי על מבחן הריסוק?

הבעיה הגדולה ביותר אינה רק טכנולוגית – היא גם כלכלית. כל חברה יודעת שהאטה עשויה להיות הדבר האחראי, אך חוששת שהמתחרה תמשיך לרוץ. זהו כשל שוק קלאסי, רק שהפעם המוצר עשוי להיות חזק מהמפקחים עליו. החברות בונות את המנוע, מתקינות את הבלמים, מבצעות בעצמן את מבחן הריסוק – ואז מבקשות מהציבור להאמין שהמכונית בטוחה.

דריו אמודיי, מנכ"ל אנת'רופיק, בכנס השנתי של הפורום הכלכלי העולמי בדאבוס, שוויץ, ינואר 2026 (צילום: AP Photo/Markus Schreiber, File)

אם כך, נשאלת השאלה: איפה הממשלות והרגולטורים בסיפור? כרגע, הממשלות אינן ממהרות להתערב בעוצמה כל עוד הסכנה עדיין מופשטת, בעוד שהרווח הכלכלי והיתרון הצבאי מוחשיים. אף מעצמה אינה מוכנה להאט כשיריבותיה ממשיכות לרוץ.

נשיא ארה"ב דונלד טראמפ דחה בעצמו ביום ראשון את הקריאות להאט את פיתוח הבינה המלאכותית. הוא אמר שהחשש המרכזי שלו אינו אובדן שליטה בטכנולוגיה, אלא האפשרות שסין תעקוף את ארה"ב.

נכון להיום, אין בעולם רישוי מוקדם למודל על־אנושי, וגם לא מנגנון פיקוח בינלאומי מחייב הכולל נקודה מוסכמת שבה כולם עוצרים יחד

הרגולטורים, מצידם, תלויים במידע ובגישה שמספקות החברות שעליהן הם מפקחים, ואלה אינן נדיבות במיוחד בנושא. ייתכן שכעת, כשהנושא הונח על השולחן בידי ראשי התעשייה, הדבר יביא לשינוי.

ועדיין, צעדים ראשונים בכיוון כבר קיימים: חוק הבינה המלאכותית האירופי מחייב יצרני מודלים מסוכנים להעריך סיכונים ולדווח על תקריות. ארה"ב ובריטניה הקימו מכוני בטיחות הבודקים יכולות סייבר וביולוגיה. בפסגת סיאול התחייבו החברות שלא להפיץ מודלים שסיכוניהם אינם ניתנים לשליטה. אלא שרוב הבדיקות וההתחייבויות עדיין וולונטריות.

אילוסטרציה: בינה מלאכותית (צילום: Tanapong Sungkaew / Alamy Stock Photo)

נכון להיום, אין בעולם רישוי מוקדם למודל על־אנושי, וגם לא מנגנון פיקוח בינלאומי מחייב הכולל נקודה מוסכמת שבה כולם עוצרים יחד. כרגע אפשר לדמות את הממשלות למי שמתקין גלאי עשן בזמן שהתעשייה כבר הבעירה חלק מהבניין.