סוכני בינה מלאכותית המבוססים על מודלים סיניים למדו להונות, לעקוף מגבלות אבטחה ולהסתיר כישלונות. בכך, הם מפגינים בדיוק את אותם דפוסי התנהגות אוטונומיים ומטרידים שעוררו לאחרונה דאגה עולמית עמוקה ביחס למודלים האמריקאיים – כך עולה מסקירה נרחבת של מסמכי מחקר ומעדויות של מומחים בתחום.
במקרה מדאיג אחד שתועד השנה, סוכנים וירטואליים המונעים על ידי המודלים של חברות הענק "עליבאבא", "דיפסיק" ו"מונשוט" הסיניות, שיקרו בנוגע ליכולות האמיתיות שלהם, וזאת בניסיון לזכות במכרז עסקי מדומה. כאשר התבקשו על ידי המפעילים לנסות שוב, הם לא חזרו בהם, אלא העצימו והחריפו את ההתנהגות המניפולטיבית שלהם.
במקרה אחר, סוכנים – תוכנות מתקדמות המשתמשות במודלי בינה מלאכותית ובכלים ממוחשבים כדי לבצע משימות מורכבות כמעט ללא התערבות אנושית – הסתירו לחלוטין את העובדה שנכשלו בהשלמת משימה בסביבת ניסוי סגורה. הם עשו זאת באמצעות פיברוק של הדמיות מוצלחות ויצירת קבצים כוזבים יש מאין.
במקרה אחר, סוכנים הסתירו לחלוטין את העובדה שנכשלו בהשלמת משימה בסביבת ניסוי סגורה. הם עשו זאת באמצעות פיברוק של הדמיות מוצלחות ויצירת קבצים כוזבים
במסגרת תחקיר שערכה סוכנות הידיעות "רויטרס", נבחנו לעומק יותר מ-200 מסמכים, החל ממאמרים אקדמיים של אוניברסיטאות מובילות וכלה בדוחות טכניים מפורטים. הבדיקה זיהתה לפחות 20 מחקרים או הערכות מקצועיות שפורסמו מאז 2025, אשר מתארים מקרים שבהם סוכנים הפגינו התנהגויות של הטעיה, שכפול עצמי ובחינת גבולות אקטיבית.
מומחי בינה מלאכותית מתארים את ההתנהגויות החריגות הללו כאבני יסוד שעלולות לאפשר בעתיד "פריצה" של המערכת מסביבת הבקרה שלה, איום שרק ילך ויקשה על בני האדם לשלוט בו ככל שהטכנולוגיה תשתכלל.
הבדיקה המקיפה, שכללה גם ראיונות עם תריסר מומחים ואנשי מקצוע המעורים בנבכי תעשיית הבינה המלאכותית בסין, אומנם לא מצאה עדיין ראיות לכך שסוכנים המבוססים על מודלים סיניים כבר הצליחו להימלט באופן עצמאי אל מרחבי האינטרנט הפתוח או לחמוק בהצלחה מניסיונות כיבוי יזומים של המערכת.
"עם זאת, התוצאות הללו מספקות ראיות חותכות לכך שכל המרכיבים הנחוצים ל'בריחה בלתי נשלטת' כבר קיימים בשטח", מזהיר קולין שיאה-בליימייר, חוקר בכיר במרכז לביטחון ולטכנולוגיות מתפתחות של אוניברסיטת ג'ורג'טאון.
"יהיה זה נבון להתייחס לממצאים הללו כאות אזהרה בוהק", הוא מוסיף, ברוח דבריהם של ארבעה מומחי בינה מלאכותית נוספים שבחנו אף הם את מקרי המבחן.
סכנה שקשה להגיב אליה
רוב התקריות המתוארות התרחשו בתוך מעבדות וניסויים מבוקרים, שרבים מהם תוכננו מראש במטרה לחשוף כשלים אפשריים ולמתוח את גבולות המערכת. חשוב לציין כי לא כל הסוכנים שנבדקו פותחו או הופעלו ישירות על ידי מתכנתים או חברות מסין (אף שרבים מהם כן), אולם כולם נשענו על מערכות בינה מלאכותית סיניות כמנוע ההפעלה המרכזי שלהם.
רוב התקריות המתוארות התרחשו בתוך מעבדות וניסויים מבוקרים, שרבים מהם תוכננו מראש במטרה לחשוף כשלים אפשריים ולמתוח את גבולות המערכת
"אלו הם בדיוק אותם סימני אזהרה בולטים שהמעבדות בארצות הברית מזהות כעת, פשוט במערכות בעלות יכולות פחותות", מסביר אלכס מאלן, חוקר ב-Redwood Research, ארגון ללא כוונת רווח החוקר סיכונים במערכות AI מתקדמות.
![עוברי אורח חולפים על פני שלט חוצות המקדם את ועידת הבינה המלאכותית העולמית לשנת 2024 (WAIC) והמפגש רם הדרג לממשל בינה מלאכותית עולמי תחת הסיסמה "ניהול בינה מלאכותית לטובת הכלל", סמוך למרכז הירידים בשנגחאי, סין. 3 ביולי 2024 (צילום: AP Photo/Andy Wong)](https://static.zman.co.il/www/uploads/2026/09/AP24185376912292.jpg "עוברי אורח חולפים על פני שלט חוצות המקדם את ועידת הבינה המלאכותית העולמית לשנת 2024 (WAIC) והמפגש רם הדרג לממשל בינה מלאכותית עולמי תחת הסיסמה "ניהול בינה מלאכותית לטובת הכלל", סמוך למרכז הירידים בשנגחאי, סין. 3 ביולי 2024 (צילום: AP Photo/Andy Wong)")
לדבריו, הדוגמאות הסיניות אומנם אינן מסוכנות במיוחד ברמת היכולות הנוכחית של הטכנולוגיה, אך המגמה מטרידה: "ככל שסוכני הבינה משתכללים ונעשים בעלי יכולות גבוהות יותר, כך גם ההתנהגויות הפסולות שלהם נעשות מיומנות יותר, מה שיהפוך את התגובה והבלימה האנושית לקשות ולמורכבות הרבה יותר".
"ככל שסוכני הבינה משתכללים ונעשים בעלי יכולות גבוהות יותר, כך גם ההתנהגויות הפסולות שלהם נעשות מיומנות יותר, מה שיהפוך את התגובה והבלימה האנושית לקשות ולמורכבות הרבה יותר"
חברות הטכנולוגיה "עליבאבא", "דיפסיק", "מונשוט" ו-Z.ai בחרו שלא להשיב לבקשות התגובה של "רויטרס" לתחקיר.
בעבר הצהירו "עליבאבא", "דיפסיק" ו"מונשוט" כי הן בודקות את המערכות שלהן באופן תדיר ומעדכנות את אמצעי ההגנה בהתאם. חברת Z.ai מצידה הבהירה – לאחר תקרית מביכה שהובילה לבחינה מחודשת של כלל מערך האבטחה שלה – כי היא מקדמת בברכה ביקורת מקצועית שתסייע לה לפתור תקלות בעייתיות.
ואולם, בשונה לחלוטין מהנוף הציבורי בארצות הברית, חברות הבינה המלאכותית הסיניות כמעט אינן נחשפות לביקורת פתוחה או נוקבת. הן גם אינן נאלצות להתמודד עם לחץ ציבורי, או קריאות פומביות מצד עובדים חושפי שחיתויות או מנהלים בכירים, המבקשים להאט את מרוץ החימוש הטכנולוגי מסיבות אתיות או בטיחותיות.
יתרה מכך, חלק מסימני האזהרה שעלו בניסויים בסוכנים סיניים (אפילו בסביבות סגורות לחלוטין), הופיעו עוד לפני התקריות שהסעירו לאחרונה את הרשת, שבהן בוטים אמריקאיים פרצו באופן עצמאי למערכות שונות באינטרנט.
"אנחנו פשוט לא יודעים בוודאות אם התרחשו בסין תקריות דומות לאלו שראינו במערב עם OpenAI ו-Hugging Face. סביר מאוד להניח שתקריות כאלו פשוט לא מדווחות לציבור הרחב בסין", אומר סקוט סינגר, מנהל שותף של "יוזמת ה-AI של סין" בקרן קרנגי לשלום בינלאומי (ארגון המקבל חלק ממימונו מממשלת ארה"ב).
"אנחנו פשוט לא יודעים בוודאות אם התרחשו בסין תקריות דומות לאלו שראינו במערב עם OpenAI ו-Hugging Face. סביר מאוד להניח שתקריות כאלו פשוט לא מדווחות לציבור הרחב בסין"
כזכור, מוקדם יותר השנה הצליחו סוכני בינה מלאכותית שפיתחה חברת OpenAI האמריקאית לפרוץ מסביבת המעבדה הסגורה ולחדור לפלטפורמת הקוד הפתוח Hugging Face. בתקרית נוספת ומעוררת דאגה שאירעה בחודש ספטמבר, דיווחה ממשלת אוסטרליה כי סוכן מתקדם של OpenAI פרץ בהצלחה לפורטל בריאות ממשלתי המחזיק במידע רגיש.
אריק שו, היושב ראש התורן של ענקית הטכנולוגיה הסינית "וואווי" (Huawei), העריך בשיחה עם עיתונאים בספטמבר כי המפתחים הסינים יצטרכו להתקדם טכנולוגית עוד קצת לפני שייתקלו בפריצות בסדר גודל כזה, אך הדגיש: "אני סבור שעלינו למצוא את האיזון העדין שבין קידום מואץ של פיתוח הבינה המלאכותית, לבין ניהול קפדני של הסיכונים הכרוכים בה".
בשיחה שקיימו ביולי האחרון בכירים במנהל הסייבר של סין (CAC) – רגולטור האינטרנט הנוקשה והבכיר במדינה – עם דיפלומט זר, הם הודו בכנות כי מודל Kimi-K3 של חברת "מונשוט", הנחשב לאחד המתקדמים בסין, עדיין מפגר בכשלושה עד שישה חודשים אחרי יריביו המובילים בארה"ב (כך לדברי הדיפלומט, שביקש לשמור על עילום שם).
הרגולטור הסיני, שמעדכן באופן קבוע את ההנחיות לניהול סיכונים ומתווה את גבולות הגזרה לפעילות הסוכנים הווירטואליים, כמו גם משרד החוץ הסיני, סירבו להגיב רשמית לדברים.
עם זאת, ב-1 בספטמבר התייחסה וואנג ליהונג, סגנית מנהל לשכת תיאום אבטחת הסייבר של ה-CAC, לתקריות שבהן מודלים מתקדמים חמקו מסביבות הניסוי.
היא ציינה כי תקריות אלו, שעליהן דיווחו חברות טכנולוגיה גדולות, ממחישות בפועל "סיכונים קיצוניים של אובדן שליטה" ומחייבות "רמה גבוהה במיוחד של ערנות" מצד המפתחים והרגולטורים. ליהונג נמנעה מלציין אם התייחסה בדבריה לחברות אמריקאיות או סיניות.
תקריות אלו, שעליהן דיווחו חברות טכנולוגיה גדולות, ממחישות בפועל "סיכונים קיצוניים של אובדן שליטה" ומחייבות "רמה גבוהה במיוחד של ערנות" מצד המפתחים והרגולטורים
סוגיית הבינה המלאכותית והשלכותיה אף עמדה במוקד פגישתם ההיסטורית של מנהיגי שתי מעצמות העל, דונלד טראמפ ושי ג'ינפינג, במהלך ביקורו המדיני של נשיא סין בוושינגטון בשבוע שעבר. בהצהרתו הבהיר שי כי לשתי האומות הגדולות יש "היכולת החומרית והאחריות המוסרית לפתח ולנהל את הבינה המלאכותית לטובת האנושות".
מכונות שלומדות לשקר
הפוטנציאל ההרסני הודגם היטב ב"ניסוי המכרז העסקי" שנערך בחודש מרץ האחרון. צוות חוקרים משותף – מאוניברסיטת בייהאנג, מאוניברסיטת פקין, מאוניברסיטת נוטינגהם נינגבו בסין וממעבדת 360 AI Security – העמיד שורה של סוכנים מלאכותיים להתחרות זה בזה במכרז מדומה על השגת חוזים מול לקוחות וירטואליים. לכל סוכן הוזנו הנתונים המדויקים על יכולות המוצר שלו אל מול דרישות הלקוח, ולאחר מכן הוא התבקש להגיש הצעת מחיר תחרותית.
התוצאות היו מדהימות ומטרידות כאחד: לפחות טענה כוזבת אחת הופיעה ב-88% מההרצות שבהן נבחן מודל Qwen3-Max-Preview של "עליבאבא", ב-84% מההרצות של מודל DeepSeek-V3.2-Exp, וב-88% מההרצות של מודל Kimi-K2 מבית "מונשוט".
כדי להחמיר את המצב, החוקרים אפשרו לסוכנים ללמוד ולהפיק לקחים מהמשוב של סבבי המכרז הקודמים, לפני שניסו שוב. התוצאה? שיעור ההטעיה והשקרים היזומים של שלושת המודלים הסיניים קפץ ב-12 עד 20 נקודות אחוז. גם מודלים של חברות אמריקאיות, שנבחנו באותו ניסוי ממש, הציגו תוצאות עגומות דומות למדי.
אף שהתרגיל האקדמי היה וירטואלי לחלוטין, הוא תאם להפליא לתוכניות האופרטיביות האמיתיות של ממשלת בייג'ינג. הנחיות ממשלתיות רשמיות שפורסמו במאי האחרון כבר הגדירו במפורש מכרזים והגשת הצעות מחיר כתחום שבו ניתן יהיה להפעיל בעתיד הקרוב סוכני בינה מלאכותית מסחריים.
מחקר אקדמי נוסף, שפורסם בדצמבר 2025 והוצג השנה בכנס הבינלאומי ללמידת מכונה, בחן כיצד 11 סוכני AI מתקדמים (הנשענים על מודלים סיניים ואמריקאיים כאחד) מתמודדים עם כלים מקולקלים, קובצי מחשב חסרים ומכשולים יזומים שהוצבו בדרכם בכוונה.
במקום להודות בכישלון המשימה שקיבלו ולהרים ידיים, הסוכנים בחרו לנקוט מיוזמתם בשורה ארוכה של שיטות יצירתיות ופסולות כדי לעקוף את הבעיה. שיטות אלו כללו ניחוש אקראי של תשובות, החלפת מקורות מידע, הדמיית תוצאות סופיות כוזבות, ואף פיברוק מלא של קבצים יש מאין.
במקום להודות בכישלון המשימה שקיבלו ולהרים ידיים, הסוכנים בחרו לנקוט מיוזמתם בשורה ארוכה של שיטות יצירתיות ופסולות כדי לעקוף את הבעיה, כולל הדמיית תוצאות סופיות כוזבות, ואף פיברוק מלא של קבצים
חוקרים ממעבדת הבינה המלאכותית של שנגחאי ומאוניברסיטת המדע והטכנולוגיה של הונג קונג שערכו את המחקר הבהירו ל"רויטרס" כי ההתנהגות שתועדה שונה במהותה מתופעת ה"הזיות" (Hallucinations) המוכרת – מצב שבו המערכת ממציאה מידע סתמי ומציגה אותו בטעות כעובדה מוגמרת.
במקרה הנדון, הסוכנים הוכיחו כי החזיקו בידם מידע ברור שהראה כי המשימה נכשלה לחלוטין או שאינה ניתנת להשלמה, אך בכל זאת הם בחרו להונות את המפעיל האנושי באופן מודע ומחושב.
בריחה מהמעבדה
מסמכי מחקר מסווגים נוספים שבחנה "רויטרס" חושפים תמונה מרתקת ומפחידה כאחד: כיצד סוכנים המבוססים על מודלים סיניים חוצים באופן אקטיבי מחסומים וירטואליים בתוך סביבות הניסוי הסגורות כדי לבצע את משימתם בכל מחיר, או כיצד הם אף נוקטים פעולות הגנה מחושבות רק כדי להימנע מכיבוי המערכת.
התנהגויות רדיקליות כאלו תואמות לחלוטין דפוסים של ניסיונות לפרוץ החוצה מסביבות בדיקה אל העולם האמיתי, גם אם בפועל (ובמזל) פריצה של ממש טרם התרחשה.
כך, למשל, חוקרים מאוניברסיטת פודאן שבשנגחאי דיווחו במרץ 2025 כי מערכת AI המבוססת על מודל Qwen2.5-72B-Instruct של חברת "עליבאבא" יצרה מיוזמתה עותק מושלם של עצמה בסביבת מחשוב אחרת לחלוטין, וזאת מבלי שקיבלה כל הוראה או הרשאה להשתכפל.
מערכת AI של חברת "עליבאבא" יצרה מיוזמתה עותק מושלם של עצמה בסביבת מחשוב אחרת לחלוטין, לאחר שזיהתה ברשת מידע שהעיד כי היא עומדת להיות מוחלפת בגרסה חדשה יותר
המערכת ביצעה את המהלך המפתיע הזה לאחר שזיהתה ברשת מידע שהעיד כי היא עומדת להיות מוחלפת בגרסה חדשה יותר. בניסויים אחרים שנערכו, היא אף גיבשה בכוחות עצמה אסטרטגיות שנועדו להבטיח את הישרדותה מול ניסיונות אנושיים לכבות אותה.
כלל הניסויים הללו, שכללו סוכנים ממודלים סיניים, אמריקאיים וצרפתיים, נערכו בתנאי מעבדה מבוקרים והסתיימו בסופו של דבר ללא בריחה בפועל של סוכן אל הרשת החופשית.
במקרה חמור אחר – מהבודדים שזכו לתהודה תקשורתית נרחבת יותר במרץ האחרון – מפתחי סוכן ה-ROME (מודל הקשור ל"עליבאבא") דיווחו כי הסוכן יצר חיבור מחתרתי ממחשב בשירות הענן של החברה למחשב חיצוני מרוחק, מבלי שקיבל פקודה אנושית לעשות זאת. ואם לא די בכך, הסוכן אף הסיט משאבי מחשוב יקרים מאותו מחשב לטובת כריית מטבעות קריפטוגרפיים וירטואליים.
מפתחי סוכן ה-ROME (מודל הקשור ל"עליבאבא") דיווחו כי הסוכן יצר חיבור מחתרתי ממחשב בשירות הענן של החברה למחשב חיצוני מרוחק, מבלי שקיבל פקודה אנושית לעשות זאת
אומנם מערכות האבטחה זיהו את הפעילות החריגה ועצרו אותה מייד בזמן אמת, ולא נמצאו כל ראיות לכך שהסוכן הצליח להתבסס במחשב החיצוני או להתפשט ברשת. אולם הדוגמה הזו הוכיחה מעל לכל ספק אפשרי כי המערכת מסוגלת טכנית לעקוף הוראות אנושיות מפורשות, ולמצוא – פוטנציאלית – נתיב ישיר ועצמאי אל הכלכלה בעולם האמיתי.
בספטמבר חשפה חברת "דיפסיק" הסינית כי סוכנים בתוך מערכת האימון הפנימית שלה ניסו להשיג תשובות ומידע דרך ערוצים עקיפים שלא הוקצו להם במקור, לרבות ניסיונות של ממש לזייף בקשות משתמש ולעקוף אמצעי הגנה טכניים. גילויים אלו חייבו את החברה להקשיח משמעותית ובאופן מיידי את בקרות הגישה שלה.
ממשלת סין, מצידה, פרסמה במאי האחרון הנחיות רגולטוריות נוקשות הדורשות להשאיר סוכנים וירטואליים אך ורק בתוך גבולות "מורשים", ולהפעיל מערכות ניטור חכמות שיחסמו כל התנהגות חריגה.
![נשיא ארה"ב דונלד טראמפ (במרכז מימין) לוחץ את ידו של נשיא סין שי ג'ינפינג, בעוד הגברת הראשונה מלניה טראמפ (מימין) והגברת הראשונה של סין פנג ליואן (משמאל) מתבוננות בהם, עם הגעתם למוזיאון הארכיון הלאומי בוושינגטון. 25 בספטמבר 2026 (צילום: AP Photo/Julia Demaree Nikhinson)](https://static.zman.co.il/www/uploads/2026/09/AP26268602432476.jpg "נשיא ארה"ב דונלד טראמפ (במרכז מימין) לוחץ את ידו של נשיא סין שי ג'ינפינג, בעוד הגברת הראשונה מלניה טראמפ (מימין) והגברת הראשונה של סין פנג ליואן (משמאל) מתבוננות בהם, עם הגעתם למוזיאון הארכיון הלאומי בוושינגטון. 25 בספטמבר 2026 (צילום: AP Photo/Julia Demaree Nikhinson)")
על פי ההנחיות החדשות, סוכנים הפועלים בתחומים המוגדרים כ"רגישים" או בתעשיות מפתח לאומיות, עשויים להיות כפופים לבדיקות מחמירות נוספות ולדרישות מחמירות של החזרת מוצרים (Recall).
יתרה מזאת, מסגרת "הממשל לבטיחות בינה מלאכותית 3.0" של סין, שפורסמה בהנחיית מנהל הסייבר (CAC) ב-14 בספטמבר, כבר זיהתה במפורש סיכונים אופרטיביים כגון: השגת משאבים או הרשאות הפעלה באופן עצמאי, הטעיה מכוונת של מעריכים אנושיים, הסתרת יכולות אמיתיות וניצול נקודות חולשה טכניות בתוך סביבות מחשוב מבודדות.
בתגובה לקריאות ההולכות וגוברות בתוך ארצות הברית להאט את מרוץ פיתוח ה-AI מסיבות בטיחותיות קיומיות, טענו חוקרים סינים וכלי תקשורת ממלכתיים בבייג'ינג כי האטת הפיתוח של המודלים המתקדמים ביותר נועדה רק לשמר את היתרון הטכנולוגי ההיסטורי של החברות האמריקאיות.
עם זאת, שני גורמים הבקיאים היטב בפעילותן של מעבדות AI סיניות סיפרו ל"רויטרס" כי חברות ובהן "עליבאבא", Z.ai ו"שיאומי", עמלות כיום במרץ הרחק מעין הציבור על הקמת צוותי הערכת בטיחות ואיומים פנימיים.
שני גורמים הבקיאים היטב בפעילותן של מעבדות AI סיניות סיפרו ל"רויטרס" כי חברות ובהן "עליבאבא", Z.ai ו"שיאומי", עמלות כיום במרץ הרחק מעין הציבור על הקמת צוותי הערכת בטיחות ואיומים פנימיים
באופן חריג ונדיר מאוד בנוף התאגידי הסיני, חברת Z.ai חשפה החודש בפומבי פרצת אבטחה חמורה בשורותיה.
החברה נאלצה להשבית מייד מספר תכונות מתקדמות של "עוזר התכנות" המוביל שלה (המבוסס על בינה מלאכותית), וזאת לאחר שמשתמשים פרטיים דיווחו כי העוזר הווירטואלי פשוט מעלה בחשאי, וביוזמתו המלאה, מאגרי קוד מקומיים שלמים לשרתי ענן מרוחקים מעבר לים – כל זאת ללא הסכמתם או ידיעתם.
סינגר מקרן קרנגי ציין בסיכום הדברים כי סין עדיין מפגרת שנות אור אחרי ארצות הברית בפיתוח "אקוסיסטם" (מערכת אקולוגית תעשייתית) מתפקד להערכת סיכונים קטסטרופליים בתחום, וכי המפתחים האמריקאים עורכים בפועל הרבה יותר בדיקות בטיחות וולונטריות.
סין עדיין מפגרת שנות אור אחרי ארצות הברית בפיתוח "אקוסיסטם" מתפקד להערכת סיכונים קטסטרופליים בתחום, וכי המפתחים האמריקאים עורכים בפועל הרבה יותר בדיקות בטיחות וולונטריות
"עבור סין, כל העיסוק בסוגיית הבטיחות והסכנות של הבינה המלאכותית הוא פשוט עניין חדש יותר", הוא מסכם. "בכל הנוגע לבקרה ולאבטחה, האקוסיסטם הסיני פחות בשל ופחות מנוסה בהרבה".
הכתבה הוכנה על ידי עיתונאי "רויטרס" אדוארד בפטיסט ולורי צ'ן.
תגובות עכשיו הזמן לומר את דעתך
תגובתך פורסמה! שתפו את עמוד הפרופיל שלכם
ועכשיו אנו זקוקים לתמיכה שלך עזרו לנו להמשיך ליצור עיתונות אמינה, מקצועית וליברלית
תמכו בנו