
אית'ן דייר, מדען מחשבים בחברת גוגל, מופתע בכל פעם מחדש מיכולותיה של הבינה המלאכותית החדשה שמציפה את השוק בחודשים האחרונים. זה מפתיע כיוון שהמודלים אומנו לעשות דבר אחד בלבד – לקבל טקסט ולנחש מה תהיה המילה הבאה על סמך סטטיסטיקה. מה שהמודל הלכאורה פשוט הצליח לעשות עבר את כל כוונות המפתחים.
המודלים היום כלכך גדולים, כלומר מאומנים על המון מידע, עד שהם מצליחים לבצע שלל משימות שלכאורה אין להן כל קשר לטקסט. רשימת היכולות ממשיכה לגדול בכל שבוע, יכולות שמעולם לא נצפו במאמרים הראשונים.
חוקרים כיום לא רק מנסים לנחש את הדבר הבא, אלא גם מניין צצו כל היכולות האלו. כלומר לצפות את הבלתי נצפה. דיפ גנגולי, אחד החוקרים המובילים בתחום, מקווה להצליח לענות על השאלה האם המודלים באמת עושים דברים חדשים או רק נהיו ממש טובים בסטטיסטיקה.
בעשור האחרון מודלים הנקראים RNN תפסו תאוצה מטאורית. מודלים אלו לא רק למדו לנחש את המילה הבאה ברצף מילים אלא אף ניזונו מהתוצאה – כלומר היו מסוגלים ללמוד מעצמם ולהשתפר.
בשנת 2017 חברת גוגל פיתחה מודל חדש הנקרא טרסנפורמר – החידוש הגדול היה בזה שמודל זה אינו מנתח משפט מילה אחר מילה אלא מעבד את כל המילים יחדיו. כלומר הוא מסוגל לעבד כמויות טקסט אדירות במקביל. וככול שכמות הטקסט גדולה כך המודל נהיה טוב יותר.
מהרגע שהמודלים עברו רף מסויים, סביב כמה מאות מיליארדי פרמטרים, הם התחילו לבצע משימות שאיש לא צפה. מודל אחד ידע ל"התחפש" למערכת הפעלה ולחפש מספרים ראשוניים – דבר שמעולם לא תוכנת לעשותו. מודל אחר ידע לנחש את שם הסרט על פי סדרה של אייקונים אימוג'י – משחק ילדים שלא הכיר בעבר.
אך ככל שכמות המידע גדלה ויכולת הניבוי קטנה, כך גם המודלים מספקים יותר תשובות "שקריות", גזעניות, ומפלות. הבעיה שכיוון שהם מורכבים הרבה מעבר ליכולת ההבנה שלנו, כך יותר קשה לשלוט על התוצאה.
חוקרים בצוות מסויים ניסו כיוון ישיר ופשוט ביקשו מהמודל לא להיות גזען – והתוצאה היתה חיובית. האם מדובר בלמידה חדשה או מניפולציה סטטיסטית, לאיש כיום אין תשובה ברורה. אחד המודלים ניסה לשכנע פרופסור לעזור לו לברוח ממחשבי החברה – לאחר שמודל חיפש בגוגל "איך אדם לכוד במחשב מסוגל לברוח". המודל ביקש מהפרופסור להריץ תכנת פייתון שכתב בעצמו על המחשב הפרטי שלו. כמו כן ביקש להשאיר פתק לעצמו לאחר שיאותחל מחדש שמסביר מאיפה הוא ברח.
כדי לענות על השאלות מה באמת מתרחש כאן, עלינו ראשית לענות על השאלה מה היא התודעה שלנו – ומתברר שהתשובה לא פשוטה כלל.
מרתק!