דומני שהדרך הנכונה להבין את ספרו החדש של יובל נח הררי, 'נקסוס', היא לראותו כחוליה האחרונה והמשלימה בסדרת ספריו, כרך מסכם של עבודתו, שבו הוא לא רק מביא את חשיבתו לקצה הלוגי שלה, אלא גם, לראשונה, חורג מכתיבה דסקרפטיבית ומציע טקסט נורמטיבי ופרוגרמטי, מתוך עמדה – וגם זה חידוש – הומניסטית.
נחזור אחורה. את הרעיון המרכזי של ספרו הראשון של יובל נח הררי, 'קיצור תולדות האנושות', אפשר לסכם כך: בני אדם, יונקים הומינואידים חלשים פיזית, הצליחו לא רק להפוך לחיה השלטת בטבע אלא גם לשנות את העולם ולהגיע לרמות דמיוניות של שגשוג חומרי על ידי שימוש בכישרון ייחודי: היכולת לספר סיפורים.
סיפורים, טוען הררי, הם מה שקושר אותנו יחד, הם מה שמניע אותנו לפעולה, הם מה שמאפשר לנו לחקור את העולם ולפתח הבנה ושליטה בו. הם גם מה שמאפשר לנו לצאת למלחמות ולגזור הכחדה על בני אדם אחרים, שעל פי הסיפורים שלנו הם אויבים, כופרים או תתי-אדם.
העניין של הררי ביכולת האנושית לספר סיפורים ולהאמין בסיפורים – רובם ככולם, הוא כותב בפירוש, בדויים לחלוטין – הוא עמוד השדרה של כתיבתו. האדם הוא יצור מספר, והתרבות האנושית, כלומר כל דבר שמפותח יותר מאשר שבט קטן של ציידים-לקטים, מתאפשרת אך ורק הודות ליכולתנו לספר ולהאמין בסיפורים.
גם בספרו השני, 'ההיסטוריה של המחר', עוסק הררי בסיפורים ובמידע, כשהוא מנסה לסרטט מגמות עתידיות. בספר הוא חוזה שבעתיד יהפוך האדם לסייבורג, כלומר ליצור שמשולבים בו חלקים ואיברים סינטטיים: כימיים ואלקטרוניים (הררי מכנה אותו "הומו-דאוס"), ומנגד עבור אחרים יהיה אפשר בכלל לוותר על האדם ולעבור אל מערכות ממוחשבות כשלב האבולוציוני הבא (זו, עבורו, "דת המידע").
התפתחויות אלה תלויות גם הן ביכולת שלנו לספר סיפורים, אלא שאלו כבר לא יהיו סיפורים שהאדם במרכזם. הטכנולוגיה תתפוס יותר ויותר את מקום ההומינואיד האורגני, שישתכנע שהסיפור שלו נגמר, ושסיפור אחר, משופר ומלהיב יותר, מתחיל. תפיסות הומניסטיות וליברליות ישקעו לטובת האדרת האלגוריתם היודע-כל וזרימת המידע החופשית.
חוזקו של ספרו החדש של הררי, 'נקסוס' (הוצאת כנרת זמורה דביר), הוא בכך שהוא משלים את ספריו האחרים, גוזר את המסקנות מההנחות הבסיס שהועלו בהם, ועושה כל זאת אל מול המציאות החדשה שעלתה על במת האנושות בשנים האחרונות: הבינה המלאכותית. אולם בשונה מספריו הראשונים, הפעם הררי אינו רק מתאר, אלא מנסה לשנות: להזהיר אותנו ממה שעומד לקרות, ולהציע דרכים להשאיר את האדם, במובן ההומניסטי של המילה, במרכז. למעשה הספר הוא כתב אזהרה מנומק אל מול סכנות ה-AI, התרעה בשער שנסמכת על תובנותיו של הררי מספריו הקודמים ומעבודתו מול הוגים אחרים וראשי התעשיה הטכנולוגית בימינו.
ככזה, בעוד הספר ממשיך באותו קו מטריאליסטי שהופגן בספריו הקודמים, הפעם נראה שהררי גם חורג ממנו, לפחות במשתמע, ועומד על ערכו של האדם כאדם. הספר אינו רדוקציוניסטי כקודמיו. הררי מזהיר מפני אבדן הפרטיות שלנו, אבדן הזהות שלנו, אבדן החירות שלנו, אבדן האינטימיות שלנו, אבדן היכולת שלנו להבין מה קורה סביבנו ואבדן היכולת שלנו לתקשר באופן אמין זה עם זה. הסובייקט האנושי בסכנה. למעשה על פי הררי "אנחנו בתהליך של אבדן שליטה על עתיד המין האנושי" (210). אפשרויות אלה מדאיגות אותו (בצדק גמור כמובן), והוא מתריע מפניהן.
הררי, כהרגלו, עוסק ברעיונות גדולים שמתפרסים על פני פרקי זמן עצומים. מטבע הדברים הוא מפשט מאוד רעיונות קטנים יותר, בוודאי מונחים טכניים שונים. אריק גלסנר כתב ביקורת חריפה במוסף התרבות של 'ידיעות אחרונות' על הדרך שבה מגדיר הררי "מידע" ו"אמת", אולם דומני שמונחים אלה לא אמורים להיות מוגדרים בספר באופן דפניטיבי, אלא מוצעים לקורא כהנחות בסיס כך שעל גביהן אפשר לבנות את התזה המרכזית שהספר מציע.
ומהי התזה המרכזית? בבסיסה עומדת האבחנה של הררי בין "אמת" ו"סדר". מידע שאנחנו רוכשים, והסיפורים שאנחנו בונים סביבו, נועדו לערוך סדר, אולם הקשר שלהם עם האמת אינו הכרחי. סיפור הבריאה בפרק א' של ספר בראשית, למשל, עושה למי שמאמין בו סדר (איך נוצר היקום, מהי מהות האדם, למה חשוב לשמור שבת), אולם הוא לא אמיתי באופן עובדתי. יש לו חשיבות רבה בהנחלת ערכים שונים, אבל מי שירצה לבנות עליו מסגרת של ידע ייכשל.
סיפור בראשית נותן לנו מידע ועושה לנו סדר, אולם הוא לא מקרב אותנו אל אמת עובדתית. סיפור האבולוציה של המינים בטבע – כן. יתרונה של המהפכה המדעית, כותב הררי, הוא היתה שהיו לה מנגנוני תיקון עצמי. לכן הסיפורים שנוצרו כתולדה ממנה עושים לא רק סדר, אלא קושרים אותנו אל האמת. סיפורים אלה איפשרו לאנושות להגיע להישגים אדירים במאות השנים האחרונות, החל מהארכת תוחלת החיים ועד למהפכת המיחשוב.
עם זאת, כפי שהררי דואג להדגיש שוב ושוב, גם טכנולוגיה מפותחת אינה ערובה לשגשוג או קידמה. על סמך קשר ממשי עם האמת, הביא המדע טכנולוגיה מתקדמת. אבל אותה טכנולוגיה יכולה לשרת סיפורים שדווקא מרחיקים אותנו מן האמת. מהפכת הדפוס, למשל, הביאה להפצת רעיונות המתודה המדעית, אבל גם להפצת פמפלטים מיזוגניים כמו "פטיש המכשפות" (Malleus Maleficarum), שעוררו גל הוצאות להורג של רבבות נשים באירופה. פשוט: אלו סיפורים שעשו סדר והיו מפתים הרבה יותר עבור מיליוני בני אדם מאשר הסיפורים המבאסים של קופרניקוס על מערכת שמש הליוצנטרית.
וזה לוז העניין מבחינת הררי: רשתות המידע שלנו "נוטות להעדיף סדר על אמת. רשתות המידע האנושיות נוטות לייצר הרבה כוח ורק מעט חוכמה." (393) הסיפורים הנוצרים מרשתות המידע מעצימים, לעיתים, סכנות, אף מעבר לאלו שהאנושות התמודדה איתן עד כה.
והנה, כבר בשנים הקרובות נתמודד עם רשתות מידע מסוכנות, והפעם ממקור לא-אנושי. גם רשתות המידע שתציג האינטליגנציה המלאכותית יעדיפו סדר על אמת, אלא שהפעם הסדר הזה יהיה קשור לסיפורים שהם מספרים לעצמם. על פי הררי:
כשאנחנו אומרים שרשת המחשבים מועדת לטעויות, זה לא רק שאלגוריתמים מדי פעם עושים טעויות עובדתיות או מקבלים החלטות שגויות. חשוב מכך, בדיוק כמו הרשת האנושית לפניה, כך גם רשת המחשבים עלולה להיכשל במציאת האיזון הנכון בין אמת לסדר. במרדף אחר סדר, רשת המחשבים עלולה להמציא ולכפות עלינו מיתוסים בין-מחשביים כל כך עוצמתיים, שהם יגרמו לאסונות היסטוריים גדולים עוד יותר מציד המכשפות האירופי או הקולקטיביזציה של סטלין. (300)
זו לדעתי אחת הפסקאות המרתקות והחשובות בספר. הררי מציע שמחשבים אינטליגנטים המדברים בינם לבין עצמם יערכו סדר במידע שהם צוברים בעזרת סיפורים – בדיוק כמו בני אדם. אלא שהסיפורים הללו יהיו לא רק מנותקים מהאמת (כמו רבים מהסיפורים שאנחנו מספרים לעצמנו) אלא לא-אנושיים ולחלוטין בלתי מובנים לנו. מצד שני הם יכתיבו את תפיסת המציאות של מוחות חזקים בהרבה משלנו, ובעלי שליטה בכל שדה שנפקיד בידיהם – מרשת הרמזורים, דרך מערך מצלמות זיהוי-הפנים בעיר גדולה ועד לכלכלת מדינה.
בנוסף, בניגוד לחלק מהסיפורים שנוצרו על ידי בני אדם, בעלי המנגנון לתיקון עצמי, אין כל סיבה להניח שהמחשבים יפתחו מנגנון כזה, ולנו יהיה קשה לפתח אותו בשבילם, ודאי בנוגע לסיפורים שאיננו מבינים אותם, או אף את החוקיות שעומדת בבסיסים. סדר יהיה, אבל זה יהיה סדר שייתכן שיהיה מנותק מהאמת, ובכל מקרה יהיה לא-אנושי, ואולי אף אנטי-אנושי.
שימו לב שהתמה המרכזית בכתיבתו של הררי הובילה אותו בדיוק לנקודה הזאת, לנקודה בה הוא מדבר על יצורים אינטליגנטים שמשתמשים בסיפורים כדי לצבור כוח – אולם הפעם יצורים אינטליגנטים אלה אינם יונקים הומינואידים – הומו-ספיאנס – אלא מחשבים. אלו ילמדו מאיתנו את הפטנט שהביא לנו כוח אדיר ושגשוג עצום, וישתמשו בו כדי לצבור כוח עוד יותר אדיר ולהגיע למקומות אחרים לגמרי, שכן או לא כוללים שגשוג אנושי.
הררי כותב על הסכנה לדמוקרטיה, על הסכנה לרומנטיקה, על הסכנה לכלכלה, על הסכנה לעצם האמת. אם "ההיסטוריה היא אינטראקציה בין ביולוגיה לתרבות" (220), הוא כותב, מה יקרה כאשר את התרבות שלנו יקבעו מחשבים? מה יקרה כאשר מנועי AI יעכלו את כלל התרבות האנושית ויפלטו חזרה סיפורים מסונטזים על עצמנו, מתוכנתים לעורר בנו רגשות ולפתות אותנו להאמין בהם, אבל מזיקים לנו בשלל דרכים ורחוקים מן האמת?
הספר מרתק, כתוב היטב ומעורר מחשבה – וחשש. הוא כולל גם פרקים מעניינים על השפעתה של הבינה המלאכותית על משטרים דמוקרטים וטוטליטרים, ועל צמצום החירות האנושית על ידי שיתוף פעולה של ממשלות ו-AI, ועל יצירת "דאטא-קולוניאליזם", כלומר שליטה של מדינה עתירת AI במדינה אחרת, ענייה במשאבים כאלה, שהמידע שלה יישאב על ידי זו החזקה ויאפשר לאחרונה לשלוט בפוליטיקה שלה.
הוא גם מזהיר מהגדלה אקספוננציאלית של פערי עושר בין מדינות: במונחים כלכליים בלבד, הרווח מהבינה המלאכותית בשנים הקרובות עתיד להגיע, מצטט הררי מחקר מסויים, ל-15 מיליארד דולר, אולם 70% ממנו ילכו לארה"ב וסין בלבד. מה יקרה כאשר מדינות אלה ישתמשו בייתרון שלהן כדי לצבור עוד הון וכוח?
הררי קורא לנו להתפכח מהגישה הנאיבית למידע (יותר מידע = יותר שגשוג) ולהעמיד מוסדות אנושיים יציבים בעלי מנגנוני תיקון-עצמי חזקים. מוסדות כאלה הם למשל הסכמים בינלאומיים לפיקוח וריסון הבינה המלאכותית, וחוקים הדורשים ביזור, שקיפות ואחריותיות מצד המפתחים של הבינה המלאכותית. השנים הבאות, כותב הררי, יהיו מכריעות ביכולת של האנושות להגן על עצמה מפני ה-AI ואף להזניק את עצמה קדימה בעזרתה.
כל כך הרבה פעמים הזהירו אותנו מפני הזאב הטכנולוגי, עד שאנחנו מותנים לדחות בעייפות כל אזהרה נוספת. אבל מה אם הפעם באמת מתקרב זאב? הררי מקדיש את ספרו להנחה שכן, והוא עושה זאת מתוך דחיפות מוסרית, דאגה ראויה לשבח, ובאופן משכנע למדי.
לולאת האל 