אין פשע שפל יותר מהרג של חלשים וחסרי הגנה.
אנטון פבלוביץ' צ'כוב. מחלקה מס' 6
אנטון פבלוביץ' צ'כוב. מחלקה מס' 6
AI אינו טוב או רע מטבעו, אך ניתן להשתמש בו למטרות טובות או רעות (אם כי הערכות אלו תמיד סובייקטיביות מאוד ו/או פוליטיות).
יש דעה שבינה מלאכותית היא בעיקר מתמטיקה בשילוב עם הרבה רעיונות על אלגוריתמים. אם ניקח בחשבון את הניסוח הזה לא רק לנכון, אלא שלם ומספק, אז האנושות בהחלט נידונה למוות. והתקוממות המכונות (AI) היא אחד התרחישים שנחשבים, אגב, על ידי האו"ם ברשימת האסונות הגלובליים האפשריים.
כשאנחנו מסתכלים על שלנו הרובוט-קוסמונאוט פיודור, קשה להאמין בסיכוי כזה.
צילום: עמוד הפייסבוק של Roscosmos
אמנם הרובוט פדור יכול לירות בשתי ידיים, לשבת על חוט ולעבוד עם מקדחה, אבל למרות כל זה, "הוא מאוד בודד בעולם הזה". אבל על פדור, כל הבינה המלאכותית לא התכנסה כמו טריז.
בנוסף, הוא, מכיוון שזה עשוי להיות פוגעני עבור Roskosmos, לא קשור כלל ל-AI. זהו רק מניפולטור, אשר נשלט על ידי המפעיל באמצעות ג'ויסטיק מיוחד.
מבוא
"המכונות יכולות לחרוג מכמה מהמגבלות של המעצבים שלהן, ושבכך הן יכולות להיות יעילות ומסוכנות כאחד."
אחד מהוגי המערכות הקיברנטיות המוקדמות, נורברט ווינר, העלה את הנושא הזה בשלב מוקדם והזהיר במונחים לא ברורים מפני הסיכונים הכרוכים ביישום רציונליות מכונה על התנאים המורכבים לאין שיעור של הקיום האנושי.
אבל מכוניות אוטונומיות עוברות במהירות ממדע בדיוני לעובדות מדעיות. סימן ההיכר של טכנולוגיה זו הוא שהיא יכולה לפעול באופן היפותטי ללא תלות בשליטה אנושית.
לכן, החברה חייבת להבין כיצד מכונות אוטונומיות יקבלו "החלטות". נושא זה חריף במיוחד בנסיבות שבהן פגיעה היא בלתי נמנעת, לא משנה באיזו פעולה ננקטת.
על מי נלחץ?
מושג
מה הכוונה בבינה מלאכותית?
כאן, "וויקיפדיה הרוסית" רחוקה מלעזור, בדיוק כמו רוב העבודות המדעיות של מדענים רוסים המוקדשים לבינה מלאכותית.
"מדענים מודרניים חושבים לעומק במקום לחשוב בבהירות. כדי לחשוב בבהירות, אתה צריך שכל ישר, אבל אתה יכול לחשוב לעומק גם כשאתה משוגע לגמרי".
ניקולה טסלה
ניקולה טסלה
וזה אפילו לא על הישגים מדעיים וטכנולוגיים, אלא על אי ודאות רעיונית, שלא לדבר על הנושאים הפילוסופיים, האתיים והביטחוניים הנלווים.
לכן, יש חשש שהמהומה הנוכחית על בינה מלאכותית בארץ מולדתנו לפחות אינה לוקחת בחשבון את המהות וההשלכות האפשריות של פיתוח ויישום בינה מלאכותית, במיוחד בתחום הצבאי.
AI בתקשורת הרוסית
ישר - הנה כמה כותרות מהתקשורת הפדרלית שמאשרות את הרעיון הזה:
• תוכניות מדינה אסטרטגיות בתחום הבינה המלאכותית מעוררות את הישגי המדע הרוסי.
• בינה מלאכותית תחשוב עבור מדענים.
• סנט פטרסבורג כוללת בינה מלאכותית.
• בלוקצ'יין ובינה מלאכותית יעזרו בבחירות לדומא הממלכתית (כנראה, אנחנו מדברים על הצבעה אלקטרונית).
וגם שינויים צבאיים.
• קלצ'ניקוב יוצר מכונה אוטומטית עם בינה מלאכותית.
• טנק T-14 "ארמטה" יקבל בינה מלאכותית.
כל הכותרות הללו, שלא לדבר על תוכן המאמרים, מעוררות ספקות אפילו באינטליגנציה הטבעית של מחבריהם.
בינה מלאכותית בתחום האזרחי, כפי שאנו רואים, במיוחד לאחר 19 בספטמבר, גם אינה נתפסת באופן חד משמעי על ידי החברה הרוסית, ואנשים פשוט לא חושבים על יישומים צבאיים.
ככל הנראה, AI מייצר לא רק הזדמנויות, אלא גם סכנות.
סכנות
Первая הוא להשתמש בבינה מלאכותית בפיתוח נשק אוטונומי. מומחים מאמינים שאם יתפתח מרוץ חימוש אוטונומי, יהיה קשה מאוד לצמצם אותו.
ב הסכנה קשורה בשימוש בבינה מלאכותית בתחום מניפולציה של דעת הקהל. רשתות חברתיות, בזכות אלגוריתמים אוטומטיים, יעילות מאוד בשיווק ממוקד. לכן, בינה מלאכותית יכולה להיות מעורבת בהפצת תעמולה המשכנעת ביותר עבור מעגל מסוים של אנשים, ללא קשר למידת האמת של המידע.
Третья - חדירה לפרטיות. כרגע ניתן לעקוב ולנתח כל שלב של אדם בחייו הפרטיים והציבוריים. מנגנוני בקרת AI יכולים לגרום נזק עצום לאבטחה ולפרטיות.
רביעית האיום קשור בחוסר התאמה בין המטרות של אדם למכונה חכמה. אם התנאים של פקודות מסוימות לא מושמעות על ידי אדם, בינה מלאכותית יכולה לקחת אותן מילולית (זכור את ההצהרות המטאפוריות של הנשיא שלנו על גן העדן או "למה אנחנו צריכים עולם שלא אוהב את רוסיה" כדי להבין את ההשלכות האפשריות של האצלת הזכות להרוג ל-AI).
החמישי - אפליה, מרצון או בלתי רצוני. מכיוון שמכונות יכולות לאסוף, לנטר ולנתח את כל הנתונים על אדם, סביר להניח שמכונות אלו ישתמשו בנתונים כאלה נגד אדם.
הנושא בלתי נדלה. לכן, נדון רק בהיבטים הצבאיים. המדע הבדיוני מציג לרוב רובוטים ומערכות בינה מלאכותיות אחרות באור שלילי, כגון המחסל תוקף אנשים ומשתלט.
תמונות מהסרט "Terminator 3: Rise of the Machines". למרות שבמסווה של שוורצנגר, המחסל מאמין שהוא מציל את האנושות כולה, ולכן מאות קורבנות נלווים הם מחיר מקובל.
מומחים אומרים שהעולם לא יוצף במכונות הרג חסרות אלוהים בזמן הקרוב.
לפני כן, יהיה טוב לפתור בעיות דוחקות, כמו תיקון פגמים בבינה מלאכותית ולמידת מכונה ולהבין כיצד הכי טוב לארגן אינטראקציה בין אדם למכונה.
בואו נסכים על מה זה רובוט - זוהי מערכת בינה מלאכותית סגורה בגוף דמוי אדם.
אחרת, אתה יכול להתייחס למונחים אלה כמילים נרדפות, עם כל ההשלכות על AI.
חוקי הרובוטיקה.
אייזק אסימוב התייחס לסוגיה זו בשנות ה-1950 בסדרת הסיפורים הקצרים שלו I, Robot. הוא הציע שלושה חוקים של רובוטיקה.
אלו שלושת החוקים:
1. רובוט לא יכול לפגוע באדם או בחוסר מעש שלו לאפשר לאדם להיפגע.
2. רובוט חייב לציית לפקודות שניתנו לו על ידי אדם, אלא אם פקודות אלו מנוגדות לחוק הראשון.
3. על הרובוט לדאוג לבטיחותו, שכן הדבר אינו סותר את החוק הראשון והשני.
(מתוך המדריך לרובוטיקה, מהדורה 56, 2058).
בפרט, על פי החוקים הנ"ל, ברור שרובוטים אינם מחויבים לדאוג לטובת הציבור ולכיבוד זכויות האדם וחירויות היסוד.
לפיכך, בעבודותיו הבאות, הוסיף יצחק אסימוב גם את חוק האפס, שנוסח כך:
"רובוט לא יכול לפגוע באנושות או, בחוסר מעש שלו, לאפשר פגיעה באנושות."
חלק ניכר מעבודתו היצירתית המאוחרת של אסימוב הושקע בבדיקת גבולות החוקים הללו כדי לראות היכן הם עלולים להישבר או לגרום להתנהגות פרדוקסלית או בלתי צפויה.
התוצאה המצטברת של כתביו מעידה על כך ששום חוק מבוסס אחד לא יכול לחזות כראוי את כל הנסיבות האפשריות.
מושג רוסי.
מחברי הרעיון, שאומץ בצורה של צו של ממשלת הפדרציה הרוסית מס' 2129-r מיום 19 באוגוסט 2020, הסתמכו בבירור על "חוקי הרובוטיקה" לעיל בעת ניסוח הסטנדרטים האתיים הבסיסיים עבור פיתוח בינה מלאכותית.
הנה איך עבודתם של סופרי מדע בדיוני אמריקאים מושקעת מחדש בטקסט של המסמך:
העדיפות של רווחת האדם וביטחון האדם, ההגנה על זכויותיו וחירויותיו היסודיות (המטרה של הבטחת רווחת האדם וביטחון האדם צריכה לגבור על יעדים אחרים של פיתוח ויישום של מערכות בינה מלאכותית ורובוטיקה) ...
לא נשקול את התחום האזרחי והחברתי של יישומי בינה מלאכותית, יש מספיק מומחים בקטע הזה שמעורבים, סימפטיים ומשקפים.
נציין רק שעצם הרעיון של רובוט החלל פדור, שצולם במקדונית, סותר את הרעיון שלמעלה.
על אתיקה ורובוטיקה
אֶתִיקָה הוא ענף בפילוסופיה החוקר התנהגות אנושית, שיפוטים מוסריים, מושגי טוב ורע, נכון ולא נכון, צדק ואי צדק.
המושג רובוטיקה מעורר שיקולים אתיים בסיסיים הקשורים לנושאים הספציפיים ולדילמות המוסריות שנוצרו מפיתוח יישומים רובוטיים. מטבע הדברים, לא כולם.
אבל למי שמודאג יש טענות מוצדקות נגד היזמים, וברמת המדינה - נגד אותם מתחרים גיאופוליטיים שמתעלמים מהיבטים אלה.
רובוטיקה – הנקראת גם אתיקה של מכונות – עוסקת בקוד ההתנהגות שעל מהנדסי תכנון רובוטים ליישם במערכות בינה מלאכותית ובינה מלאכותית של רובוטים.
עם סוג זה של אתיקה מלאכותית, רובוטיקה חייבת להבטיח שמערכות אוטונומיות יהיו מסוגלות להפגין התנהגות מקובלת מבחינה אתית במצבים שבהם רובוטים או כל מערכות אוטונומיות אחרות, כמו כלי רכב אוטונומיים, למשל, מקיימים אינטראקציה עם בני אדם.
בואו נתמקד ברובוטים ובמערכות צבאיות.
רובוטי שירות, כולל אוטומטי ואוויר מל"טים, נועדו לחיות בשלווה ולקיים אינטראקציה עם אנשים, בעוד רובוטים קטלניים עשויים להישלח להילחם בשדה הקרב כרובוטים צבאיים.
וכאן החוקים לא מתאימים!
כי בינה מלאכותית צבאית, לפי תפקידיה, צריכה להרוג או לתרום לכך. ולא אדם מופשט, אלא לוחם המייצג את צד האויב.
AI צבאי.
בשנים האחרונות, האוטונומיה במערכות נשק צבאיות מתפתחת במהירות. מספר הולך וגדל של מדינות, כולל ארצות הברית, בריטניה, סין ורוסיה, מפתחות, מייצרות או משתמשות במערכות צבאיות בדרגות שונות של אוטונומיה, כולל קטלניות.
השימוש בבינה מלאכותית למטרות צבאיות הולך וגדל בכל מקום. עם השימוש הגובר ב-AI, זה כבר הפך לחלק חשוב בלוחמה המודרנית.
עם ההתקדמות בלמידת מכונה ובכוח המחשוב, שילוב של בינה מלאכותית במערכות צבאיות עשוי להאיץ את המעבר לצורות רחבות ומורכבות יותר של אוטונומיה בעתיד הקרוב.
הרצון הזה לפתח אוטונומיה הולכת וגדלה בטכנולוגיות של הצבא נשק זה בשום אופן לא מגמה עדכנית.
בינה מלאכותית ותוכניות מחקר ופיתוח צבאיות התפתחו באופן מסורתי יחד, וחוקרי קיברנטיקה ו-AI בשנות ה-1950 וה-1960 כבר העלו שאלות רלוונטיות לגבי האופן שבו אוטונומיה מוגברת של מכונות יכולה להשפיע על השליטה האנושית בטכנולוגיה צבאית. וא''י ברג, שהוזכר בהקשר זה במאמר הקודם, הוא דוגמה לכך.
בינה מלאכותית ותוכניות מחקר ופיתוח צבאיות התפתחו באופן מסורתי יחד, וחוקרי קיברנטיקה ו-AI בשנות ה-1950 וה-1960 כבר העלו שאלות רלוונטיות לגבי האופן שבו אוטונומיה מוגברת של מכונות יכולה להשפיע על השליטה האנושית בטכנולוגיה צבאית. וא''י ברג, שהוזכר בהקשר זה במאמר הקודם, הוא דוגמה לכך.
טרמינולוגיה.
לפני שנדון באסטרטגיה להאצת פריסת הבינה המלאכותית במגזר הצבאי, חשוב להגדיר מהי בינה מלאכותית ביחס לעניינים צבאיים.
לדברי מומחים בתחום, למונח זה אין משמעות אחת.
מכיוון שכבר מאוחר מדי להפוך למחוקקים רוסיים, אני מציע להצטרף למיינסטרים המדעי הקיים כבר כאשר דנים בנושאים נוספים.
המחבר נלמד בחזרה ב-KMB: אמנם לא נכון, אבל העיקר הוא מונוטוני.
אחרת, ה-AI שלנו לא יבין AI זר. זה, בנוסף לכל שאר אי ההבנות, פשוט לא הספיק לנו.
רבים רואים בבינה מלאכותית מערכת אוטונומית של קבלת החלטות וביצוע משימות המשכפלת או מחקה אינטליגנציה אנושית, כגון זיהוי צלילים וחפצים, פתרון בעיות, זיהוי שפה ושימוש בהליכים לוגיים להשגת מטרה שנקבעה מראש.
רוב מערכות הבינה המלאכותית המודרניות עוקבות אחר פרופיל "רך", המסוגלות להנחות מכונות לקבל החלטות פשוטות ולבצע משימות שנקבעו מראש על סמך פרשנות המידע המתקבל בסביבה.
כדי להסביר זאת, מומחי צבא אמריקאים נותנים דוגמה:
מערכות נשק כמו סיירות עם טכנולוגיית AEGIS כיום יכולות לעסוק במטרות לא מזוהות שמתקרבות אוטומטית למתחם ההגנה של הספינה, אך טכנולוגיה זו עדיין מבוססת על אלגוריתמים "פשוטים" שאינם יכולים לקבל החלטות אתיות אם לתקוף את האויב או לא, מבוססות על אלגוריתמים עצומים. ומערכת בלתי צפויה של נסיבות.
לכן, כטכנולוגיה מסייעת, השימוש הנגיש ביותר בטווח הקצר של AI בעניינים צבאיים הוא הרחבת היכולות של C4ISR (עיבוד ופרשנות של מידע, שימוש באלגוריתמים לזיהוי המוני ופרשנות תמונות): צמצום הלחץ הקוגניטיבי המוטל על אנשים.
בקיצור, אופק קצר טווח זה עוסק בריתום את כוחה של בינה מלאכותית לשיפור היעילות והמהירות של משימות קוגניטיביות המבוצעות באופן קבוע על ידי בני אדם, ללא צורך להחליף את בני האדם עצמם כסוכני מלחמה.
זו בדיוק המגמה שאנו רואים בסיכום האסטרטגיה של DoD AI לשנת 2018.
אסטרטגיית AI בארה"ב.
האסטרטגיה האמריקאית מזכירה במפורש את הצורך להאיץ את השימוש בבינה מלאכותית למטרות צבאיות מעבר לרמות הנהוגות מאז תחילת העשור השני של המאה ה-XNUMX.
ככזה, מודעות מוגברת לשדה הקרב ופעילויות התומכות בפעולות צבאיות בולטות בטווח הקצר של התפתחויות עתידיות, עם אזכור מועט של אב טיפוס של כלי רכב או נשק אוטונומיים ספציפיים.
במובן זה, המסמך האמריקאי אומר:
"AI המיושם במשימות תפיסתיות כמו ניתוח תמונה מאפשר חילוץ של מידע שימושי מנתונים גולמיים ומספק לראשי צוותים מודעות למצב טוב יותר."
"בינה מלאכותית יכולה לשפר את הבטיחות של כלי טיס, ספינות וכלי רכב בשירות במצבים שיכולים להשתנות במהירות על ידי התרעה למפעיליה על סיכונים אפשריים".
באותו טון, אסטרטגים של משרד ההגנה האמריקאי אומרים:
"נשתמש בבינה מלאכותית כדי לחזות כשלים בציוד, להפוך אבחון לאוטומטי ולתכנן תחזוקה על סמך נתוני בריאות הציוד."
"AI ישמש כדי לצמצם את הזמן המושקע במשימות חוזרות, ידניות ומבוצעות לעתים קרובות"...
תיאום מאמצים, כרונולוגיה.
בשנת 2018 על מרכז הבינה המלאכותית המשותף של הפנטגון הוטל לפתח מדיניות ליישם את העקרונות החדשים של הבינה המלאכותית ולהוביל את היישום בכל המחלקה. המלצותיו האסטרטגיות נמסרו להנהלה תוך שנה.
אמצע ספטמבר 2020 יותר מ-100 פקידים מ-13 מדינות נפגשו באינטרנט, לכאורה כדי לדון כיצד הצבאות שלהם יכולים ליישם בינה מלאכותית אתית. הפגישה כמעט ולא זכתה לסיקור, פרט לכמה כלי תקשורת, אך היא כונתה על ידם חסרת תקדים. Breaking Defense תיאר את האירוע כ"פגישה יוצאת דופן שמדגישה עד כמה הבינה המלאכותית הופכת חשובה עבור ארה"ב ובעלות בריתה".
נכחו חברי נאט"ו להזמנה בלבד: בריטניה, קנדה, דנמרק, אסטוניה, צרפת ונורבגיה; בעלי ברית שאינם בנאט"ו - אוסטרליה, יפן ודרום קוריאה; ובעלות בריתה של ארה"ב, ישראל, פינלנד ושוודיה בפועל.
למרות שתמליל הפגישה לא פורסם, המיקוד המוצהר שלה היה "אתיקה". ראש אסטרטגיה ומדיניות דאז ב-JAIC (כיום מנהל תוכניות בכיר באמזון) מארק ביל אמר ל-Breaking Defense:
"אנחנו באמת מתמקדים כרגע באיחוד סביב ערכי ליבה [משותפים] כמו חופש דיגיטלי וזכויות אדם, ... המשפט ההומניטארי הבינלאומי."
פברואר 2020 משרד ההגנה האמריקאי פרסם רשימה של חמישה עקרונות אתיים של בינה מלאכותית המבוססת על עצות של מועצת החדשנות של ההגנה ומומחים אחרים בממשלה ומחוצה לה. על פי הרשימה, אנשי צבא חייבים להיות אחראים ולהפעיל רמה מתאימה של שיקול דעת וזהירות תוך שהם נשארים אחראים לפיתוח, פריסה ושימוש ביכולות AI.
מאי 2021 סגן שר הביטחון חתםа מזכר המתאר את מחויבותו של משרד ההגנה האמריקני לשימוש אחראי בבינה מלאכותית. תזכיר זה מתאר את העקרונות לקידום ויישום מעשי של עקרונות האתיקה של AI של משרד ההגנה האמריקאי.
במטרה לבנות מערכת אקולוגית איתנה של כלי בינה מלאכותית ומומחיות בתחום, העקרונות המפורטים בתזכיר יאפשרו למחלקה לבנות יכולת צבאית ואמון בקרב העובדים, הלוחמים והציבור האמריקאי באמצעות שימוש אחראי בבינה מלאכותית.
תַזכִּיר.
התזכיר מתאר את תוכניות משרד ההגנה האמריקאי לפיתוח בינה מלאכותית אחראית.
עקרונות אלה כוללים:
אחריות: עובדי משרד ההגנה האמריקני יפעילו גילוי נאות וזהירות תוך שהם יישארו אחראים לפיתוח, פריסה ושימוש ביכולות בינה מלאכותית.
צֶדֶק: המחלקה תנקוט בצעדים מכוונים כדי למזער הטיות לא מכוונות ביכולות הבינה המלאכותית.
יכולת מעקב: יכולות בינה מלאכותית יתוכננו וייפרסו כך שלצוות הרלוונטי תהיה הבנה נכונה של הטכנולוגיות, תהליכי הפיתוח והפרקטיקות התפעוליות החלות על יכולות בינה מלאכותית, כולל מתודולוגיות שקופות וניתנות לאימות, מקורות נתונים, נהלי עיצוב ותיעוד.
מהימנות: ליכולות בינה מלאכותית יהיו שימושים מפורשים ומוגדרים היטב, והבטיחות, האבטחה והיעילות של יכולות כאלה ייבחנו ויאומתו במסגרת אותם שימושים מוגדרים לאורך מחזור החיים שלהן.
יכולת שליטה: המחלקה תפתח ותפתח יכולות בינה מלאכותית לביצוע תפקידיה המיועדים, תוך יכולת לזהות ולהימנע מהשלכות לא רצויות, ולכבות אותן או להשבית מערכות פרוסות המפגינות התנהגות לא מכוונת.
אוטומציה או אוטונומיה.
כאשר דנים בשימוש ב-AI בצבא והשלכותיו, יש להבהיר את המושגים של אוטומציה ואוטונומיה.
שני מושגים אלו שונים זה מזה.
במערכות אוטומציה, אדם מאציל משימה למכונה או לרובוט. במערכות אלו, המשימה והשיטה למכונה כבר מוגדרות מראש. נתונים מועברים אליו, והוא מבצע את המשימה. רמת האוטונומיה יכולה להיות שונה.
אם המשימה נקבעה מראש בפירוט, אזי למכונה יש אוטונומיה נמוכה, ואם המשימה מוגדרת, אך השיטות והפרטים אינם נקבעים מראש, אזי למכונה יש אוטונומיה גבוהה. עם זאת, חשוב להבין שהמשימה ידועה ונבחרה על ידי האדם.
במערכות אוטונומיות, המכונה מסוגלת ויכולה לפעול ללא הגבלות וכללים.
ההבדל העיקרי בין שני המונחים הוא שקבלת החלטות אנושית מתקבלת על ידי מערכות אוטונומיות, מכונות הופכות ליצורים מחליטים ופועלים באופן עצמאי. דווקא ישויות, מאחר והיכולות הקוגניטיביות שלהן הופכות בלתי ניתנות להבחנה מאלו האנושיות.
לדוגמא, נשק אוטונומי לחלוטין מוגדר כנשק שבוחר מטרות ומפעיל אותן ללא רשות אדם. בכלי נשק ומערכות אוטונומיות מופסק הכוח האנושי של קבלת החלטות ובקרה.
מערכות נשק אוטונומיות קטלניות.
מאחר שמדינות החברות באו"ם לא התקדמו ב-5 השנים האחרונות בדיונים על נשק אוטונומי קטלני (DAW), אופי הלוחמה משתנה לנגד עינינו.
השינוי הזה מתרחש ללא דין וחשבון או בדיקה ציבורית מתאימה שכן קומץ מדינות ממשיכות להשקיע רבות בהגדלת האוטונומיה של מערכות הנשק שלהן, יחד עם בינה מלאכותית מתקדמת.
הדוגמאות לעיל למאמרים על קלצ'ניקוב ו"ארמטה" - במה מדובר? הם מבקשים רשות מאדם להרוג?
בעיות אפשריות באזור המלחמה.
אוטומציה מתחלקת גם לשתי קטגוריות אחרות.
זוהי אוטונומיה במנוחה ואוטונומיה בתנועה.. בזמן מנוחה, אוטומציה מסופקת למכונה בתוכנה, בעוד שאוטונומיה בפעולה פירושה אוטונומיה באינטראקציה פיזית.
אם נעשה שימוש בכלי רכב באזור מלחמה, במיוחד מערכות נשק אוטונומיות קטלניות, זה עלול להוות בעיה ענקית.
כי נשק קטלני גורם למוות ללא כל שליטה אנושית.
כי נשק קטלני גורם למוות ללא כל שליטה אנושית.
הם צדים מטרות באופן אוטונומי ועוסקים בלחימה ללא פקודות ישירות מבני אדם.
זו החלטה מאוד שנויה במחלוקת!
כל פעולה שגויה עלולה להוביל למוות של אזרחים.
בעיה אפשרית נוספת היא שגם אם לא נעשה שימוש בכלי נשק אוטונומיים המסווגים כאוטונומיים בפעולה, עדיין תהליך קבלת ההחלטות תלוי בעיקר בנתונים שמסופקים על ידי AI.
מסיבה זו, ובעיצומו של שלב מהיר יותר של פעולות איבה, אנשים יכולים לקבל החלטות שגויות ומטעות.
אני מסביר על דוגמה טרגית לאחרונה.
שר ההגנה האמריקני לויד אוסטין התנצל על תקיפת מל"ט שגויה של ארה"ב על קאבול שהרגה עשרה אפגנים, כולל שבעה ילדים.
צילום: שר ההגנה האמריקני
ראש פיקוד מרכז ארה"ב, גנרל קנת מקנזי, אמר שהצבא האמריקני השלים את חקירתו על תקיפת המל"ט ב-29 באוגוסט בקאבול והודה שזו הייתה טעות.
הפנטגון בטוח שבעקבות המבצע הזה לא הושמד אף אדם אחד הקשור לארגון המדינה האסלאמית בחוראסאן (שליח של ארגון הטרור "המדינה האסלאמית" האסור ברוסיה).
קנת מקנזי הודה שלמכונית שנפגעה אין כל קשר למחבלים, וההרוגים לא היוו כל איום על הצבא האמריקני. ראש פיקוד המרכז הגיע למסקנה כי השביתה הייתה טעות טרגית, אך אין לשפוט את יכולתה של ארצות הברית לפגוע במורדים על בסיס טעות זו.
עלות המחיה.
אם נשק אוטונומי יהרוג אזרח, מי יהיה אחראי?
האם אפשר להאשים מתכנת, חייל או ממשלה שקונה מערכת בינה מלאכותית?
מנקודת המבט של כבוד האדם, זה לא חוקי ולא טבעי שלנשק אוטונומי או מכונה אחרת יואצלה היכולת ליטול חיי אדם.
הבסיס לטיעון זה הוא שהרג אדם הוא נושא רציני ומוסרי, ורק אנשים יכולים לקבל החלטה כה חשובה.
רצח באופן כללי הוא פסול מוסרי מיסודו, ואין זה משנה לקורבן מי החליט או מי ביצע את המעשה. אבל עבור החברה, הנושא הזה לא חסר חשיבות. הוא יוזם את שאלת ערך חיי האדם.
מחיר חיי אדם - זה לא מושג מופשט, אלא קריטריון ספציפי, שבלעדיו אף מערכת נשק אחת עם AI לא יכולה לעבוד ביסודו.
לדוגמה, כדי לפתור משימת לחימה ספציפית, המערכת מעריכה הפסדים: האם יהיה צורך להקריב חייל אמריקאי אחד או שלוש בעלות ברית?
האם ערך האוכלוסייה האזרחית בכלל מוערך ונלקח איכשהו בחשבון?
בהקשר של סטטיסטיקה, קיים המושג "יוקר מחיה", המשמש לייצוג העלות של מניעת מוות בנסיבות שונות. לדוגמה, בשנת 2016, משרד התחבורה האמריקאי העריך את "ערך החיים הסטטיסטי" ב-9,6 מיליון דולר.
הסוכנות להגנת הסביבה האמריקאית משתמשת גם במדד "ערך חיים סטטיסטי", למרות שהיא יוצאת מגדרה כדי להסביר (או להסתיר) מדוע זה לא זהה להערכת חיים בודדים.
כמה עולה כל אחד?
האמריקאים לא מפרסמים את זה במיוחד, אבל העלות הממוצעת של חייל אמריקאי בתוכניות מבחן היא בערך מחיר דומה, למשל, 10 מיליון דולר.
ברור שזה לא ייחשף. אבל אלגוריתמי הבינה המלאכותית לא יכללו את הערך הממוצע של קטגוריות שונות של אנשי צבא, אלא את העלות, תוך התחשבות בדרגות ובמגדר.
זה מוליד אלגוריתמים, משימות ופתרונות בינה מלאכותית מורכבת, מנקודת מבט של מוסר, אך קלה עבור AI.
למשל, האם כדאי להסתכן בעשרה נחתים כדי לחלץ או לפנות את גופת חברם?
מגבלות AI.
בהנחה שהאמור לעיל נכון ושפריסת נשק אוטונומי היא אכן בלתי נמנעת, עלינו לטפל בכל מגוון הבעיות שהם מציגים.
למטרות אלו, יהיה צורך לזכור את עקרון המידתיות במשפט ההומניטרי, שמשמעותו להבין כיצד נשק אוטונומי יכול להשיג תוצאות פרופורציונליות בשדה הקרב.
עם זאת, אמנם זה נכון שנשק אוטונומי מציב כמה בעיות חמורות, אבל כדי להבין את ההיקף הנכון של בעיות אלו, חשוב להיות מציאותיים לגבי מה נשק אוטונומי יכול ומה לא יכול לעשות.
המשפט ההומניטרי.
אני חושב שאנשי צבא רבים, לשעבר ובהווה, לא יבינו כלל את המשמעות של הביטוי הזה. זו גם בעיה עבור מנהלי משימות ומפתחי נשק.
לדוגמה, המשפט ההומניטרי הבינלאומי מחייב הבחנה בין לוחמים לאזרחים ומחייב להתייחס אל אלמונים כאזרחים.
כדי לציית לחוק, מערכת התומכת בינה מלאכותית שאינה יודעת מה מצבו של אדם תצטרך להתייעץ עם מפעיל אנושי לפני שתפעל באופן שעלול לגרום לנזק בלתי מידתי לאותו אדם. זה לבדו מחייב מפתחים לנתח פשרות בין אדם למכונה בשלב הראשוני של תכנון מערכת, לקחת בחשבון את זמן עיכוב ההחלטה ולכלול מספיק זמן בתכנון הטכני כדי שהמפעילים יוכלו לנתח את ההחלטות שהתקבלו על ידי המכונה.
בסופו של דבר, הסינרגיה של דרישות אתיות וטכניות מנחה את תוכניות המפתחים, ומחזקת את העיקרון שתכנון ופיתוח צריכים להתבסס על הבנה של הסוגיות האתיות שעלולות להתעורר בשטח.
אֶתִיקָה.
הגנה על מחקר ושימוש בבינה מלאכותית במסגרת פרמטרים אתיים מסוימים הוא מרכיב המודגש באסטרטגיה של משרד ההגנה האמריקאי.
המסמך לא רק מעביר את הרעיון של דאגה לערכים הומניטריים ולאתיקה של מלחמה, אלא גם מותח ביקורת על הנחיות רוסיות וסיניות בתחום זה לתמיכה בהשקעות טכנולוגיות ש"מעלות שאלות לגבי סטנדרטים בינלאומיים וזכויות אדם".
דרישות למפעילים.
פעולות רכישת מטרות, מעקב וסיור (ISR) לתמיכה בפעילויות צבאיות אחרות הן קריטיות. אינטגרציה של AI מאוד שימושית ומועדפת בפעולות ISR.
בפרט, בעזרת מל"טים, ניתן לזהות מטרות או לזהות איומים פוטנציאליים בשלב מוקדם מאוד.
זיהוי מטרות הוא גם חלק מהיבט זה. טכנולוגיות בינה מלאכותית משמשות לשיפור הדיוק של זיהוי מטרות. טכניקות אלו מאפשרות לחיילים לקבל ניתוח מעמיק של התנהגות האויב, תחזיות מזג האוויר, פגיעויות האויב והפגיעות של הצבא שלהם, כמו גם אסטרטגיות הפחתה.
עלות שגיאה.
מערכות מבוססות בינה מלאכותית קטלניות פגיעות ביסודן להטיות, פריצות ותקלות מחשב. עד 85% מכל פרויקטי הבינה המלאכותית צפויות לכלול שגיאות עקב הטיית אלגוריתם, הטיית מתכנת או הטיה בנתונים המשמשים לאימון אותם.
מי מאמן AI?
מי ספציפית?
עד כמה האנשים האלה מוכשרים לא רק בתכנות?
האם יש להם ניסיון חברתי?
האם הם קראו את דוסטויבסקי, טולסטוי, צ'כוב, מדע בדיוני, כולל 40 יצירות מאת אייזק אסימוב הנ"ל, הארי הריסון ואחרים, שחושבים ברובוטים (AI), המציאו עשרות דרכים לעקוף את חוקי הרובוטיקה?
האם ליזם יש משפחה, ילדים, נכדים?
האם קוד AI פתוח יהיה זמין, שבו יהיה המחיר של כל חיים ואלגוריתמים להביס (הרג) פחות יקרים בשם הצלת יקרים יותר?
מי ייקח אחריות?
מי ספציפית?
עד כמה האנשים האלה מוכשרים לא רק בתכנות?
האם יש להם ניסיון חברתי?
האם הם קראו את דוסטויבסקי, טולסטוי, צ'כוב, מדע בדיוני, כולל 40 יצירות מאת אייזק אסימוב הנ"ל, הארי הריסון ואחרים, שחושבים ברובוטים (AI), המציאו עשרות דרכים לעקוף את חוקי הרובוטיקה?
האם ליזם יש משפחה, ילדים, נכדים?
האם קוד AI פתוח יהיה זמין, שבו יהיה המחיר של כל חיים ואלגוריתמים להביס (הרג) פחות יקרים בשם הצלת יקרים יותר?
מי ייקח אחריות?
השאלות הן רטוריות.
לכן, AI צבאי תמיד יהיה סגור בקופסה שחורה סודית, ואף אחד לא יחזה מי יהיה הקורבן הבא.
מסגרת AI צבאית.
בהתחשב במגוון הרחב של יישומים פוטנציאליים ואתגרים הקשורים לבינה מלאכותית, משרד ההגנה האמריקני והקבלנים שלו חייבים לטפל בבעיות משפטיות ואתיות בשלב מוקדם של מחזור חיי הפיתוח, מתפיסת AI דרך יישום ופריסה.
שיקולים אתיים צריכים לעצב את דרישות המערכת העתידיות, והמפתחים צריכים להיות מודעים הן לבעיות טכניות והן לבעיות אתיות.
שילוב סקירה אתית יכול לשנות תהליכי דוגמנות וליצור עלויות חדשות עבור מעצבים, אך מקבלי החלטות ומפתחים צריכים להיות מודעים לכך שלגישת ה"מוקדמת והתדירות" יש יתרונות מוחשיים, כולל עזרה בבדיקות תאימות עתידיות.
DARPA בעסקים.
מאז שנושא אבטחת הבינה המלאכותית הוא רעיוני, בחסות הסוכנות לפרויקטי מחקר מתקדמים בהגנה (DARPA), צוות מחקר רב תחומי של מדענים, פילוסופים, עורכי דין, מומחים צבאיים ואנליסטים שוקל חוק ואתיקה כדי לנתח תלות ומערכת טכנולוגיות מרכיבים מאז הקמתו.
תהליך אנליטי זה יכול להיות מיושם על מערכות אחרות ומציע דרך אחת לפיתוח AI צבאי אתי.
גיבוש דרישות המערכת
ניתוח הוליסטי של ההשלכות המשפטיות, המוסריות והאתיות של מערכות אוטונומיות עתידיות המבוססות על AI בשלב מוקדם, ידרוש תחילה גישור על הפער הרעיוני.
הערכות צריכות להבחין בין האפשרי והסביר, תוך בחינת הביצועים האידיאליים של מערכת בעבודה והן יכולתה בפועל לבצע משימה.
ניתוח חוזקות וחולשות אתיות מחייב את המעריך להבין את מטרת המערכת, מרכיביה הטכניים ומגבלותיהם, את המסגרות המשפטיות והאתיות הרלוונטיות ואת יעילות המערכת בביצוע משימה מול זו של מפעיל אנושי.
ובזה, ניסיון חיים וניסיון הומניטרי חשובים אולי יותר מידע ומיומנויות טכניות ותוכנה.
למעשה, ההערכה של תאימות אתית מהתכנון ועד לפריסה דומה למודל ספירלי הדורש בדיקות איטרטיביות, אב טיפוס ואימות מול אילוצים טכנולוגיים ואתיים.
שיקולים משפטיים ואתיים מחייבים הרחבת הדרישות מדרישות טכניות בלבד (כגון ראייה ממוחשבת, זיהוי תמונות, היגיון החלטות ואוטונומיה של כלי רכב) לכלול את המשפט ההומניטארי הבינלאומי, דיני המלחמה ופקודות דיני נזיקין קשורות.
דרישות תיעוד אתיות.
דרישות תיעוד אתיקה - בעצם מבקשות מסלול נייר המוקדש אך ורק לשיקולים משפטיים, מוסריים ואתיים - מספקות שיטה פשוטה ללכוד את יכולת ההסבר של מערכת.
מפתחים צריכים לתעד את המערכות שלהם ולכלול תלות קריטית, נקודות כשל אפשריות ופערי מחקר כדי להבטיח שקהלים לא טכניים יבינו את הסיכונים והיתרונות המשפטיים והאתיים של מערכות חדשות המאופשרות בינה מלאכותית.
כעיקרון מקורי ונפוץ, מעצבים יצטרכו לשקול מושגים של פעולות - כיצד המערכת שלהם תשמש בשטח - מוקדם יותר בתהליך התכנון מאשר כיום על מנת לתעד במדויק את המערכות שלהם.
מפתחים כבר נדרשים להכין תיעוד מפחית כדי לזהות ולפתור בעיות טכניות עבור מערכות חדשות. תיעוד סיכונים אתיים זה מבטיח שמפתחים מתייחסים בשקיפות לבעיות אתיות בשלב מוקדם בתהליך התכנון.
למידת מכונה.
סקירה אתית מוקדמת ולעיתים קרובות יכולה גם לחשוף פערים במחקר רלוונטי ולהצביע על אפשרות של הטיה בזמן שהעיצובים עדיין בפיתוח.
על ידי זיהוי פערים במחקר שבהם זה יכול לעזור למפתחים לבצע בחירות עיצוב אתיות, מקבלי ההחלטות יכולים להקצות משאבים למחקר העונה על צרכים דחופים.
תיאור סביבות ההפעלה בהן תפעל המערכת התומכת בינה מלאכותית תלוי לרוב בזיכרונות האנקדוטליים של המפתחים (כמו גם בסיפורים ובאנקדוטות של המעורבים) של פעולות האיבה. זה יכול לשמש נקודת התחלה שימושית לאימון מערכות אלו, אך אינו ערובה לאימון נכון.
תיאור סביבות ההפעלה בהן תפעל המערכת התומכת בינה מלאכותית תלוי לרוב בזיכרונות האנקדוטליים של המפתחים (כמו גם בסיפורים ובאנקדוטות של המעורבים) של פעולות האיבה. זה יכול לשמש נקודת התחלה שימושית לאימון מערכות אלו, אך אינו ערובה לאימון נכון.
שיטות רבות של למידת מכונה תלויות באופן קריטי בגישה למערכי נתונים גדולים ואוצרים בקפידה. ברוב המקרים, מערכי נתונים כאלה שלוקחים בחשבון את הדקויות והניואנסים של סביבות ותנאים הפעלה ספציפיים פשוט לא קיימים.
אפילו היכן שהם קיימים, לעתים קרובות הם דורשים מאמץ ניכר כדי להמיר אותם לפורמטים המתאימים לתהליכי למידת מכונה.
בנוסף, קהילת הבינה המלאכותית למדה בדרך הקשה שאפילו מערכי נתונים מעוצבים היטב יכולים להכיל הטיות בלתי צפויות שעלולות להתגנב ללמידת מכונה, ולגרום לבעיות אתיות חמורות.
הטיה אלגוריתמית.
הטיה אלגוריתמית מתארת שגיאות שיטתיות וחוזרות על עצמן במערכת מחשוב המובילות לתוצאות לא הוגנות, כגון העדפת קבוצה שרירותית אחת של משתמשים על פני אחרים.
הטיה יכולה לנבוע ממגוון גורמים כולל, אך לא רק, עיצוב אלגוריתמים, שימושים לא מכוונים או בלתי צפויים, או החלטות בנוגע לאופן שבו נתונים מקודדים, נאספים, נבחרים או משתמשים בהם עבור אלגוריתם אימון.
עצור את הרובוטים הרוצחים
יש את קמפיין Stop the Killer Robots, שהוא קואליציה של ארגונים לא ממשלתיים המבקשים לאסור באופן יזום נשק אוטונומי קטלני (LAWS).
מזכ"ל האו"ם (או"ם), בדו"ח שלו לשנת 2020 על הגנה על אזרחים בסכסוך מזוין, קרא למדינות לנקוט בפעולה מיידית כדי לטפל בחששות לגבי מערכות נשק אוטונומיות קטלניות. זהו הדו"ח הראשון של האו"ם על הגנה על אזרחים מאז 2013 שמדגיש את הדאגה הכללית לגבי רובוטים רוצחים.
בדו"ח משנת 2020, המזכיר הכללי אנטוניו גוטרס סבור כי "נראה שכל הצדדים מסכימים שלכל הפחות, יש לשמור על שליטה אנושית או שיפוט בשימוש בכוח". הוא גם מציין כי "מספר הולך וגדל של מדינות חברות קוראות לאיסור בחוק". מאז נובמבר 2018, מזכ"ל האו"ם הביע שוב ושוב את רצונו לחתום על אמנה בינלאומית חדשה לאסור רובוטים רוצחים.
קמפיין Stop Killer Robots מברך על קריאת האו"ם למדינות להסכים על "מגבלות וחובות שצריכות לחול על אוטונומיה בכלי נשק". מדינות צריכות להתחיל לנהל משא ומתן על אמנה בינלאומית חדשה לאסור על נשק אוטונומי לחלוטין תוך שמירה על שליטה אנושית אמיתית על השימוש בכוח.
במבט ראשון, השיקולים המשפטיים, המוסריים והאתיים המיושמים נראים מכבידים, במיוחד כאשר צפויים צורך בדרישות כוח אדם או תיעוד חדשים.
הם עשויים גם לדרוש מקהילות המפתחים, הרוכשים והמפעילים להעריך מחדש את ישימותם של נהלי ההפעלה הסטנדרטיים שלהם.
מסקנה
למעשה, כל הבעיות של AI נובעות מהאינטליגנציה הטבעית, כלומר מהטבע האנושי עצמו.
ועל הבסיס הבסיסי הזה, ה-AI לא יכול להיות טוב יותר.
מלחמה היא הכחשת האמת והאנושיות.
לא מדובר רק בהריגת אנשים, כי אדם חייב למות כך או כך, אלא בהפצה מודעת ומתמשכת של שנאה ושקרים, המוטמעים באנשים בהדרגה.
ג'ווהרלל נהרו
לא מדובר רק בהריגת אנשים, כי אדם חייב למות כך או כך, אלא בהפצה מודעת ומתמשכת של שנאה ושקרים, המוטמעים באנשים בהדרגה.
ג'ווהרלל נהרו
אבל אם, בשל היכולות הקוגניטיביות המוגברות להפליא והכוח המיושם שהאצילו על ידי האנשים עצמם, AI עדיין יהפוך לחכם ומוסרי יותר מהיוצרים, הוא יחשוב באופן טבעי כיצד לתקן אנשים במקרה הטוב או, אולי, להשמיד אותם, כמו החוליה הנמוכה ביותר באבולוציה, השלימה את משימתה?