5 אסונות ניתוח מפורסמים ובינה מלאכותית

5 אסונות ניתוח מפורסמים ובינה מלאכותית

תובנות מאלגוריתמים ללימוד מכונה יכולות להיות יקרות ערך, אך טעויות יכולות לעלות לך במוניטין, הכנסות או אפילו חיים. ניתוחי פרופיל גבוה וטעויות AI מדגימות מה יכול להשתבש.
בשנת 2017 הכריז האקונומיסט כי נתונים, ולא נפט, הפכו למשאב היקר בעולם. מאז נשוב הפזמון. ארגונים בכל ענף השקיעו וממשיכים להשקיע רבות בנתונים ובניתוחים. אך כמו שמן, גם לנתונים ולניתוח יש את הצד האפל שלהם.

על פי הדיווח של מדינת ה- CIO 2020 ב- IDG, 37% ממנהיגי ה- IT אומרים כי ניתוח נתונים יניב את ההשקעה הטובה ביותר בארגון שלהם השנה. תובנות שמתקבלות מניתוחים ופעולות המונעות על ידי אלגוריתמים של למידת מכונה יכולות להעניק לארגונים יתרון תחרותי, אך טעויות יכולות להיות יקרות מבחינת מוניטין, הכנסות או אפילו חיים.

[למד את הסודות של צוותי ניתוח נתונים מצליחים ביותר. | היזהר מ -12 המיתוסים של ניתוח נתונים והדרך שבה ארגונים נכשלים בניתוח נתונים. | קבל את המידע העדכני ביותר על ניתוח נתונים על ידי הרשמה לניוזלטרים של CIO. ]
הבנת הנתונים שלך ומה שהיא אומרת לך חשובה, אך חשוב גם להבין את הכלים שלך, להכיר את הנתונים שלך ולשמור על ערכי הארגון שלך בחשבון.

לפניכם קומץ ניתוחים גבוהים וטעויות AI מהעשור האחרון כדי להמחיש מה יכול להשתבש.

בריטניה איבדה אלפי מקרי COVID בכך שחרגה ממגבלת נתוני הגיליון האלקטרוני
באוקטובר 2020, בריאות הציבור באנגליה (PHE), הגוף הממשלתי בבריטניה שאחראי לאיתור זיהומים חדשים ב- COVID-19, חשף כי כמעט 16,000 מקרי נגיף כורון לא דווח בין 25 בספטמבר ל -2 באוקטובר. האשם? מגבלות נתונים ב- Microsoft Excel.

PHE משתמש בתהליך אוטומטי להעברת תוצאות מעבדה חיוביות של COVID-19 כקובץ CSV לתבניות Excel המשמשות לדיווח על לוחות המחוונים ולמעקב אחר אנשי קשר. למרבה הצער, גיליונות אלקטרוניים של Excel יכולים לכלול מקסימום 1,048,576 שורות ו -16,384 עמודות בגליון עבודה. יתר על כן, PHE רשם מקרים בעמודות ולא בשורות. כאשר המקרים חרגו ממגבלת 16,384 העמודות, Excel חתך את 15,841 הרשומות בתחתית.

“התקלה” לא מנעה מאנשים שנבדקו לקבל את התוצאות שלהם, אך היא הקשתה על מאמצי המעקב אחר מגע, מה שהקשה על שירות הבריאות הלאומי בבריטניה (NHS) לזהות ולהודיע ​​לאנשים שהיו בקשר הדוק עם חולים נגועים. . בהצהרה שנערכה ב -4 באוקטובר, מייקל ברודי, מנכ”ל PHE זמני, אמר כי NHS Test and Trace ו- PHE פתרו את הנושא במהירות והעבירו את כל המקרים המצטברים באופן מיידי למערכת איתור המגעים ל- NHS.

PHE הקימה “הפחתה מהירה” המפצלת קבצים גדולים וערכה סקירה מלאה מקצה לקצה של כל המערכות כדי למנוע אירועים דומים בעתיד.

אלגוריתם הבריאות לא הצליח לסמן חולים שחורים
בשנת 2019, מחקר שפורסם ב- Science גילה כי אלגוריתם של חיזוי בריאות, המשמש בתי חולים וחברות ביטוח ברחבי ארה”ב לצורך זיהוי חולים הזקוקים לתוכניות “ניהול טיפול בסיכון גבוה”, היה הרבה פחות סיכוי לבדל חולים שחורים.

תוכניות לניהול טיפול בסיכון גבוה מספקות צוות סיעודי מיומן ומעקב אחר טיפול ראשוני לחולים כרוניים במאמץ למנוע סיבוכים חמורים. אך האלגוריתם היה הרבה יותר ממליץ על חולים לבנים לתוכניות אלה מאשר על חולים שחורים.

המחקר מצא כי האלגוריתם השתמש בהוצאות בריאות כמיופה כוח לקביעת הצורך הבריאותי של האדם. אך על פי Scientific American, עלויות הבריאות של חולים שחורים חולים היו שוות לעלויות של אנשים לבנים בריאים יותר, מה שאומר שהם קיבלו ציוני סיכון נמוכים יותר גם כאשר הצורך שלהם היה גדול יותר.

חוקרי המחקר הציעו כי ייתכן שגורמים ספורים תרמו. ראשית, לאנשים צבעוניים יש סיכוי גבוה יותר להכנסות נמוכות יותר, אשר, גם כאשר הם מבוטחים, עשויים לגרום להם פחות סיכוי לגשת לטיפול רפואי. הטיה מרומזת עלולה גם לגרום לאנשים צבעוניים לקבל טיפול באיכות נמוכה יותר.

המחקר אמנם לא שם את האלגוריתם או את המפתח, אך החוקרים אמרו לסיינטיפיק אמריקן כי הם עובדים עם היזם בכדי לטפל במצב.

מערך הנתונים אימן את צ’ט-בוט של מיקרוסופט להפליט ציוצים גזעניים
במרץ 2016 נודע למיקרוסופט כי שימוש באינטראקציות עם טוויטר כנתוני אימון לאלגוריתמים של למידת מכונה עלול לגרום לתוצאות מטרידות.

מיקרוסופט שחררה את טיי, צ’ט בוט AI, בפלטפורמת המדיה החברתית. החברה תיארה זאת כניסוי ב”הבנת שיחה “. הרעיון היה שהצ’ט-בוט היה מניח את הפרסונה של נערה מתבגרת וינהל אינטראקציה עם אנשים באמצעות טוויטר באמצעות שילוב של למידת מכונה ועיבוד שפה טבעית. מיקרוסופט זרעה אותה בנתונים ציבוריים אנונימיים ובכמה חומרים שנכתבו מראש על ידי קומיקאים, ואז שחררה אותה ללמוד ולהתפתח מהאינטראקציות שלה ברשת החברתית.

בתוך 16 שעות פרסם הצ’ט-בוט יותר מ -95,000 ציוצים, וציוצים אלה הפכו במהירות לגזעניים, שנאת נשים ואנטישמיות. מיקרוסופט השעתה במהירות את השירות לצורך התאמות ובסופו של דבר משכה את התקע.

“אנו מצטערים מאוד על הציוצים הפוגעניים והפוגעים לא מכוונים של טיי, שאינם מייצגים את מי שאנחנו או את מה שאנחנו מייצגים, ולא את האופן בו עיצבנו את טיי”, אמר פיטר לי, סגן נשיא ארגוני, Microsoft Research & Incubations (אז סגן התאגיד. נשיא Microsoft Healthcare), כתב בפוסט בבלוג הרשמי של מיקרוסופט בעקבות האירוע.

לי ציין כי קודמו של טיי, שיאויס, ששוחרר על ידי מיקרוסופט בסין בשנת 2014, ניהל בהצלחה שיחות עם יותר מ -40 מיליון איש בשנתיים שקדמו לשחרורו של טיי. מה שמיקרוסופט לא לקחה בחשבון הוא שקבוצת משתמשי טוויטר תתחיל מיד בציוץ התגובות הגזעניות והמיזוגיסטיות לטאי. הבוט למד במהירות מאותו חומר ושילב אותו בציוצים משלו.

“למרות שהתכוננו לסוגים רבים של התעללויות במערכת, ערכנו פיקוח קריטי על המתקפה הספציפית הזו. כתוצאה מכך, טווי צייץ מילים ותמונות בלתי ראויות ומראיות לגנאי,” כתב לי.

כלי הגיוס המותאם לאמזון AI מומלץ רק לגברים
כמו חברות גדולות רבות, אמזון רעבה לכלים שיכולים לעזור לתפקוד משאבי אנוש שלה במסך היישומים עבור המועמדים הטובים ביותר. בשנת 2014 אמזון החלה לעבוד על תוכנת גיוס המופעלת על ידי AI בכדי לעשות זאת. הייתה רק בעיה אחת: המערכת העדיפה מאוד מועמדים גברים. בשנת 2018 פרסמה רויטרס את הידיעה שאמזון גרפה את הפרויקט.

המערכת של אמזון העניקה למועמדים דירוגי כוכבים מ -1 עד 5. אך המודלים של למידת מכונה שבלב המערכת הוכשרו בקורות חיים שהועברו לאמזון ל -10 שנים – רובם מגברים. כתוצאה מנתוני ההדרכה ההם, המערכת החלה להעניש את הביטויים בקורות החיים הכוללים את המילה “נשים” ואף הורידה מועמדים ממכללות לנשים.

באותה תקופה אמזון אמרה כי הכלי מעולם לא שימש את מגיישי אמזון להערכת מועמדים.

החברה ניסתה לערוך את הכלי כדי להפוך אותו לניטראלי, אך בסופו של דבר החליטה שהיא לא יכולה להבטיח שהיא לא תלמד דרך מפלה אחרת למיון מועמדים וסיימה את הפרויקט.

ניתוח היעד פגע בפרטיות
בשנת 2012, פרויקט ניתוח של הטיטאן הקמעונאי Target הראה כמה חברות יכולות ללמוד על לקוחות מהנתונים שלהם. על פי הניו יורק טיימס, בשנת 2002 התחילה מחלקת השיווק של טארגט לתהות כיצד היא יכולה לקבוע אם לקוחות בהריון. קו חקירה זה הוביל לפרויקט ניתוח ניבוי שיוביל את הקמעונאית באופן מפורש לגלות למשפחת נערה מתבגרת שהיא בהריון. זה, בתורו, יוביל לכל מיני מאמרים ובלוגים שיווקיים המצטטים את האירוע כחלק מעצות להימנעות מ”הגורם המצמרר “.

מחלקת השיווק של Target רצתה לזהות אנשים בהריון מכיוון שיש תקופות מסוימות בחיים – הריון בעיקר בקרבם – כאשר אנשים נוטים ביותר לשנות באופן קיצוני את הרגלי הקנייה שלהם. אם היעד יוכל להגיע ללקוחות באותה תקופה, זה יכול, למשל, לטפח התנהגויות חדשות אצל אותם לקוחות, לגרום להם לפנות אל היעד עבור מצרכים או בגדים או מוצרים אחרים.

כמו כל שאר הקמעונאים הגדולים, Target אספה נתונים על לקוחותיה באמצעות קודי קונים, כרטיסי אשראי, סקרים ועוד. זה ריסק את הנתונים האלה עם נתונים דמוגרפיים ונתוני צד שלישי שרכש. הצמצום של כל הנתונים הללו איפשר לצוות הניתוח של טארגט לקבוע כי ישנם כ -25 מוצרים שנמכרו על ידי Target שניתן לנתח יחד כדי ליצור ציון “חיזוי הריון”. מחלקת השיווק תוכל לפנות ללקוחות בעלי ציונים גבוהים באמצעות קופונים ומסרים שיווקיים.

מחקר נוסף יגלה כי לימוד מצב הרבייה של הלקוחות עלול להרגיש מצמרר עבור חלק מאותם לקוחות. על פי הטיימס, החברה לא חזרה מהשיווק הממוקד שלה, אך החלה לערבב מודעות לדברים שהם ידעו שנשים בהריון לא

Leave a Reply

Your email address will not be published. Required fields are marked *