הגליון המאה שישים וחמישה של DigitalWhisper שוחרר!

 

ברוכים הבאים לדברי הפתיחה של הגליון ה-165 של DigitalWhisper!
  
"הזיות" בתחום הבינה המלאכותית הן מקרים בהם פלט שקרי שיוצר ע"י מודל מוצג על ידיו כעובדה נכונה. כמובן שהמודל לא מנסה להטעות בכוונה, אלא באמת ובתמים "מאמין" שזאת האמת ולכן מציג אותה. אחרת, למונח הזה לא היו קוראים "הזיות", אלא - "שקרים". ואני מניח שלכל מי שיצא להשתמש במודל כזה או אחר יצא גם לחוות את אותם אי-דיוקים. על פי הכתוב בויקיפדיה "חוקרים זיהו את הנושא הזה, ועד שנת 2023, אנליסטים העריכו שצ'אטבוטים הוזים עד 27% מהמקרים, עם טעויות עובדתיות ב-46% מהתגובות שלהם".
 
כאשר משתמש הקצה מודע לסטטיסטיקה הזאת, הוא יכול לקחת אותה בחשבון כאשר הוא קורא טקסט שיוצר בצורה מלאכותית ולנסות לבדוק או לאמת את הנתונים שנשמעים לו חשודים. אך לתחושתי, נדמה שרוב המשתמשים לא מפעילים קריאה ביקורתית כאשר הם קוראים תוכן שכזה. שלא לדבר על מקרים שבהם למשתמש אין בכלל מושג שהמקור של הטקסט הוא מלאכותי.
 
החודש חבר הפנה את תשומת ליבי לפוסט מוזר ומעניין שפורסם ב-reddit. הכותרת שלו היא:
"Family poisoned after using AI-generated mushroom identification book we bought from major online retailer."
 
לא בטוח עד כמה אפשר להוכיח את נכונותו של הפוסט, אבל אם נניח לרגע שהוא לחלוטין אמיתי, אז הסיפור שם די מטורף. בפוסט מסופר על משפחה שלמה מאנגליה שבילתה מספר ימים בבית חולים לאחר שאכלה פטריות רעילות. את הפטריות המשפחה ליקטה בעצמה ביער סמוך לביתם. ליקוט פטריות זה עניין מסוכן, ולכן את מלאכת הקטיפה הם עשו על פי מדריך מפורט מאוד לליקוט פטריות באופן בטוח לאכילה, בשם: "Mushrooms UK: A Guide to Harvesting Safe and Edible Mushrooms". את הספר אב המשפחה קיבל מתנה מאשתו ליום ההולדת שחגג. האישה רכשה את הספר מחנות באמזון (זה לא נכתב בפוסט המקורי, אך זה מתבהר בתגובות). הספר לא כלל רק תיאורים מפורטים של הפטריות אלא התייחס למיקום שאפשר למצוא אותן באנגליה וגם כלל תמונה של כל פטריה כך שניתן יהיה לאתרה בטבע ביתר קלות ומבלי חשש.
 
לאחר שהתעורר חשד מצד המשפחה לנכונות המידע שבספר, האב החליט לחקור מעט אודותיו. לתדהמתו הוא גילה שהספר לא נכתב ע"י בן אדם, אלא יוצר ע"י בינה מלאכותית. וכך גם התמונות שבספר - הן נוצרו ע"י מודל בינה מלאכותית לייצור תמונות. לטענת האב, כאשר הוא פנה לאמזון, הוא התבקש להחזיר את הספר כדי לקבל זיכוי. במקביל, לדבריו, נראה כי הספר ירד מהמדפים ואף נעלם מהיסטורית הרכישות שלו. בפוסט, האב התייעץ האם עליו להחזיר את הספר, מפני שזאת הראייה היחידה שלו בכל הסיפור הזה.
 
אם מה שאותו משתמש reddit טוען הוא אמת - אז הסיפור הזה מטורף לחלוטין. מישהו החליט לייצר ספר על פטריות באמצעות AI ולא טרח לבדוק את נכונותו, או אולי אף גרוע מזה: יש מצב שכיום, באתרים כגון אמזון, נוצרים ספרים יש מאין, על בסיס החיפוש של המשתמש. מישהו מעוניין לרכוש ספר בנושא שאין לנו? למה שלא נייצר אחד במקום, נדפיס ונמכור לו... הרי לייצר טקסט שנשמע נכון זה משהו שניתן לייצר היום בכל נושא ובכל אורך.
 
באותו פוסט, הבחור מספר שבקריאה מדוקדקת יותר, הוא יכל למצוא דוגמאות לטקסט שנודף מהן ריח חזק מאוד של מודל מבוסס בינה מלאכותית:
"In conclusion, morels are delicious mushrooms which can be consumed from August to the end of Summer. Let me know if there is anything else I can help you with."
 
בדיוק כמו שהאנושות רצה לאמץ טכנולוגיות IoT מבלי לשקול את רמת האבטחה של המוצרים האלה, כך אנחנו עושים כיום עם תחום ה-AI. כשמדובר בייצור שירים ההשלכות לא מזיקות ברובן, אך כשמייצרים קטעי קוד קריטיים באמצעות LLMs, או ספרים לליקוט פטריות, ההשלכות עלולות להיות הרות אסון.
 
מי שמייצר את המודלים עליהם הרבה מהעולם מתבסס, מכיר את המגבלות שלהם, אך על פי רב, המשתמשים אינם מבינים שהטקסט המופיע מולם כבקסם לאו דווקא שואף להיות המדוייק ביותר. וכאשר מתחילים לקבל החלטות חשובות בהשפעת טקסט שכזה (כמו למשל איזה פטריה לקטוף, או, איזה תווים יש לסנן בעת קבלת קלט לפונקציה) המצב יכול להידרדר מהר מאוד.
 
אגב, נראה שחלק מהאנושות כן מבינה את פוטנציאל הבעיה, והם מנסים לייצר כלים שיאפשרו לבדוק את נכונותו של פלט ממודל בינה מלאכותית, איך הם מתכננים לעשות את זה? אה, כמובן, באמצעות מודל בינה מלאכותית אחר...
 
בנוסף, החודש, פורסם הגליון ה-71 של המגזין האגדי Phrack. דברי הפתיחה שבו תמיד מעולים. והפעם הם גם התיישבו לי בול. אז ברשותכם, אסיים עם תרגום מאוד חופשי של הפסקה הפותחת: "זה מרגיש כאילו העולם נמצא כבחלום, כבהזייה אשר מונעת מטרנדים חולפים, מתודלקת על ידי קרנות הון סיכון והבטחות שווא לעושר והשפעה בלתי ניתנים לספירה. נראה שכולם ממהרים ליישם את הדבר האחרון, בתקווה למצוא כדור קסם שיגאל אותם מבעיות שכנראה אין להם ושייתן להם פתרונות לבעיות שהם אפילו לא מבינים"

אז שיהיה בהצלחה לכולנו :)
 


וכמובן, לפני שניגש למאמרים המעולים שיש לנו החודש במגזין, נרצה להגיד תודה רבה לכל מי שהשקיע וכתב לנו מאמר. תודה רבה לשי גילת, תודה רבה להראל יעקובוביץ, תודה רבה לטום גפן, תודה רבה לעידן שכטר, תודה רבה ליוראי הרצברג, תודה רבה לעומר גולןותודה רבה לגיל בוכבינדר!
 
 
החודש, הגליון כולל את המאמרים הבאים: 
  • Windows Kernel Manual - חלק ד' - מאת שי גילת
    מאמר זה הינו מאמר רביעי בסדרת המאמרים של שי על Windows Internals. במאמר זה שי בחר להתמקד בכלים, עצות ועקרונות שכרוכים יותר בפיתוח קרנלי כללי. מי שחוקר מוצרים קרנליים למערכות Windows יכול להבין ש-99 אחוז מהחולשות שפוגעות במיליוני מערכות בכל העולם הן חולשות לוגיות "על סטרואידים". אין הדבר אומר שאין חולשות זיכרון כמו overflow-ים למיניהם, אבל גם הן מבוססות לרוב על הנחות שלא בהכרח נכונות למערכת ולתכונות שלה, טעויות בהעברת פרמטרים לפעולות וסדר פעולות וכו'. המאמר יתרכז בנקודות מרכזיות בפעילות ה-Driver-ים, קונספטים חשובים שיכולים לעזור לחוקר או המפתח להבין יותר טוב את הסביבה שהוא חוקר, כלים וצורות השימוש בהן כדי לפתח ולדבג את ה-Driver ושימוש נכון בפעולות API נפוצות כדי למנוע התנהגות לא צפויה של התוכנה.
 
  • Efficiency Meets Simplicity: Go's Role in Modern Cyber Attacks - מאת הראל יעקובוביץ
    בסוף שנת 2007, קבוצת מהנדסים מ-Google נתקלו בצורך לפתור כמה מהאתגרים היותר מורכבים באותה תקופה של תשתיות התוכנה: מעבדים מרובי ליבות, מערכות רשתות גדולות והצורך של מחשבים לבצע חישובים מסובכים ומרובים של נתונים בזמן קצר. שפות התכנות של אותה תקופה, לא עמדו בדרישות הללו. בעקבות כך פותחה שפת Go (או Golang) אשר נותנת מענה של קוד מינימלי בעל Syntax קל להבנה ונוח לכתיבה ובו הזמן בעלת יעילות כמו שפות קומפילציה מן השורה. בעלת היכולת המובנית שלה לנהל תהליכים מרובים במקביל בצורה יעילה ובטוחה. בנובמבר 2009 הופצה לראשונה השפה בתוצרת קוד פתוח וב-2012 השפה הייתה זמינה לשימוש בתוצרת היציבה והשלמה שלה והפכה לכלי חשוב ומוערך בקרב מתכנתים רבים. היתרונות הטכניים של Go גרמו לה להיות בחירה פופולרית בקרב קבוצות תקיפה רבות. ובמאמר שפירסמה חברת אבטחת המידע Intezer מוצג שבשנים האחרונות ישנה עליה של כ-2000 אחוז בכתיבת פוגענים בשפת Go. במאמר זה מציג הראל את הסיבות לכך.

  • Rootkit קרנלי לניצול תעבורה רשתית - מאת טום גפן
    במאמר זה מציג טום כיצד לפתח מודול קרנלי לינוקסי (LKM) ובעזרתו להתעסק ואף לנצל תעבורת רשת. טום יראה כיצד ניתן לפתח את הבסיס עבור חומת אש קטנה ואף כיצד להעלים פקטות, כך שלא יוצגו בעת הסנפתן בעזרת כלים כמו Wireshark ו/או TCPDump, אשר מבוססים על libpcap. המאמר מונגש לקהל יעד רחב: המאמר מתחיל בהצגת הסברים והקדמה בנוגע לחומרים יחסית בסיסיים ועולה בהדרגה ברמת הקושי. ידע מקדים ברשתות, מערכות הפעלה, בתכנות ובשפת C בפרט נדרש.
 
  • מחקר אפליקציות בסביבת אנדרואיד - המשך - מאת עידן שכטר
    מאמר זה הינו מאמר המשך לסדרת המאמרים של עידן על מחקר אפליקציות אנדרואיד. במאמר הקודם עידן הציג מחקר על האפליקציה Shazam Lite בסביבת אנדרואיד, במטרה להתגבר על מנגנון המגביל את השימוש באפליקציה לאיזורים מסויימים בלבד. עד כה, שאלות המחקרים הייתה דיי מדויקת, ושימוש בכלים שהכרנו סייע לנו להגיע אל הפתרון בצורה יחסית פשוטה. במאמר זה מעמיק עידן את ההיכרות עם אותם כלים בכדי לכתוב צ'יטים למשחק בסביבת Android. המטרה הפעם תהיה המשחק Defender II. היכרות עם הכלי Frida, שימוש בסיסי ב-ADB, והיכרות עם סביבה וירטואלית שמסמלצת מכשיר אנדרואיד (את כל אלה ועוד ניתן למצוא במאמר הקודם).

  • מימוש ופיצוח של PRNG ב-Golang - מאת יוראי הרצברג
    אם תיכנסו לדוקומנטציה של פונקציית ה-random האהובה עליכם (לדוגמה random.random בפייתון או mt_rand ב  ב-php), כנראה שתראו אזהרה מהסוג שאומרת שאין להשתמש בפונקציה הזו לטובת צורכי אבטחת מידע.ה אם האזהרה הזו חשובה? או שהסיכון הוא מינורי, ואפשר להתעלם ממנו? במאמר זה יוראי מרים את מכסה המנוע של פונקציות אלו, ויסביר מה זה PRNG (או Pseudo-Random Number Generator), איך הוא עובד מבפנים, וכיצד ניתן, בהינתן מספר מצומצם של פלטים, ובאמצעות התקפה קריפטוגרפית, לדעת מה היו כל הפלטים של ה-PRNG בעבר, ומה יהיו כל הפלטים של ה-PRNG בעתיד. כל קונספט שיוצג במאמר ימומש ב-Golang, אך לטובת הבנת המאמר אין צורך בידע קודם בשפה. עם זאת, מומלץ לדעת מעט אלגברה לינארית (כפל מטריצות, מטריצות הופכיות, וכו').

  • בין 0 ל-1: מבוא למחשבים שלא חושבים כמונו - מאת עומר גולן וגיל בוכבינדר
    רובנו שמענו הרבה על מחשבים קוונטים אשר מפותחים בשנים האחרונות, אך על מה כל הדיבור? מה ההבדל בין המחשב הסטנדרטי שכולנו מכירים ואוהבים למחשב הקוונטי? מהם המחשבים הקוונטים האלה ולמה הם כל כך טובים? על כל השאלות האלה נוספות עונים עומר וגיל במאמר זה. המאמר מתמקד בצד המתמטי והתיאורטי של המחשב הקוונטי.
 
 
 
קריאה נעימה,
           אפיק קסטיאל 



תגובות על 'הגליון המאה שישים וחמישה של DigitalWhisper שוחרר!':



#1 

דניאל (אורח):
נראה גיליון משובח!!

תודה רבה לכל הכותבים!
31.08.2024 19:34:30

#2 

אסף (אורח):
גיליון מעולה! אהבתי במיוחד את המאמר על PRNG
31.08.2024 22:02:35

#3 

קורא אדוק (אורח):
תודה רבה!
01.09.2024 09:12:22

#4 

קורא אדוק (אורח):
תודה רבה!!!
02.09.2024 11:13:24

#5 

פיטר (אורח):
מלכים!
תודה!!
05.09.2024 19:52:14



הוסף את תגובתך:
כינוי:
תגובה:
קוד אבטחה:
העתק לכאן את הקוד:
 
Digital Whisper © 2009 - 2024 - כל הזכויות שמורות ל-אפיק קסטיאל ול-ניר אדר.