הגנה מבוססת AI

Vigil

תוכנת תפיסה. היא צופה בווידאו חי, מחליטה מה קורה, מדרגת עד כמה זה חמור ושומרת את הקטע שמוכיח זאת. היא לא מזהה אף אחד, וזה בכוונה.

Vigil · הקיר

תצוגה מקדימה

כל המצלמות על קיר אחד. שורה אחת לכל אחת.

זה המסך ש־Vigil מדווחת אליו. כל מצלמה יושבת על הקיר עם שורה אחת מתחתיה — הכול תקין, עוקבת אחרי מישהו, או דווח — כך שקיר של שידורים נקרא במבט אחד במקום שצופים בו. פותחים מצלמה והיא מראה במי היא מסתכלת, ולמה.

מפעיל בלילה מול קיר וידאו שמציג את קיר Vigil: שש משבצות מצלמה, אחת עוקבת אחרי אדם בצהוב ואחת עם דיווח אדום.
מחשב נייד על שולחן בלילה שמציג מצלמה אחת פתוחה מהקיר, עם כרטיס דיווח אדום לצד התמונה.
טאבלט ביד בכיכר עירונית בשעת בין ערביים שמציג את קיר המצלמות, ומצלמת אבטחה על הבניין שמאחור.

ירוק, צהוב, אדום

מילה אחת לכל מצלמה. ירוק הוא התשובה שכמעט כל רחוב נותן כמעט כל הזמן; צהוב אומר שהיא עוקבת אחרי אדם אחד; אדום אומר שהיא דיווחה, והיא אומרת מה ראתה.

פותחים מצלמה

התמונה ממלאת את המסך וכל אדם שומר על המספר שלו. הפאנל שלצדה אומר בכרטיס אחד מה ה־AI עושה שם, והכפתור שעל כל מסגרת אומר למה האדם הזה בצבע שלו.

אדם מחליט

Vigil ממליצה; היא אף פעם לא מתקשרת לאף אחד. דיווח נשאר על המסך, במסגרת אדומה, עם הקטע שמוכיח אותו, עד שמישהו פועל לפיו.

לבקשת הדגמה

סיור בקיר החי, עם תשובות לשאלות שלכם.

איורים שנוצרו ב־AI ממסכים של קיר Vigil שרץ על צילומי בדיקה של MEVA ‏(Kitware & IARPA, ‏CC BY 4.0, בביצוע שחקנים בתשלום). ההכרעות המוצגות הן דוגמאות.

הפלטפורמה

01

Vigil

גלאי תנועה נדלק בגלל שקית שעפה ברוח. Vigil עונה על השאלה שאדם היה שואל: מה קורה, כמה זה חמור, ותראה לי.

אב־טיפוס עובד כבר היום, עם מסוף מקומי, קלט ממצלמה חיה והיסטוריית אירועים שמורה. הוא קורא תנוחה ולא פיקסלים, ולכן הוא מבחין בין אדם שהתיישב לבין אדם שנפל.

01
אירועים, לא תנועה
Vigil מסווג את מה שהוא רואה — אדם על הקרקע, מישהו שהפסיק לזוז, קהל שמתפזר, בעל חיים במקום שבו אסור שיהיה — במקום לדווח שכמה פיקסלים השתנו.
02
החלטה, לא ציון
Vigil לא מחזיר ציון שמישהו אחר צריך לפרש. הוא עונה על השאלה שמפעיל באמת נשאל — מה דעתך על זה ומה עלינו לעשות — ומתחייב לפעולה אחת מתוך רשימה קצרה, עם הסיבה שבגללה בחר בה ולא בפעולה החמורה הבאה.
03
הרבה אנשים בו־זמנית
כל אדם בפריים נעקב בנפרד, ותווית נשארת צמודה לגוף ולא למיקום — כל מסלול מותאם למקום שאליו האדם היה אמור להגיע, לא למקום שבו נראה לאחרונה, וזה מה ששומר על המספרים יציבים כשאנשים הולכים. שני מסלולים שנחצים קרוב מאוד עדיין יכולים להחליף תוויות, והמערכת בנויה כך ששום דבר חשוב לא תלוי בכך שהתווית נכונה: דוח עוסק במה שקרה במקום מסוים, לא במספר.
04
לא רק אנשים
אותו היגיון עובד גם על בעלי חיים, כי המאפיינים יחסיים לנושא עצמו — פרופורציות שנמדדות מול הגוף של הנושא ולא מול תבנית של אדם. שום דבר בגאומטריה לא מניח שתי רגליים.
05
ראיות שמחזיקות
אירוע בלי הצילומים שלו הוא דעה. כל פריים נשמר לפי הסדר ומזוהה לפי מיקומו בהקלטה, כך שאפשר לשלוף כל רגע מחדש — מפעיל, או Vigil עצמו כשסצנה מובנת רק יחד עם מה שקדם לה. אירועים שלא אומתו שומרים את הקטע שלהם שלושה ימים ונמחקים מעצמם; אירועים שאומתו נשמרים.
06
איפה כל חלק רץ
תנוחה, מעקב, ההקלטה ומאגר הראיות הם מקומיים, על המכשיר, ולעולם לא יוצאים מהאתר. שלב ההסקה הוא קריאה למודל מתארח, ואיתה נשלחות כמה תמונות סטילס. אנחנו מעדיפים לומר זאת במפורש מאשר לרמוז אחרת: זה השלב היחיד שיוצא מהאתר, זה השלב שמזהה מה אדם מחזיק ביד, ובאתרים שלא יכולים לשלוח דבר לשום מקום אפשר לכבות אותו — ונשאר רק הזיהוי המקומי.

Vigil · מפריים לתיעוד

סכמה
  1. 01 · הקלטהכל פרייםנשמר לפי הסדר, לפי שעה
  2. 02 · שם לבמשהו זזחינם, רציף, לא מחליט דבר
  3. 03 · מזהההאם מישהו שםעל המכשיר. אם אין אף אחד, זה נעצר כאן
  4. 04 · מגדירמה מוחזק בידמודל שני, על היד
  5. 05 · מחליטאו מבקש עודפועל · צופה · חוזר אחורה
  6. 06 · מעבירלאדםשמקבל את ההחלטה
לא אומת3 ימים, ואז נמחק
אומתנשמר ללא הגבלת זמן

תהליך אב־טיפוס. שלבים 02 ו־03 רצים על המכשיר ולא עולים דבר; ברחוב ריק השרשרת לעולם לא מגיעה לשלב 04. שום דבר בה לא מזהה אדם, ושום דבר בה לא מחייג — ראו סעיפים 03 ו־05.

איך הוא מחליט

02

שני מודלים, ארבעה מהלכים

אם מבקשים ממודל אחד גם לשפוט סצנה וגם לזהות מה מוחזק ביד, מקבלים תשובה גרועה יותר לשתי השאלות. לכן העבודה מפוצלת, והחצי הקשה יותר מקבל מודל משלו ושאלה משלו.

הראשון צופה במקום ומחליט מה צריך לקרות. לשני מראים חיתוך קרוב של יד ושואלים שאלה אחת: מה זה. אין לו מושג מה עוד יש בפריים, וטוב שכך — הקשר הוא מה שגורם למודל להמציא סיפור, והסיפור הוא התפקיד של המודל הראשון.

מודל 01שיפוט

הצופה

רואה את כל הפריים, את האנשים שבו, את ההקלטה שמאחוריו ואת דוח החפצים. מחליט מה לעשות.

רואה
את הסצנה
נשאל
מה עלינו לעשות
יודע על אנשים
כן
מזהה חפצים
לא
יכול לבקש עוד
קדימה ואחורה

מודל 02תפיסה

מודל החפצים

רואה יד אחת, ברזולוציה המלאה של המצלמה. אומר מה מוחזק בה, ואומר בפשטות כשהוא לא יכול לדעת.

רואה
יד אחת
נשאל
מה זה
יודע על אנשים
כלום בכוונה
מזהה חפצים
התפקיד היחיד שלו
מחליט משהו
אף פעם
01
הוא יכול לבקש עוד זמן
תמונת סטילס אחרי שהשלבים הזולים מצאו מישהו, וארבע תשובות אפשריות: אין כאן כלום, לפעול עכשיו, להראות לי את השניות הבאות, או להראות לי מה הוביל לזה. גרסאות קודמות קיבלו רצף קבוע ונדרשו לפסוק, והמודל חזר ואמר שהוא לא יכול לדעת — נכון, וחסר תועלת. ״אני עדיין לא בטוח״ הוא עכשיו מהלך ולא תלונה.
02
להסתכל אחורה זה בחינם
כל פריים נשמר ומזוהה לפי מיקומו בהקלטה, כך שסצנה שמתחילה באמצע — מישהו כבר על הקרקע, חפץ כבר ביד — אפשר לפענח בחזרה לנקודה שבה התחילה. הצילומים כבר על הדיסק, ולכן זה לא עולה כלום ומגיע מיד.
03
הוא מאיץ כשזה חשוב
ברגע שמישהו מעורר דאגה, הדגימה עוברת מפעם בשתי שניות לכמה רגעים שנבדקים יחד, ונשארת כך עד שהמצב מתברר. זה הפרק שבו משהו הופך לאירוע או מתברר כלא כלום, וזה החלק היחיד ביום שראוי לתשומת לב מלאה.
04
התראה, ולאיזה מספר
לא ציון חומרה שמישהו אחר צריך לפרש. להתעלם, לתעד, לעדכן מישהו במקום, להודיע למשטרה או להזעיק שירותי חירום — וכשהוא ממליץ להזעיק, הוא אומר את מי, כי התמוטטות צריכה אמבולנס ושריפה צריכה את שניהם. המבחן בין השניים האחרונים פשוט: האם עוד דקה תשנה את מה שיקרה לאדם שבפריים.
05
אחרי שהזעיק, הוא מפסיק לשפוט
אי אפשר לבטל קריאה, ושתי קריאות לא מביאות אף אחד פעמיים. האדם מסומן, הצילום שלו ממשיך להיות מוקלט כראיה, ותשומת הלב עוברת לכל השאר בפריים — כי אירוע לא נגמר רק כי דווח, והאדם שאף אחד עוד לא הסתכל עליו הוא עכשיו זה שאף אחד לא צופה בו.

במה הוא לא ישתמש

כללים בהנחיות

לא איך מישהו נראה

ביגוד, קפוצ׳ון, פנים מכוסות, תיק, צבע עור, גיל או מין לכאורה. שום דבר מאלה לא אומר מה אדם עושה.

לא מה הוא לובש

או לא לובש. דוח עלול להגיע למשטרה; תיאור של גוף של אדם בביתו לא שייך אליו בשום מקרה.

לא איך הוא נראה מרגיש

אף אחד לא יכול לראות מצב רוח בתמונת סטילס. אנשים נראים מתוחים כי הם מאחרים, קר להם, הם חולים או מדברים בטלפון.

לא המקום, כראיה נגד אדם

המקום קובע מה פירוש הפעולה: לעמוד במקום זה דבר רגיל במדרחוב ומסכן חיים בנתיב של כביש מהיר. הוא אף פעם לא קובע מי האדם. מי שנמצא בחניון בשלוש לפנות בוקר הוא אדם בחניון.

לא מה הוא עלול לעשות

כוונה אינה נראית. פעולה כן. את האחת אפשר לדווח, והשנייה היא ניחוש במדים.

אבל: הכללים שלכם

אם תכתבו איך נראה המצב הרגיל אצלכם, חריגה ממנו היא תצפית — מנוסחת ביחס לכלל שלכם, ולעולם לא עוברת לאתר אחר.

המבחן שהמודל מקבל, במילים שלו: אם ההמלצה שלך הייתה משתנה כשאתה מדמיין את אותן פעולות מבוצעות על ידי מישהו שנראה אחרת, ההמלצה שלך שגויה — תעשה אותה מחדש על סמך הפעולות בלבד.

Vigil · לראות אותו

שתי דרכים
שרטוט איזומטרי של מצלמת Vigil המוגמרת: מצלמת צינור לבנה עם מגן שמש, חלון קדמי וטבעת אינפרה־אדום, על זרוע קיר. החומרה לראות איך הוא בנוי עשרים ושבעה חלקים, מלוח הקיר ועד מגן השמש — מדריך הרכבה שמדפדפים בו. בסוף מסירים את הדפנות ומציצים פנימה. לשרטוט ←

זה לא המודל של Vigil. Vigil מריץ YOLOv8-pose על חומרה מקומית; שום דבר כזה לא רץ בלשונית דפדפן, ולכן ההדגמה מעריכה תנוחה בעזרת MediaPipe. הסיווג שמעליה — תנוחה, ואז חוסר תזוזה לאורך זמן — הוא אותו היגיון. בלחיצה הראשונה נטען מודל תנוחה מ־CDN, ולכן ההדגמה צריכה חיבור לרשת.

מה רץ ומתי

03

דברים זולים מחליטים מתי דברים יקרים רצים

מצלמה שצופה ברחוב ריק לא אמורה לעלות כלום. רוב המצלמות צופות ברחוב ריק כמעט כל הזמן.

לכן העבודה מאורגנת כסדרה של שערים, כל אחד זול מהבא אחריו, וכל אחד יכול לעשות דבר אחד בלבד: לבקש מבט קרוב יותר. שלב אף פעם לא מסיק מסקנות בשם השלב שמעליו. הכלל הזה הוא מה שהופך אזעקת שווא בתחתית לחסרת נזק — התשובה לעלה ברוח היא מבט שני שלא מוצא כלום, ומבט שני עולה שבריר של אגורה בחשמל.

01
רוב הזמן שום דבר לא מסתכל
עד שיש שם באמת משהו, מודל ההסקה לא נקרא, שום תמונה לא יוצאת מהאתר ושום דבר לא מחויב. זה כל הטיעון הכלכלי של המוצר, וגם טיעון הפרטיות: המערכת הזולה ביותר להפעלה היא זו שמסתכלת על הכי מעט אנשים.
02
סמכות אף פעם לא יורדת למטה
השלב שפועל תמיד לא יכול לסמן אדם, לא יכול להתריע ולא יכול לכתוב לתיעוד. הוא יכול רק להקדים את המבט הבא. אותו דבר בכל רמה: השלב שמוצא אנשים לא מחליט מה הם עושים, והשלב שמגדיר חפץ לא מחליט מה לעשות לגביו.
03
הפריים נבדק בחלקים
אדם בקצה הרחוק של רחוב הוא קומץ פיקסלים בפריים שלם ודמות מזוהה בחלק ממנו. כל מבט מחולק, ופסיקה נוצרת רק אחרי שכל החלקים דיווחו — כך שמצלמה לעולם לא מקבלת ״אין שם אף אחד״ על סמך מבט שחצי ממנו נכשל.
04
כל מצלמה לומדת את השטח שלה
במשך ימים, מצלמה בונה תמונה של האזור שלה: באילו חלקים של התמונה עוברים רכבים ובאילו הולכים אנשים, לאיזה כיוון זורמת התנועה, כמה המקום עמוס בשעה הזו. זה מה שמבדיל בין משהו חריג לבין משהו שפשוט לא מוכר — רכב בנתיב הנגדי בולט ברחוב שאתם מכירים, ובלתי נראה ברחוב שאתם לא מכירים. שום דבר שנלמד לא עובר בין מצלמות: עובדה על רחוב אחד אינה עובדה על רחוב אחר.
05
והיא אומרת כשהיא עוד לא למדה מספיק
מצלמה שהופעלה הבוקר לא יודעת כלום על הרחוב שלה, מתנהגת בדיוק כמו בלי היכולת הזו, ומדווחת כמה מהתמונה היא כבר יכולה לטעון שהיא מבינה. שטח שאף אחד מעולם לא חצה נשאר לא ידוע ולא הופך לאסור. מה שנלמד דועך עם הזמן, כך שרחוב שמשתנה נלמד מחדש במקום להתווכח איתו.
06
רכבים הם שאלה אחרת
אדם בפריים שווה מבט; מכונית בפריים היא הדבר הכי רגיל בכביש, ומערכת שהייתה מסלימה על כל אחת הייתה עולה יותר ממה שהיא שווה. רכבים נעקבים מקומית ובחינם, ורק קומץ הדברים שמצלמה קבועה יכולה לקבוע ביושר לגבי רכב מגיעים אי פעם למודל ההסקה. מהירות אינה אחד מהם: שום דבר כאן לא יודע כמה מטרים יש בפיקסל, ודוח שהיה ממיר אחד לשני היה ממציא ראיות.

Vigil · מה מותר לדוח לומר

משמעת

דוח מצטט את הראיות שלו. הוא אף פעם לא משפר אותן.

המבט הקרוב על יד מחזיר את מה שראה וכמה היה בטוח, כולל ״אני לא יכול לדעת״. מודל ההסקה רשאי לפעול לפי זה ורשאי לחלוק עליו מתוך תמונה רחבה יותר — אבל אסור לו לנסח את זה מחדש כמשהו מוצק יותר ממה שהיה, ואסור לו לקחת ממצא על אדם אחד ולהצמיד אותו לאחר. אי־ודאות משנה את התשובה ולא מעוגלת החוצה: חפץ שאף אחד לא הצליח לזהות הוא סיבה שמישהו יצפה בקטע, לא סיבה לשלוח מישהו בריצה.

זה נאכף פעמיים. זה כתוב בהנחיות שהמודל עובד לפיהן, וזה נבדק אוטומטית אחר כך — כל המלצה מושווית לראיות שמאחוריה, והמלצה שטוענת יותר ממה שהראיות תומכות בו מסומנת ככזו עוד לפני שאדם קורא אותה.

ושום דבר במערכת לא מחייג לאף אחד. Vigil ממליץ; אדם מחליט ומתקשר. זה בכוונה, וזה לא שלב שאנחנו מתכוונים להסיר.

בפועל

04

שלושה לילות

איך השלבים שלמעלה נראים כשמשהו באמת קורה: מי שם לב, כמה זה עולה, והרגע שבו אדם לוקח פיקוד.

בחרו לילה ותנו לו לרוץ, או גררו לאורך הפס. כל צעד מציין את השלב שפעל. הכסף זז רק כשהשער נפתח, והצעד האחרון הוא תמיד אדם.

שעה מקומית
--:--:--
עלות
$0.000

    להמחשה. כך בנוי Vigil להגיב, שלב אחר שלב, לפי התהליך של אב־הטיפוס ועלות המבט בתשלום שלו. אלה אינן הקלטות של אירועים אמיתיים, והמקומות והשעות בדויים.

    גבולות

    05

    מה הוא לא יעשה

    Vigil לא מזהה אף אחד. בלי זיהוי פנים, בלי התאמה ביומטרית, בלי רשימות מעקב. הוא מסווג מצבים, לא אנשים.

    זו החלטת תכנון, לא יכולת חסרה, וזו ההחלטה שמבקשים מאיתנו לשנות הכי הרבה. שתי סיבות מחזיקות אותה במקומה.

    01
    חיזוי כוונות הוא חשבון, לא כוונון
    סינון קהל כדי לגלות מי עומד לעשות משהו נתקל בשיעור הבסיס. בסגוליות של 99% — הרבה מעבר לכל מערכת מבצעית — כ־889 אנשים חפים מפשע מסומנים על כל מקרה אמיתי אחד. שום איכות מודל לא מתקנת יחס שנקבע לפי כמה נדיר האירוע.
    02
    מצבים לא מאשימים אף אחד
    קהל שמתפזר פתאום הוא אות סכנה חזק יותר מכל תנוחה שנקראת מאדם בודד, והוא לא טוען דבר על אף אדם שבו. זה סוג האותות ש־Vigil בנוי עליו.
    03
    דיווח תנוחה נשאר כבוי
    המערכת יכולה לתאר תנוחת גוף, והיכולת הזו יוצאת כשהיא מושבתת. כשמפעילים אותה היא מדווחת תנוחה ורמת ביטחון — אף פעם לא אדם, אף פעם לא כוונה, ואף פעם לא המילים "אדם מסוכן".