׳האם תוכל לשפר את זה?׳ – חלק 1: מבוא ל-Super Resolution

מהי סופר-רזולוציה?

הדמיית סופר-רזולוציה (SR) היא מחלקה של טכניקות המשפרות (מגבירות) את הרזולוציה של תמונה מרזולוציה נמוכה (LR) לרזולוציה גבוהה (HR). בתקופה האחרונה טכניקות של למידה עמוקה (DL) הצליחו למדי בפתרון הבעיה של סופר-רזולוציה של תמונות ווידאו.

במאמר זה תמצאו תרחישי שימוש ב-SR, את התיאוריה שמאחוריהם, טכניקות שונות בהן נעשה שימוש, מדדים ודוגמאות ויזואליות של "לפני" ו"אחרי".

תרחישי שימוש

מעקב

מקור: https://www1.nyc.gov/site/nypd/services/see-say-something/crimestoppers.page

ניתן להשתמש ב-SR כדי לזהות, לזהות ולבצע זיהוי פנים על תמונות ברזולוציה נמוכה המתקבלות ממצלמות אבטחה. יישום טכניקות SR לשיפור צילומי מעקב הוא הדבר הקרוב ביותר למה שאנו יכולים לראות בסדרת הטלוויזיה CSI.

הדמיה רפואית

Cלכידת תמונות MRI ברזולוציה גבוהה יכולה להיות מאתגרת בכל הנוגע לזמן סריקה, כיסוי מרחבי ויחס אות לרעש (SNR). סופר רזולוציה מסייעת לפתור זאת על ידי יצירת MRI ברזולוציה גבוהה מתמונות MRI ברזולוציה נמוכה.

תמונות לוויין

המקרה הנוסף שבו ייתכן שתרצו להחיל SR על התמונות שלכם תחילה הוא כאשר איסוף נתוני HR יקר. הדבר נכון במיוחד עבור תמונות לוויין, שבהן 1 קמ"ר של תמונות ברזולוציה של 30 ס"מ יכול לעלות למעלה מ-25 דולר. עלות תמונות ברזולוציה של 1 מ' היא כ-10 דולר לקמ"ר. המשמעות היא שעבור אצווה של 1000 קמ"ר, אתם משלמים 10,000 דולר ולא 25,000 דולר – כלומר חיסכון עצום בעלויות עבור החברה שלכם.

מדיה

ניתן להשתמש ב-Super resolution כדי להפחית עלויות שרת, מכיוון שניתן לשלוח מדיה ברזולוציה נמוכה יותר ולבצע המרה כלפי מעלה באופן מיידי. האיור לעיל מציג את ההבדל בין תמונות PIRM self-val ברזולוציה נמוכה (LR) לבין תמונות ברזולוציה גבוהה (HR) (https://pirm.github.io/). משמאל יש תמונות מוקטנות פי 4, ומימין תמונות ה-HR המקוריות.

רזולוציה-על בעולם האמיתי

ניתן להשתמש ב-SR כדי להפחית ארטיפקטים ורעש מתמונות מהעולם האמיתי. בעצם, אתה יכול לשפר את כל הסלפים ותמונות החופשה שלך לפני העלאתם לפייסבוק או לאינסטגרם.

אופטימיזציית משחקים – DLSS

DLSS (ראשי תיבות של Deep Learning Super Sampling) היא רשת עצבית של למידה עמוקה המשתמשת בכוחם של NVIDIA RTX TensorCores כדי להגביר את קצב הפריימים וליצור פריימים חדים המתקרבים לרנדור מקורי או עולים עליו. באמצעות ניצול רשת עצבית של למידה עמוקה, DLSS מסוגלת לשלב אנטי-אליאסינג, שיפור תכונות, חידוד תמונה והתאמת קנה מידה של תצוגה, דבר שפתרונות אנטי-אליאסינג מסורתיים אינם יכולים לעשות. בגישה זו, DLSS מספקת ביצועים גבוהים עד פי 2 עם איכות תמונה דומה לרנדור מקורי ברזולוציה מלאה. היא מספקת לך מרווח ביצועים למקסום הגדרות ray tracing ולהגדלת רזולוציית הפלט. DLSS מופעלת על ידי מעבדי AI ייעודיים בכרטיסי RTX GPU הנקראים Tensor Cores.

בשילוב עם טכניקות DL אחרות

תארו לעצמכם שיש לכם אוסף נתונים ואתם רוצים לבצע זיהוי אובייקטים איתה. עם זאת, הנתונים באיכות נמוכה מאוד, אולי ממצלמות וידאו ישנות או זולות. וכשאתם מנסים להחיל את מודלי ה-DL הרגילים שלכם, הם לא מתפקדים טוב במיוחד… אתם יכולים לשפר את הביצועים שלהם על ידי העברת התמונות שלכם תחילה דרך רשת SR.

במאמר הבא בסדרה זו, אספר לכם יותר על שיטות דגימה מחדש של תמונות דיגיטליות וכיצד למדוד את הביצועים שלהן.