39 lines
3.0 KiB
TeX
39 lines
3.0 KiB
TeX
\thispagestyle{empty}
|
||
\selectlanguage{hebrew}
|
||
|
||
\begin{center}
|
||
\Large
|
||
\thesistitlehe
|
||
|
||
\vspace{0.4cm}
|
||
\large
|
||
\thesisauthornamehe
|
||
|
||
\vspace{0.4cm}
|
||
\large
|
||
עבודת גמר לתואר מוסמך למדעי הטבע
|
||
|
||
\vspace{0.2cm}
|
||
\large
|
||
אוניברסיטת בן-גוריון בנגב
|
||
|
||
\vspace{0.2cm}
|
||
\large
|
||
|
||
\selectlanguage{english}
|
||
\thesisyear
|
||
|
||
\selectlanguage{hebrew}
|
||
\vspace{0.9cm}
|
||
\Large
|
||
\textbf{תקציר}
|
||
\end{center}
|
||
|
||
מערכי נתונים אמיתיים המשמשים לאימון מודלים סובלים לעיתים קרובות מרעש תוויות, שבו חלק מתוויות האימון שגויות. פונקציות הפסד סטנדרטיות המחושבות לכל דגימה בנפרד, כגון binary cross-entropy, רגישות לדגימות המתויגות באופן שגוי. הן נוטות לטייב את המודל כאשר כל דגימה נלקחת בנפרדת, במקום לטייב את דיגורן ככלל, מה שמנתק אותן מהמדד הרצוי, שטח מתחת לעקומת ROC (AUC), המדד הסטנדרטי לסיווג. פונקציות הפסד עמידות לרעש (GCE ,MAE) מטפלות ברגישות זו, אך נותרות מחושבות לדגימה בודדת ויורשות את אותו פער במדד. שיטות קיימות לאופטימיזציה של AUC משפרות זאת על ידי כיוון לאיכות דירוג, אך מסתמכות על פונקציות הפסד-תחליף זוגיות ומטייבות את AUC באופן עקיף.
|
||
|
||
בעבודה זו אנו מציגים את \textenglish{\textsc{ROLL}} (Rate Optimized Likelihood Loss), מסגרת לאופטימיזציה דיפרנציאבילית של עקומת ROC באמצעות התאמת התפלגות ציוני הפלט של המודל. המימוש העיקרי, \textenglish{\textsc{ROLL}-AOC}, מקרב את AUC כממוצע TPR הנדגם על פני טווח ערכי FPR. פונקציית הפסד זו משתמשת \textenglish{Kernel Density Estimation (KDE)} לקירוב התפלגות ציוני הפלט בכל שלב אימון, ומטייבת עבורה באופן ישיר. למרות שעמידות לרעש אינה מטרת עיצוב מפורשת, \textenglish{\textsc{ROLL}-AOC} מפגין עמידות משמעותית ומובהקת לרעש תוויות.
|
||
|
||
אנו מעריכים את השיטה על שנים-עשר מערכי נתונים מהאוסף KEEL תחת רעש תוויות, CIFAR-10N תחת רעש אנוטציה אנושי אמיתי, שלושה מערכי נתונים טבלאיים בקנה מידה גדול, ו-NIH ChestX-ray14 עם רעש תוויות אורגני שנוצר על ידי אלגוריתם עיבוד שפה טבעית. על פני כלל הבנצ'מרקים, \textenglish{\textsc{ROLL}-AOC} תחרותי בנתונים נקיים ומוביל בשיעורי רעש גבוהים, ועולה על פונקציות הפסד ייעודיות עמידות לרעש.
|
||
|
||
\selectlanguage{english}
|