Wrote stuff?

This commit is contained in:
2026-08-29 17:53:06 +03:00
parent 1aef8e0f11
commit 24d6fac79c
9 changed files with 191 additions and 197 deletions
+7 -1
View File
@@ -25,7 +25,13 @@
\textbf{Abstract}
\end{center}
In this paper we present ...
Real datasets used to train models are often plagued by
label noise, where a fraction of training labels are incorrect. Standard per-sample losses such as binary cross-entropy are sensitive to mislabeled examples and optimize per-sample accuracy rather than ranking quality, making them misaligned with the Area Under the ROC Curve (AUC), the standard metric for imbalanced classification. Noise-robust losses (GCE, MAE) address the sensitivity problem but remain per-sample and inherit the same metric mismatch. Existing AUC-maximizing methods improve on this by directly targeting ranking quality, but rely on pairwise surrogate losses that optimize for AUC indirectly.
In this work we introduce \textsc{ROLL} (Rate Optimized Likelihood Loss), a framework for differentiable ROC-curve optimization via output score distribution fitting. The primary instantiation, \textsc{ROLL}-AoC, approximates AUC as the mean TPR sampled across a range of FPR thresholds. This loss utilizes a Kernel Density Estimation to approximate the distribution of output scores at each epoch, and optimizes it directly via gradient descent with a custom backward pass. Although noise robustness is not an explicit design objective, \textsc{ROLL}-AoC exhibits strong implicit resistance to label noise.
We evaluate on twelve KEEL benchmark datasets under label noise, CIFAR-10N under real crowdworker annotation noise, three large-scale tabular datasets, and NIH ChestX-ray14 with organic NLP-extracted label noise. Across all benchmarks, \textsc{ROLL}-AoC is competitive under clean labels and leads under high noise rates, outperforming dedicated noise-robust losses.
+6 -2
View File
@@ -29,6 +29,10 @@
\textbf{תקציר}
\end{center}
בלה בלה בלה בלה בלה בלה .
מערכי נתונים אמיתיים המשמשים לאימון מודלים סובלים לעיתים קרובות מרעש תוויות, שבו חלק מתוויות האימון שגויות. פונקציות הפסד סטנדרטיות המחושבות לכל דגימה בנפרד, כגון binary cross-entropy, רגישות לדגימות המתויגות באופן שגוי. הן נוטות לטייב את המודל כאשר כל דגימה נלקחת בנפרדת, במקום לטייב את דיגורן ככלל, מה שמנתק אותן מהמדד הרצוי, שטח מתחת לעקומת ROC‏ (AUC), המדד הסטנדרטי לסיווג. פונקציות הפסד עמידות לרעש (GCE ,MAE) מטפלות ברגישות זו, אך נותרות מחושבות לדגימה בודדת ויורשות את אותו פער במדד. שיטות קיימות לאופטימיזציה של AUC משפרות זאת על ידי כיוון לאיכות דירוג, אך מסתמכות על פונקציות הפסד-תחליף זוגיות ומטייבות את AUC באופן עקיף.
\selectlanguage{english}
בעבודה זו אנו מציגים את \textenglish{\textsc{ROLL}} ‏(Rate Optimized Likelihood Loss), מסגרת לאופטימיזציה דיפרנציאבילית של עקומת ROC באמצעות התאמת התפלגות ציוני הפלט של המודל. המימוש העיקרי, \textenglish{\textsc{ROLL}-AoC}, מקרב את AUC כממוצע TPR הנדגם על פני טווח ערכי FPR. פונקציית הפסד זו משתמשת \textenglish{Kernel Density Estimation (KDE)} לקירוב התפלגות ציוני הפלט בכל שלב אימון, ומטייבת עבורה באופן ישיר. למרות שעמידות לרעש אינה מטרת עיצוב מפורשת, \textenglish{\textsc{ROLL}-AoC} מפגין עמידות משמעותית ומובהקת לרעש תוויות.
אנו מעריכים את השיטה על שנים-עשר מערכי נתונים מהאוסף KEEL תחת רעש תוויות, CIFAR-10N תחת רעש אנוטציה אנושי אמיתי, שלושה מערכי נתונים טבלאיים בקנה מידה גדול, ו-NIH ChestX-ray14 עם רעש תוויות אורגני שנוצר על ידי אלגוריתם עיבוד שפה טבעית. על פני כלל הבנצ'מרקים, \textenglish{\textsc{ROLL}-AoC} תחרותי בנתונים נקיים ומוביל בשיעורי רעש גבוהים, ועולה על פונקציות הפסד ייעודיות עמידות לרעש.
\selectlanguage{english}
+6 -1
View File
@@ -1,3 +1,8 @@
\chapter*{Acknowledgements}
First and foremost, I would like to thank my inspiration Alan Turing...
With all due respect to Alan Turing, I would first like to thank my wife, Chen, for her everlasting support and love.
Thank you to my daughters, Ella and Tom, for being the lights of my life, and, despite their best efforts, not breaking my computer.
I would like to thank my parents, Valerie and Yair, for teaching me the value of education, hard work, and for giving me lunch money.
Thank you to my sister Niva for always having my back.
Thank you to my mentors, Prof. Rokach and Prof. Kontorovich, for your patience and guidance.