فیلتر یک رابطه many to many

میتونی برعکس عمل کنی یعنی به ازای هر role یوزراشو بگیری و مرج کنی!

$roles = Role::whereIn('id',[1,2])->with('users')->get();

بعدش یه حلقه ران کن روی رول ها یوزرهاشون رو بگیر.
یا اینکه از whereNotIn استفاده کن و اون قسمتی که نمیخوای رو درج کن به صورت زیر

    $users = $users->whereHas('roles', function ($q) {
        $q->whereIn('id', [1, 2])
          ->whereNotIn('id', Role::whereNotIn('id', [1, 2])->get());
    });