是不是只有學校行政人員或單位主管才需要遵守個資法?

不是,不論自然人(也就是一般個人),法人(企業)或其他團體都須遵守個資法。