Flere og flere professorer står frem for å uttrykke sin skepsis til universitetsrangeringssystemer. Denne gangen snakker de opp om rangeringen av forretningsprogrammer.
Bloomberg Businessweek, som publiserer en årlig MBA-rangering, har i årevis forvrengt innsendte data, ifølge Anjani Jain, visedekan ved Yale School of Management. Jain sier at han ikke er den eneste med bekymringer, og andre handelshøyskoledekaner og fakulteter har tvil om påliteligheten til mye leste MBA-rangeringer.
I februar matteprofessor Michael Thaddeus utsatt feilaktige data levert av Columbia University til U.S. News & World Report topp universitetsrangering. Avsløringen forårsaket Columbia, rangert som nr. 2 i 2021, til falle til nr. 18 plass. I mellomtiden var Temple Universitys tidligere handelshøyskoledekan dømt av wire svindel i fjor, etter å ha sendt inn falske data som rangerte universitetets online MBA-program nr. 1 av U.S. News fra 2015 til 2018.
MBA-rangeringer har stor innvirkning på søknader om handelshøyskoler og størrelsen på programmene. De 10 beste programmene har blitt større, med flere søkere, penger og fakultet, på grunn av rangeringene, ifølge Kenneth Brown, professor ved University of Iowas Tippie College of Business. 'Det er veldig reelle konsekvenser for disse rangeringene, og de er sannsynligvis mer dramatiske for handelshøyskoler - fakultetet har alltid vært bekymret for at disse egentlig ikke hjelper studenter, men det har blitt en realitet vi må møte,' sa Brown.
Yales Jain, som anser seg selv som en beundrer av Thaddeus, tok først opp problemer med Businessweek MBA-rangering tilbake i 2021. 'Jeg oppdaget ved et uhell et problem med det i fjor,' sa han.
Faktorer som 'kompensasjon' gis uforholdsmessig vekt
Forretningsuke samler data fra rundt 84 forskjellige amerikanske handelshøyskoler om fem forskjellige komponenter: kompensasjon, læring, nettverksbygging, entreprenørskap og mangfold. 'Det unike med denne rangeringen er at de ikke pålegger sine egne synspunkter på hvor mye hver av disse faktorene bør vurderes,' sa Jain. Forretningsuke spør i stedet respondentene hva vektene skal være, ved å bruke interessentgenererte vekter for hver komponent. Jain fikk imidlertid problemer da han så på offentlige data lagt ut av Forretningsuke sammen med sin 2021-rangering. Da han utledet hva vektene for hver komponent måtte være for å gjenskape rangeringen, fant han forskjellige resultater fra de interessentgenererte vektene. 'Du kunne ikke replikere rangeringsrekkefølgen de publiserte ved å bruke dataene de la ut og metodikken de beskrev,' sa han.
Med Businessweek 2022-rangeringer fant Jain det samme problemet igjen, og forklarte dataforvrengningen i en artikkel i Poeter og Hvor mange, en nettside som fokuserer på handelshøyskoler. Kompensasjon, gitt en 37 prosent interessentgenerert vekt, ble gitt en 69 prosent vekt med Forretningsuke , mens vekten som ble gitt til læring sank fra 25 prosent til 6 prosent. «Det er useriøst. De fortsetter å komme med påstander om fordelen med interessentgenererte vekter, når deres beregninger forvrenger vektene veldig betydelig,» sa Jain.
Jain mener at å bruke de interessentgenererte vektene riktig ville skape en helt annen rangering - selv om de fem beste skolene ville forbli mer eller mindre uendret, ville resten av listen bli betydelig omstokket. Imidlertid sa han Forretningsuke vil sannsynligvis ikke endre metodikken sin, ettersom en liste som ser betydelig annerledes ut kan reise spørsmål om troverdigheten til tidligere rangeringer. 'Det minner meg om det kinesiske ordtaket, 'når du rir på en tiger, kan du ikke lett gå av,' sa Jain.
I en uttalelse gitt til observatøren, a Bloomberg Businessweek talsperson sa at utgiveren står ved sin rangering.
Bortenfor Forretningsuke Jain mener MBA-rangeringer generelt er feil, og reduserer mangefasetterte studentopplevelser til enkle lineære rekkefølger. 'Men hvis du skal påta deg dette, gjør det i det minste med en viss integritet,' sa han og la til at Forretningsuke er ikke den eneste MBA-rangeringen med problemer.
Selvrapporterte data og kollegaevalueringer reiser spørsmål om validitet
Det har tidligere blitt reist utfordringer om gyldigheten av data gitt til rangerte utgivere, sa Homer Erekson, professor ved Texas Christian Universitys Neely School of Business. Erekson mener aspektene ved fagfelleevaluering og selvrapporterte data, som er vanlige på tvers av MBA-rangeringer, ikke er pålitelige. Og mens Forretningsuke og Financial Times , en annen populær kompilator av MBA-rangeringer, publiserer metodikkene deres, argumenterer Erekson for at selv de som tar seg tid til å dobbeltsjekke rangeringer med metodikk, fortsatt stoler på gyldigheten av data levert av universitetene selv.
De Financial Times svarte ikke på forespørsler om kommentarer.
Kompensasjon, som måler lønn etter endt utdanning, er ofte uforholdsmessig prioritert i MBA-rangeringer, sa Brown. Mens en indeks som mangfold vanligvis ikke vil variere nevneverdig på tvers av universiteter, varierer kompensasjonen mye på tvers av region og industri, sa han. Og skoler som plasserer elever i byer med høye levekostnader, som New York og San Francisco, vil ofte reflektere høyere lønn. Variasjonen til en faktor som kompensasjon vil uforholdsmessig understreke dens betydning i rangeringer.
'Der skoler viser de største forskjellene, vil det være det som gjenspeiles i enhver type rangering,' sa Brown. 'De gir kreditt til skoler som plasserer flere mennesker i høyere betalende bransjer og byer med høyere levekostnader. Det er vanskelig å tilpasse seg det.» Mens høytbetalende lønn er et mål for mange forretningsstudenter, bekymrer Brown at rangeringer legger mer vekt på kompensasjon enn andre faktorer som angår kvaliteten på utdanningen.
Etter overraskende rangeringer har noen utgivere stoppet listene sine totalt
Nylig har noen fremtredende MBA-rangeringsutgivere stoppet sine årlige rangeringslister. I august, Poeter og kvanter rapportert Forbes ville også avvikle MBA-rangeringene for 2022, med henvisning til tapet av en seniorredaktør med ansvar for å kompilere listen. I mellomtiden, Økonomen i 2021 publiserte en rangering som flere handelshøyskoler nektet å delta i, med henvisning til dataavbrudd på grunn av Covid-19-pandemien. Femten av de 25 beste skolene hoppet over 2021-rangeringen, noe som resulterte i en liste som mange kritisert som ujevn. Økonomen i juli annonsert at MBA-rangeringen i 2022 ville være den siste.
Økonomen og Forbes svarte ikke på forespørsler om kommentarer.
I følge Brown avslører denne typen tilbakeslag hvordan rangeringsutgivere ikke er åpne for endring til tross for iboende problemer i rangeringene deres. 'Hvis du ender opp med noe som ikke forsterker folks eksisterende oppfatninger av status, vil folk stille spørsmål og ikke lese publikasjonen din,' sa han. 'Men hvis det er tilfelle, forsterker ikke disse bare stående statusoppfatninger?'
