Le nom scientifique de la hyène brune porte deux noms : Parahyaena brunnea et Hyaena brunnea. Le premier descripteur, Carl Peter Thunberg, l'a placé dans le genre Hyaena et donc dans le même genre que la hyène rayée. En 1974, Hendey a remis en question la relation étroite entre les deux. Il soupçonnait que la hyène brune était plus étroitement liée au genre éteint Pachycrocuta, qui était principalement répandu en Eurasie au Pliocène et au Pléistocène. Il les a donc classés dans leur sous-genre Parahyaena. Cette séparation a été confirmée par Werdelin et Solounias en 1991, mais ils ont élevé Parahyaena au rang de son propre genre. Le lien étroit entre la hyène brune et le genre Pachycrocuta a été repris dans un article spécialisé en 2024. Il y avait de fortes similitudes au niveau de la dentition, c'est pourquoi l'auteur de l'étude a suggéré de réintégrer la hyène brune dans le genre Pachycrocuta.
Sur la base de données morphologiques et moléculaires , il est désormais certain que parmi les formes modernes, la hyène rayée est la plus proche parente vivante de la hyène brune et que les deux espèces forment donc des taxons frères. Dans certaines taxonomies, l'appartenance au genre Hyaena est maintenue sur la base de cette relation, par exemple par WC Wozencraft. D'autres travaux s'appuient sur des différences morphologiques et répertorient la hyène brune dans son propre genre Parahyaena. Les différences résident, entre autres choses, dans la structure des prémolaires et d'autres détails de la structure du crâne (chez Parahyaena), la première prémolaire supérieure est plus petite, le palais s'étend plus en arrière et l'atlas et l'axe se chevauchent plus longtemps. Les deux espèces se sont séparées il y a environ 4,2 millions d'années. La hyène brune elle-même est monotypique, ce qui signifie qu'aucune sous-espèce n'est reconnue.