Das Editorial Board einer Zeitschrift managt den Peer-Review-Prozess, das heißt es wählt die Form der Begutachtungen, die zu nutzende Infrastruktur, passende Reviewer*innen und sorgt dafür, dass die Prozesse reibungslos ablaufen.

Kriterien für Begutachtungen, Aufgaben von Gutachtenden
Unabhängig davon, welche Form des Peer Reviews gewählt wird, empfiehlt es sich, Begutachtungen anhand von expliziten (ggfs. standardisierten) Kriterien durchzuführen, damit die Wissenschaftlichkeit eines Beitrags überprüft werden kann. Mößner und Erlach (2024) empfehlen, dass die qualitativen Bewertungen in einem (Web-)Formular mit gradueller Abstufung (von "vollständig erfüllt" bis "gar nicht erfüllt") vorgenommen werden.
Mößner und Erlach (2024) nennen folgende Kriterien, die in der Begutachtung bewertet werden sollten:
- Präzision der Darstellung und Klarheit der Begriffe
- Stringenz und Konsistenz der Argumentation
- Nachvollziehbarkeit der Darstellung (Plausibilität)
- Wissenschaftliche Relevanz und kritische Reflexion der Ergebnisse (Signifikanz)
- Theorieniveau und Lösungsqualität
- Methodenniveau: Wahl geeigneter Methoden zur Beantwortung der Forschungsfragen
- Berücksichtigung alternativer Perspektiven und Umgang mit Gegenbeispielen
- Passung von Daten oder Korpus zur Beantwortung der Forschungsfrage

Zusammenfassend prüft der/die Gutachter*in,
- ob passende Methoden verwendet wurden,
- ob die Resultate und Schlussfolgerungen plausibel sind,
- ob aktuelle Literatur zum Thema berücksichtigt wurde.
Doch Gutachter*in kann nicht
- Experimente wiederholen,
- Korrektheit der Rohdaten überprüfen
- oder geschickte Fälschungen entlarven.