Senior Software Engineer — KI-Evaluierung & Benchmarks
Entwickle die Benchmarks, mit denen die fortschrittlichsten KI-Modelle der Welt getestet werden. 80–100 $/Std., vollständig remote, Python-Expertinnen und -Experten gesucht.
- Art
- Freiberuflicher Vertrag (Stundenbasis)
- Vergütung
- 80–100 $ / Stunde
- Standort
- Remote (weltweit)
- Vertragsdauer
- 3 Monate
- Umfang
- Vollzeit-Verfügbarkeit bevorzugt
Über die Stelle
Was wäre, wenn dein Code darüber entscheidet, wie intelligent die nächste KI-Generation wirklich ist? Wir suchen erfahrene Softwareentwicklerinnen und -entwickler, die die Coding-Benchmarks und Datenpipelines konzipieren und bauen, mit denen modernste KI-Modelle bewertet werden — also die Systeme, die entscheiden, ob eine KI tatsächlich logisch denken, debuggen und produktionsreife Software schreiben kann.
Das ist anspruchsvolle Arbeit mit großer Wirkung an der Schnittstelle von Softwareentwicklung und KI-Forschung. Du arbeitest mit großen Codebasen, mehreren Programmiersprachen und skalierbarer Infrastruktur und entwickelst Evaluierungssysteme, die die Grenzen dessen verschieben, was KI leisten kann.
Es handelt sich um eine vollständig remote ausgeübte freiberufliche Tätigkeit. Wenn du in schnellen Engineering-Umgebungen aufblühst und mit deiner Arbeit die Entwicklung von KI direkt prägen willst — dann ist das deine Stelle.
- Art: Freiberuflicher Vertrag (Stundenbasis)
- Vergütung: 80–100 $ / Stunde
- Standort: Remote (weltweit)
- Vertragsdauer: 3 Monate
- Umfang: Vollzeit-Verfügbarkeit bevorzugt
Deine Aufgaben
- Coding-Benchmarks konzipieren und umsetzen, mit denen modernste KI-Modelle anhand realer Programmieraufgaben bewertet werden
- Skalierbare Datenpipelines für KI-Evaluierungs-Workflows aufbauen und pflegen
- KI-generierten Code auf Korrektheit, Zuverlässigkeit und Fehler in Grenzfällen analysieren
- Strukturierte Evaluierungsszenarien entwickeln, die logisches Denken, Debugging und Codequalität gründlich prüfen
- Mit großen Code-Repositories und mehrsprachigen Umgebungen arbeiten
- An Systemen mitarbeiten, die verbessern, wie KI-Modelle Software verstehen und erzeugen
- Detailliertes technisches Feedback zur Leistung der Modelle und zu Fehlermustern geben
- An der Gestaltung von Evaluierungs-Frameworks mitwirken, die Branchenstandards setzen
Dein Profil
- Mindestens 4 Jahre Berufserfahrung in der Softwareentwicklung — das ist eine feste Voraussetzung
- Erfahrung in einem schnell wachsenden Tech-Unternehmen oder einer erstklassigen Softwareorganisation
- Ausgezeichnete Python-Kenntnisse — du schreibst sauberen, performanten und gut getesteten Python-Code
- Praktische Erfahrung mit Code-Repositories und der Arbeit in großen, komplexen Codebasen
- Nachweisbare Erfahrung mit der Konzeption und Umsetzung von LLM-Coding-Benchmarks und Datenpipelines
- Erfolgreiche Arbeit in leistungsstarken Engineering-Teams mit großen Produkten oder Plattformen
- Sicherer Umgang mit Versionskontrolle (Git) und modernen Entwicklungs-Workflows
- Zweisprachig oder Englisch auf Muttersprachniveau, mit sehr guter schriftlicher Ausdrucksfähigkeit
- Selbstständig, technisch gründlich und gewohnt, eigenverantwortlich zu arbeiten
Was dich zur idealen Besetzung macht
Mit diesen zusätzlichen Qualifikationen hast du die besten Erfolgschancen:
- Senior- oder Lead-Profil mit nachweislicher technischer Verantwortung
- Bachelor- oder Masterabschluss in Informatik, Machine Learning oder einem verwandten Fach — oder gleichwertige Berufserfahrung
- Kenntnisse in einer oder mehreren weiteren Sprachen: JavaScript, Go, C++ oder anderen relevanten Sprachen
- Erfahrung mit CI/CD-Pipelines und dem Schreiben robuster Unit-Tests (pytest, Mocha, JUnit)
- Hintergrund in Security Engineering oder bedeutende Open-Source-Beiträge
- Vertrautheit mit Methoden zur Evaluierung von KI/ML oder zum Benchmarking von Modellen
Warum du dabei sein solltest
- Arbeite an hochmodernen KI-Evaluierungsprojekten mit Forschungsteams der Weltspitze
- Vollständig remote — arbeite von überall mit stabiler Internetverbindung
- Deine Benchmarks beeinflussen direkt, wie die fortschrittlichsten KI-Systeme der Welt gemessen und verbessert werden
- Freiberufliche Selbstbestimmung bei bedeutsamer, anspruchsvoller Engineering-Arbeit
- Zusammenarbeit mit einer globalen Gemeinschaft herausragender Entwickler und Forschender
- Möglichkeit zur Vertragsverlängerung und weiteren Zusammenarbeit, sobald neue Evaluierungsaufgaben anstehen
Vorbereitung auf das KI-geführte Interview
Die Interviews für diese Stelle werden von einer KI geführt. Nach deiner Bewerbung sprichst du also voraussichtlich mit einem KI-Interviewer statt mit einer Person aus dem Recruiting. Gefragt sind klare, konkrete und ruhig vorgetragene Antworten. Rechne damit, ausführlich über Benchmarks oder Datenpipelines zu sprechen, die du gebaut hast, darüber, wie du Python-Code testest, und wie du entscheidest, ob ein Stück KI-generierter Code wirklich korrekt ist. Lies die Hinweise in der Einladung sorgfältig und halte dich im Interview selbst daran.
Die beste Vorbereitung ist, vorher laut zu üben. Mit InterviewAce führst du Probeinterviews, übst Antworten auf Rückfragen zu deinen eigenen Projekten und bekommst Feedback, bevor es ernst wird. Diese Ratgeber helfen dir dabei:
- Interview mit einer KI? Was dich beim KI-Interviewer erwartet (auf Englisch)Wie KI-geführte Vorauswahlgespräche ablaufen und wie du klar rüberkommst.
- Vorbereitung auf technische Interviews für SoftwareentwicklerEin strukturierter Plan für Coding-, Systemdesign- und Verhaltensrunden.
- Vorstellungsgespräche mit KI-Tools übenÜbe laut mit einem KI-Interviewer, der nachfragt.
- Tipps für Video-VorstellungsgesprächeTechnik, Licht, Ton und Tempo für Interviews von zu Hause.
- Die 5 häufigsten Fehler in technischen InterviewsDie Gewohnheiten, an denen starke Entwickler scheitern, und wie du sie vermeidest.
- Verhaltensfragen mit der STAR-MethodeMach aus deinen Projekten prägnante, konkrete Geschichten.
- Wie große Sprachmodelle funktionierenEine Auffrischung zu den Systemen, die du bewerten würdest.
Kostenlose Tools für deine Bewerbung
Bevor du dich bewirbst: Sorge dafür, dass dein Lebenslauf die richtige Geschichte erzählt. Unsere kostenlosen Karriere-Tools funktionieren ohne Registrierung:
- Kostenloser Lebenslauf-GeneratorSchärfe deinen Lebenslauf rund um Python, Benchmarks und KI-Arbeit, bevor du dich bewirbst.
- Kostenloser Anschreiben-GeneratorFormuliere ein fokussiertes Anschreiben über die Systeme, die du gebaut hast.
- Kostenloser GehaltsrechnerVergleiche einen Stundensatz als Freelancer mit einem Festgehalt.
Bereit für die Bewerbung?
Du passt zur Stelle Senior Software Engineer — KI-Evaluierung & Benchmarks? Klick unten, um deine Bewerbung zu starten.
Auf diese Stelle bewerben →Ebenfalls offen: Senior Software Engineer — Agentic Coding. Sieh dir alle offenen Stellen an oder erfahre, wo InterviewAce bereits vorgestellt wurde.