Engenheiro(a) de Software Sênior — Avaliação de IA e Benchmarks
Construa os benchmarks que testam os modelos de IA mais avançados do mundo. US$ 80–100/hora, 100% remoto, procuramos especialistas em Python.
- Tipo
- Contrato por hora
- Remuneração
- US$ 80–100 / hora
- Local
- Remoto (global)
- Duração do contrato
- 3 meses
- Dedicação
- Disponibilidade em tempo integral, de preferência
Sobre a vaga
E se o código que você escreve pudesse determinar o quão inteligente a próxima geração de IA realmente é? Procuramos engenheiros de software experientes para projetar e construir os benchmarks de programação e os pipelines de dados usados para avaliar modelos de IA de ponta — os sistemas que decidem se uma IA consegue de fato raciocinar, depurar e escrever software com qualidade de produção.
É um trabalho de alto impacto e tecnicamente exigente, na interseção entre engenharia de software e pesquisa em IA. Você vai trabalhar com grandes bases de código, várias linguagens de programação e infraestrutura escalável para criar sistemas de avaliação que ampliam os limites do que a IA consegue fazer.
É uma vaga de contrato 100% remota. Se você se dá bem em ambientes de engenharia de ritmo acelerado e quer que seu trabalho influencie diretamente os rumos da IA, esta é a vaga certa.
- Tipo: Contrato por hora
- Remuneração: US$ 80–100 / hora
- Local: Remoto (global)
- Duração do contrato: 3 meses
- Dedicação: Disponibilidade em tempo integral, de preferência
O que você vai fazer
- Projetar e implementar benchmarks de programação para avaliar modelos de IA de ponta em tarefas reais de programação
- Construir e manter pipelines de dados escaláveis para os fluxos de avaliação de IA
- Analisar código gerado por IA quanto à correção, confiabilidade e falhas em casos extremos
- Criar cenários de avaliação estruturados que testem com rigor o raciocínio, a depuração e a qualidade do código
- Trabalhar com grandes repositórios de código e ambientes com várias linguagens
- Colaborar em sistemas que melhoram a forma como os modelos de IA entendem e geram software
- Dar feedback técnico detalhado sobre o desempenho dos modelos e seus padrões de falha
- Contribuir para o desenho de frameworks de avaliação que definem padrões do setor
Seu perfil
- Mais de 4 anos de experiência profissional em engenharia de software — este requisito é obrigatório
- Experiência em empresa de tecnologia em rápido crescimento ou em organização de software de primeira linha
- Domínio avançado de Python — você escreve código Python limpo, eficiente e bem testado
- Experiência prática com repositórios de código e com bases de código grandes e complexas
- Experiência comprovada em projetar e implementar benchmarks de programação para LLMs e pipelines de dados
- Histórico em ambientes de engenharia de alto desempenho, com produtos ou plataformas de grande escala
- Domínio de sistemas de controle de versão (Git) e de fluxos de desenvolvimento modernos
- Bilíngue ou falante nativo de inglês, com ótima comunicação escrita
- Autônomo, rigoroso tecnicamente e confortável em trabalhar com independência
O que torna você o candidato ideal
Candidatos com estas qualificações adicionais têm mais chances de sucesso:
- Perfil sênior ou de liderança técnica, com histórico de responsabilidade técnica
- Graduação ou mestrado em Ciência da Computação, Aprendizado de Máquina ou área relacionada — ou experiência profissional equivalente
- Domínio de uma ou mais linguagens adicionais: JavaScript, Go, C++ ou outras relevantes
- Experiência com pipelines de CI/CD e testes unitários robustos (pytest, Mocha, JUnit)
- Experiência em engenharia de segurança ou contribuições relevantes para projetos open source
- Familiaridade com metodologias de avaliação de IA/ML ou benchmarking de modelos
Por que fazer parte
- Trabalhe em projetos de ponta de avaliação de IA ao lado de equipes de pesquisa de nível mundial
- 100% remoto — trabalhe de qualquer lugar com uma conexão de internet estável
- Seus benchmarks influenciam diretamente como os sistemas de IA mais avançados do mundo são medidos e aprimorados
- Autonomia de freelancer em um trabalho de engenharia relevante e de alto impacto
- Colabore com uma comunidade global de engenheiros e pesquisadores de elite
- Possibilidade de extensão do contrato e de continuidade à medida que surgem novos desafios de avaliação
Como se preparar para a entrevista conduzida por IA
As entrevistas para esta vaga são conduzidas por IA. Por isso, depois de se candidatar, você provavelmente vai conversar com um entrevistador de IA, e não com um recrutador. Esse formato valoriza respostas claras, específicas e em bom ritmo. Prepare-se para falar em detalhes sobre benchmarks ou pipelines de dados que você construiu, sobre como testa código Python e sobre como decidiria se um trecho de código gerado por IA está realmente correto. Leia com atenção as instruções do convite e siga-as durante a entrevista.
A melhor preparação é ensaiar em voz alta antes. Com o InterviewAce, você faz entrevistas simuladas, treina respostas a perguntas de acompanhamento sobre seus próprios projetos e recebe feedback antes da entrevista real. Estes guias mostram como:
- Entrevistado por uma IA? O que esperar de um entrevistador de IA (em inglês)Como funcionam as entrevistas de triagem conduzidas por IA e como se comunicar com clareza.
- Preparação para entrevistas técnicas para desenvolvedoresUm plano estruturado para as etapas de código, design de sistemas e comportamentais.
- Ferramentas de IA para praticar entrevistasEnsaie em voz alta com um entrevistador de IA que faz perguntas de acompanhamento.
- Dicas para entrevistas remotas por vídeoConfiguração, iluminação, áudio e ritmo para entrevistas feitas de casa.
- Os 5 maiores erros em entrevistas técnicasOs hábitos que derrubam bons engenheiros e como evitá-los.
- Perguntas comportamentais com o método STARTransforme seus projetos em histórias objetivas e específicas.
- Como funcionam os modelos de linguagemUma revisão sobre os sistemas que você vai avaliar.
Ferramentas grátis para sua candidatura
Antes de se candidatar, garanta que seu currículo conte a história certa. Nossas ferramentas de carreira gratuitas não exigem cadastro:
- Criador de currículo grátisAjuste seu currículo com foco em Python, benchmarks e trabalho com IA antes de se candidatar.
- Gerador de carta de apresentação grátisEscreva uma carta objetiva sobre os sistemas que você construiu.
- Calculadora de salário grátisCompare um valor por hora como contratado com uma oferta CLT.
Pronto para se candidatar?
Acha que tem o perfil para Engenheiro(a) de Software Sênior — Avaliação de IA e Benchmarks? Clique abaixo para iniciar sua candidatura.
Candidatar-me a esta vaga →Também estamos contratando: Engenheiro(a) de Software Sênior — Programação Agêntica. Veja todas as vagas abertas ou descubra onde o InterviewAce já foi destaque.