[Job - 30085] Senior Data Scientist (LLM), Brazil

Responsibilities

Qualidade e Avaliação de Modelos

Realizar curadoria de datasets especializados para avaliação de qualidade de agentes conversacionais, utilizando técnicas como LLM-as-judge e frameworks de avaliação de IA generativa

Monitorar e otimizar métricas de qualidade conversacional, incluindo First Contact Resolution (FCR), taxas de fallback e precisão de respostas

Conduzir testes A/B de prompts e modelos de linguagem para melhoria contínua da experiência conversacional

Otimização de Pipelines de Voz e Texto

Otimizar o pipeline de voz (Speech-to-Text e Text-to-Speech) ajustando modelos para sotaques e terminologias específicas do setor de telecomunicações

Calibrar modelos de transcrição e síntese para reduzir latência e melhorar a naturalidade das interações

Segurança Conversacional e Governança

Definir e implementar políticas de segurança conversacional nos Guardrails, garantindo que as decisões automáticas dos agentes sejam auditáveis, éticas e alinhadas às diretrizes de negócio

Colaborar com equipes de governança para assegurar conformidade com regulamentações e melhores práticas de IA responsável

Engenharia de Prompt e Fine-tuning

Desenvolver estratégias avançadas de prompt engineering para maximizar a precisão e a consistência das respostas dos modelos de linguagem

Realizar fine-tuning de modelos quando necessário para atender requisitos específicos de domínio e contexto de atendimento

Colaboração e Integração

Trabalhar de forma integrada com desenvolvedores, engenheiros de dados e arquitetos para garantir que a camada de inteligência esteja alinhada com a arquitetura técnica da solução

Comunicar resultados técnicos e recomendações de forma clara para stakeholders de negócio e liderança do cliente

Requirements

Sólida experiência como Cientista de Dados

Experiência comprovada com modelos de linguagem de grande escala (LLMs) e processamento de linguagem natural (NLP)

Domínio de técnicas de avaliação de modelos de IA generativa, incluindo frameworks como RAG, G-Eval ou equivalentes

Proficiência avançada em Python, incluindo bibliotecas como Pandas, NumPy e Scikit-learn

Sólida base em estatística e probabilidade aplicada a problemas de machine learning

Experiência prática com plataformas de cloud computing (AWS, GCP, Azure ou Oracle Cloud Infrastructure)

Capacidade de traduzir requisitos de negócio em soluções técnicas mensuráveis e auditáveis

Nice to Have

Experiência com Oracle Cloud Infrastructure (OCI) e seus serviços de IA generativa

Conhecimento prático de pipelines de Speech-to-Text e Text-to-Speech, especialmente com Whisper ou tecnologias equivalentes

Experiência com fine-tuning de modelos de linguagem (Llama, Cohere, GPT ou similares)

Familiaridade com configuração de NeMo Guardrails ou frameworks equivalentes de segurança conversacional

Experiência prévia em projetos de voz, contact center ou atendimento automatizado…