Data Engineer - Big Data & Cloud H/F
Hybrid
Toulouse, France
€ 40,000 / year
Full Time
13-03-2025
Job Specifications
Missions
Description du poste CDI (36 - 40K€) / Freelance / Portage Salarial - 2 jours de télétravail / semaine - Toulouse - Expérience de 2/3 ans minimum
Rejoignez une équipe passionnée et boostez la transformation Big Data !
Nous accompagnons notre client pour renforcer une équipe spécialisée dans la gestion et l'industrialisation des traitements de données massifs et recherchons un.e Data Engineer. Vous interviendrez sur une plateforme Big Data dédiée à l'exploitation de larges volumes de données, utilisée pour des analyses avancées et des modèles prédictifs.
Votre défi à relever
En tant que Data Engineer, vous aurez un rôle clé dans la mise en place et l'optimisation des pipelines de données. Vous serez en interaction avec des équipes pluridisciplinaires (développeurs, data scientists, métiers) pour construire des solutions performantes et scalables.
Vos missions au quotidien
Développer et optimiser des pipelines de données massifs avec Spark et Scala.
Assurer l'ingestion, le nettoyage et l'enrichissement des données en vue de leur exploitation.
Exposer les données via des API et Web Services pour les rendre accessibles aux applications et modèles ML.
Contribuer à l'industrialisation et à la mise en production des traitements Big Data.
Collaborer avec les data scientists pour améliorer la maturité industrielle des modèles de machine learning.
Maintenir et optimiser les solutions en production pour garantir leur performance et leur robustesse.
Votre environnement technique
Langages : Java (J2EE / JDK 17), Scala
Big Data : Spark (SQL/DataFrame), Impala, Kudu, Hive, SQL, Parquet
Infrastructure & DEVOPS : Docker, Kubernetes, Helm, Git, Maven
Messaging & Streaming : Kafka, Redis
Tests & Qualité : JUnit, Mockito, PowerMock, ScalaMock
API : Web Services REST
Et pour réussir dans ce rôle ?
Vous avez entre 2 et 3 ans d'expérience en tant que Data Engineer.
Vous maîtrisez Spark, Scala et l'écosystème Big Data.
Vous avez des bases solides en développement backend et en conception de pipelines de données.
Vous appréciez travailler en équipe et collaborer avec des profils variés (développeurs, data scientists, métiers).
Une appétence pour le Machine Learning est un plus !
Anglais courant indispensable pour évoluer dans un contexte international.
Situation géographique : Toulouse
Quelques Infos Importantes à Retenir
Démarrage : ASAP
Expérience de 2/3 ans minimum sur un poste similaire
Télétravail 2 jours/semaine
Infos complémentaires
36 - 40K€
Description Entreprise
Issue du monde bancaire, Celad a été créée en 1990 à Toulouse. nos 1500 collaborateurs interviennent aujourd'hui sur 2 pôles d'activités : les systèmes d'information et l'informatique industrielle et ceci chez plus de 250 clients (pme / pmi et grands comptes).
About the Company
Depuis 30 ans, CELAD accompagne plus de 250 clients grâce à ses 12 agences en France sur des projets en Systèmes d'information, Systèmes Industriels et Embarqués. N'oublions pas nos centres d'expertise en Software/Hardware. Nos domaines d'activités : -IoT/ Objets connectés -Web -Banque / Assurance -Automobile / Ferroviaire -Aéronautique / Spatial Nous recrutons quotidiennement des Consultant.es : -Développeur Logiciel -Tech Lead -Architecte -MOA -Management de projets Vous avez ces compétences ou vous souhaitez les dévelo... Know more
Related Jobs
- Company Name
- AXA en France
- Job Title
- Tech Lead Data Engineer
- Job Description
- Environnement : En tant que Tech Lead Data Engineer (F/H), vous intégrerez la data Factory qui fait partie intégrante de la DATA OFFICE d’AXA France. Cette data Factory a pour but d’implémenter et à industrialiser toutes les données au cœur des activités d’AXA France. La DATA Factory et ses équipes portent et contribuent au Delivery de bout en bout des projets DATA, de l’idéation à la mise en production et au monitoring des cas d’usage. Vous serez au sein d’une équipe composée de Data Engineers pour garantir la livraison de produits data de haute qualité, innovants. Votre rôle de Tech Lead Data engineer est stratégique car il doit permettre à AXA d’accélérer sa transformation en utilisant la data comme un levier stratégique. En tant que Tech Lead Data Engineer F/H, vous allez contribuer directement aux projets des directions métier (ex : fraude santé, multiéquipements, pricing IARD, optimisation du lead management, fragilité auto, …) d’AXA France et à la construction du socle technique Big Data. Votre rôle et vos missions Vous aurez pour missions principales de développer les projets Big Data demandés par le métier, et notamment : D’accompagner techniquement les Data Engineer de l’équipe (coaching, code review, pair programming…) Passer de la donnée brute à de la donnée exploitable, exposée sous forme de tables requêtables dans le datalake Consolider ces données au fur et à mesure de leur alimentation récurrente dans le data lake Les exploiter pour atteindre la finalité business (exposition de business view, réintégration des résultats dans le SI, service de scoring, …) De travailler à la création du socle technique Big Data et industrialiser le cycle de développement de l'équipe De mettre en place et de garantir le respect dans la durée d'un processus qualité sur l'ensemble du cycle de DEV (documents, tests unitaires / intégration / fonctionnels, commentaires, versionning, etc.) Votre profil D'une formation supérieure en informatique ou scientifique (Master ou Diplôme d'ingénieur), vous justifiez de plusieurs expériences significatives (+ de 7 ans) sur du développement big data, en particulier sur du PySpark. Compétences techniques : Connaissances avancées en développement en PySpark (Spark avec le langage Python) Maitrise de l'environnement Microsoft Azure Connaissances avancées d'outils de BI comme PowerBI Compétences transverses : Capacité à interagir avec des parties prenantes diverses : Business analyst, Architectes, Métier Expérience en mode de delivery Agile (Scrum, Kanban, etc...) Driver et accompagner des Data Engineer sur le plan opérationnel Et Idéalement : Avoir une expérience en tant que lead Des Connaissances sur Azure DevOps, Azure Pipeline, GIT, JIRA Maitrise des Traitements Big Data en mode Streaming avec Kafka Maitrise des Bases de données relationnelles et NoSQL Une expérience professionnelle avec des outils comme Azure Databricks, Azure Data Lake Storage ou encore Azure Data Factory Mais pourquoi AXA France ? Nous sommes persuadés que pour bien prendre soin de nos clients, nous devons commencer par bien prendre soin de nos collaborateurs ! Les avantages que nous proposons à nos salariés sont nombreux. Nous choisir, c’est bénéficier par exemple : D’un package de rémunération complet comprenant un salaire fixe, un complément de rémunération variable, des primes, de la participation et de l’intéressement, la possibilité d’acquérir des actions AXA, ou encore des solutions d’épargne avantageuses ; Equilibre vie Pro / Perso. : D’un cadre de travail flexible jusqu’à 3 jours de télétravail possible par semaine, des tickets restaurant pour les jours télétravaillés ou encore une participation à l’achat d’un écran ou fauteuil ergonomique ; D’une politique visant à concilier vie personnelle et vie professionnelle avec 28 jours de congés payés, entre 14 et 16 RTT selon les années, des formules de travail à temps partiel ou encore des jours d’absence rémunérées pour la rentrée scolaire ou un déménagement par exemple ; De la possibilité de s’engager pour une cause qui vous tient à cœur grâce à nos associations telles que AXA Atout Cœur, AXA Compétences Solidaires ou encore AXA Prévention ; Et bien plus encore ! Perspectives de développement des compétences et de carrières immenses, CE, conciergerie, offres privilèges, soutien en cas d’épreuve personnelle…On s’arrête là, la liste est longue Qui sommes nous ? AXA est un des leaders de l’assurance et de la gestion d’actifs dans le monde. Nous aidons nos 108 millions de clients à traverser les petites et grandes difficultés de la vie. Chaque jour, nous agissons ensemble pour inventer la meilleure manière de les protéger et voulons donner à chacun les moyens de vivre une vie meilleure. Un challenge qui donne le sourire et envie de se lever le matin ! Chez AXA, nous sommes persuadés que pour bien prendre soin de nos clients, nous devons commencer par bien prendre soin de nos collaborateurs. C’est pour cette raison que nous menons une politique RH engagée qui favorise la diversité, qui préserve l’équilibre vie privée-vie professionnelle et accélère le développement des compétences et des carrières. Ainsi, en rejoignant AXA France vous travaillerez dans une entreprise responsable, offrant une véritable culture d’expertise, accélérant le développement des compétences de chacun et proposant une rémunération attractive. Pourquoi nous rejoindre ? Vous êtes porteur d’idées et d’initiatives innovantes ? Vous proposez des solutions et êtes au service du client ? Faites partie de notre grande famille en rejoignant Un leader mondial offrant des opportunités de carrières intéressantes Une entreprise qui donne une place de choix à l’innovation, à l’initiative et aux actions solidaires (notamment via l’association AXA Atout Cœur) Un environnement inclusif à tous les niveaux (mixité, handicap, initiatives pour favoriser l’insertion des jeunes, orientation sexuelle, etc.) Un accès à de multiples avantages (congés, temps partiel, télétravail, etc.) Un cadre stimulant, qui permet de rencontrer des collaborateurs performants et d’enrichir ses compétences Victime ou témoin, en cas de discrimination, vous pouvez adresser vos signalements et/ou alertes discrimination à alerte.discrimination.harcelement@axa.fr
- Company Name
- Groupe Crédit Agricole
- Job Title
- ALTERNANCE - Data Analyst H/F
- Job Description
- Au sein d’une nouvelle entité Crédit Agricole Santé & Territoires, solutions pour faciliter l’accès aux soins et s’adapter au vieillissement, l’équipe Data & géomarketing a pour objectifs de : D’accompagner les chargés de projet territoriaux en fournissant des analyses quantitatifs des besoins Structurer les données utilisées par Crédit Agricole Santé et Territoires Produire et diffuser les reportings d’activité de Crédit Agricole Santé et Territoires ainsi que ses filiales Dans le cadre de la mission d’alternance, vous intégrez l’équipe Data & géomarketing afin de participer : Accompagner les chargés de projet territoriaux dans l’exercice de leurs missions (Analyser des secteurs et/ou des territoires, Développer des visualisations cartographiques innovantes au service des équipes, Participer à l’animation …) Mettre en place des outils de suivi de la performance en fonction de l'évolution du Business et des méthodes de travail (Mesurer l’avancement du déploiement des solutions, accompagnement dans la prise en main des outils crées ..) Enrichissement de la base de données via des données publique ou un encadrement des études avec les partenaires. Automatisation de la collecte de données (API, …)
- Company Name
- STEP UP
- Job Title
- Ingénieur Devsysops Cloud Gcp H/F
- Job Description
- Missions Nous recherchons pour l'un de nos clients dans le secteur de la défense, un/une Ingénieur(e) DevSysOPS Cloud GCP pour rejoindre un nouveau projet. Localisation : Vélizy (78) - 2 jours de télétravail. Pour ce poste, des astreintes seront attendues. Elles seront effectuées depuis votre domicile. Votre Mission Concevoir, déployer et optimiser des infrastructures Cloud GCP robustes et sécurisées Automatiser l'infrastructure avec Ansible, Terraform, Terragrunt et GitLab CI Piloter le cycle de vie des services : Build & Run des environnements d'ingénierie et des applications groupe Administrer les systèmes (Windows & Linux), gérer le traitement des incidents et garantir une plateforme stable et performante Mettre en oeuvre les meilleures pratiques DEVOPS et assurer l'intégration continue avec GitLab CI Garantir la sécurité de la plateforme en optimisant l'usage des services existants Travailler en méthodologie Scrum et, si nécessaire, assurer ponctuellement le rôle de Scrum Master Profil Expertise Cloud GCP (AWS & Azure appréciés) Solides compétences en administration système Maîtrise des langages de programmation & gestion du code avec Git Connaissance approfondie des outils d'automatisation (Ansible, Terraform, etc.) Esprit d'équipe, rigueur et appétence pour l'agilité Profil habilitable - La mission nécessite une habilitation (Secret, Très Secret, SOTAN, SEU) Vous vous reconnaissez dans ce descriptif et vous sentez prêts à relever un nouveau challenge - Alors rejoignez nous, Simon & Charlotte seront ravis d'échanger avec vous ! STEP UP respecte vos données personnelles : retrouvez notre politique de confidentialité sur www.stepup-conseil.com Infos complémentaires à partir de 47 000 € Description Entreprise STEP UP est une société d'ingénierie experte en pilotage de projets industriels et informatiques (+ 230 collaborateurs sur 10 agences en France), plaçant le potentiel humain comme 1er vecteur d'excellence et de performance en entreprise. Oubliez les sociétés d'ingénierie qui ne valorisent que vos seules compétences, chez STEP UP, nous visons également l'adéquation entre votre personnalité et la culture d'entreprise de nos clients. Cela se traduit pour vous par une différence fondamentale en termes de bien être, d'épanouissement au travail et de succès dans vos missions. Ce Que Nous Vous Proposons Un cadre de travail épanouissant, stimulant et collaboratif, nous sommes certifiés entreprise où il fait bon vivre ! Des projets innovants et variés. La possibilité de se perfectionner continuellement avec des formations internes. Des perspectives d'évolution de carrière. Un accompagnement individualisé avec un programme de développement du potentiel humain. Un programme de cooptation. Et bien sûr, nous prenons en charge 70% de votre mutuelle santé et encourageons financièrement la mobilité douce.
- Company Name
- Uni Systems
- Job Title
- Java Cloud Engineer (Kubernetes)
- Job Description
- At Uni Systems, we are working towards turning digital visions into reality. We are continuously growing and we are looking for a Kubernetes and Java Engineer to join our UniQue team. You will work on the enhancements/improvement/new features of Java Applications over Kubernetes. What will you be doing in this role? Development, configuration, maintenance and documentation of software components based on the applicable design specifications; Development and integration of technological components; Integration with other applications; Development of interoperability components in accordance with the interoperability framework and integration of reusable components from other systems; Development of unit test specifications and performing these using the applicable toolset and infrastructure environment; Design automation testing scripts for conducting unit testing and integration testing in development environment; Implementation of user requirements; Assist in the preparation/maintenance of technical documentation for components during their development, and other technical documents including installation and operation manuals; Assistance with deployment and configuration of the system. Requirements What will you be bringing to the team? Bachelor's degree in IT or related field Minimum 10 years of experience in IT, focusing on Kafka AND Java; Extensive experience with Java with SpringBoot Experience building cloud native applications (Kubernetes/OpenShift runtime environment) Minimum one year of active work experience with CASE tools or equivalent tools for modelling and development; Good knowledge and experience in using development frameworks related to products/programming languages. Required skills include strong knowledge of ES / Solr / Lucene, DB integration, and gRPC, along with experience working in an agile environment. Knowledge of Java Persistence API Familiarity with VS Code or IntelliJ is highly recommended, along with knowledge of clusters and containers. Good knowledge of the development of web and multi-tier web applications; Good knowledge of the web services stack used in the selected technology; Fluent in English at least at a level B2. At Uni Systems, we are providing equal employment opportunities and banning any form of discrimination on grounds of gender, religion, race, color, nationality, disability, social class, political beliefs, age, marital status, sexual orientation or any other characteristics. Take a look at our Diversity, Equality & Inclusion Policy for more information.