Senior Data Engineer

Role Purpose: As the Technical Architect, you are the primary authority for the installation, 

hardening, and optimization of the Cloudera Data Platform (CDP). You are responsible for 

transitioning from a suboptimal VM-based environment to a high-performance bare-metal 

Lakehouse architecture, ensuring the platform landing zone is stable, secure, and resilient.  

2. Business & Operational Responsibilities 

∙Infrastructure Strategy: Define the target logical and physical deployment 

architecture for the on-premises EDM platform.  

∙Environment Readiness: Lead the provisioning and hardening of DEV, TEST, PROD, 

and DR environments to ensure implementation readiness.  

∙Performance Optimization: Restores data locality and predictable throughput by 

transitioning away from NAS-style storage to HDFS and Ozone local storage.  

∙Security Compliance: Ensure the platform meets bank security standards, IT policies, 

and regulatory requirements through robust encryption and access control setups.  

∙Production Stability: Support the production cutover and provide high-level 

technical support during the 90-day hypercare period.  

3. Technical Requirements 

A. Platform Setup & Cloudera Core 

∙Bare-Metal Deployment: Expert-level experience in deploying CDP Private Cloud 

Base on bare-metal servers to eliminate hypervisor overhead.  

∙Storage Architecture: Technical mastery of HDFS and Apache Ozone for local storage, 

specifically optimized for small-query and metadata-heavy workloads.  

∙High Availability (HA): Implementation of HA and Disaster Recovery (DR) setups, 

including Ranger KMS for encryption key management across environments.  

∙Containerization (Optional): While the base cluster is bare-metal, familiarity with 

Kubernetes/containerization for future Cloudera Data Services is beneficial.  

B. Ecosystem Integration & Networking 

∙Network Configuration: Manage cluster connectivity, including Firewalls, VPNs, and 

east-west traffic optimization within dedicated Lakehouse subnets.  

∙Compute Isolation: Configure YARN resource management for multi-tenant 

scheduling, queue controls, and workload isolation.  

∙Database Management: Coordinate the setup of metadata databases (e.g., 

PostgreSQL or Oracle 19c) required for Cloudera Manager, Hive, and Ranger.  

C. Security, Governance & Tooling 

∙Identity & Access: Lead the integration with Active Directory (AD), LDAP, and MIT 

Kerberos for protocol-level security.  

∙Governance Plane: Deploy and configure OpenMetadata and Cloudera Atlas as the 

unified governance and catalog intelligence plane.  

∙Tooling Setup: Technical setup of the orchestration layer (Apache Airflow) and the 

sub-second analytics layer (StarRocks).  

4. Experience & Qualifications 

Professional Background 

∙Experience Level: Extensive technical architect experience, with at least 5+ years 

focused specifically on Cloudera/Hadoop platform administration and design.  

∙Industry Context: Proven track record in delivering mission-critical data platforms for 

regulated financial institutions.