Clojure hadooptrabajos

Buscamos un programador senior para incorporarse como Data & Technology Manager en Havas Media Group. Sus principales responsabilidades serán la de coordinación de proyectos técnicos y coordinación de un ...estadística, ingeniería…) pues es necesaria una gran capacidad analítica. Experiencia en el uso de APIs para la extracción de información en diversas tecnologías del ámbito de medios digitales: Google Analytics, DoubleClick, Sizmek, AdWords, Twitter, FB, etc… Conocimientos extensos de SQL y manejo de BDD: MySQL, Oracle, SQLServer. Se valorarán conocimientos y experiencia en plataformas Big Data como Hadoop. 3 años de experiencia en programación javascript, Java, Pyt...

Actualmente en CIBER nos encontramos en plena expansión a nivel nacional e internacional por lo que necesitamos incorporar en nuestra plantilla a profesionales con experiencia en el sector IT y motivados por trabajar en el sector bancario. Si tienes experiencia como programador, analista, jefe de proyecto o director en proyectos vinculados con Business Intell...de formación a nivel técnico y en capacidades de consultoría  ·Retribución salarial acorde con la valía y experiencia. Tenemos clientes en todo el mundo y en todas las industrias, por lo que podrás aprovechar tu especialización para adquirir experiencia y desarrollar habilidades que añadan valor a tu carrera en las siguientes tecnologías: - Business O...

...curriculum y nos pondremos en contacto contigo. Los requisitos mínimos que buscamos son los siguientes: Que seas ingeniero técnico o superior en informática Entre 1 y 2 años de experiencia en Java/J2EE Que tengas experiencia en aplicaciones Web Que tengas conocimientos en bases de datos NoSQL (MongoDB, Neo4J, Cassandra...) aunque no tengas práctica laboral. Y que conozcas BigData (Spark, Storm, Hadoop...) aunque todavía no hayas tenido la ocasión de ponerlo en práctica. Además vamos a valorar los siguientes requisitos si los tienes: Que tengas conocimiento, práctica o ganas de trabajar bajo metodologías ágiles Que poseas conocimiento y/o práctica laboral en: Análisis de datos, Python...

S21sec, líder en proyectos de Ciberseguridad con más de 13 años de experiencia avalada y dedicación exclusiva a la seguridad con 300 expertos en ciberseguridad reconocidos experiencia y conocimiento. El 20 % de las compañías del Dow Jones Eurostoxx 50 son clientes de S21sec. En el mercado financiero, analistas inter...PythonExperiencia en diseño de aplicaciones altamente escalables y en entornos de virtualización (VMWare ESXi, Xen) y containers ligeros (Docker)Experiencia en diseño y administración de BB.DD. relacionales (PostgreSQL, MySQL)Experiencia en el tratamiento y gestión de grandes cantidades de información tanto en sistemas de BB.DD. relacionales (MySQL y PostgreSQL) como en sistemas NoSQL (Ha...

Desde Sotec Consulting y para importante cliente del sector tecnológico, precisamos incorporar un desarrollador BIG DATA para desarrollo y mantenimiento de procesos BIGDATA/:-Experiencia en DESARROLLO/IMPLANTACIÓN/MANTENIMIENTO de entornos Hadoop/BigData (HDFS, HIVE, PIG, TEZ, SQOOP, ETC)-Experiencia en SQL-Experiencia en entorno Unix (shellscripts)-Deseable experiencia en lenguaje Java, Talend, Datawarehouse, SAP-BIUbicación: AlcobendasHorario: 09.00 - 18.00-

ALTEN precisa incorporar a su equipo un Devops para trabajar en un importante cliente del campo de la investigación científica. Empresa del sector bancario. Que tenga experiencia en: Estabilizar, mantener o instalar entornos o paquetes. Soporte a equipos de Desarrollo y Calidad. UNIX Linux Red Hat ORACLE Jenkins, Maven Elastic Search, Hadoop Bash Scripting Servidores / Datacenters Imprescindible nivel alto de inglés Se valora: Conocimientos en Java y Oracle (desarrollo y BBDD) ALTEN te ofrece: Incorporación a una empresa multinacional competitiva en continuo crecimiento. Integración en un equipo de profesionales altamente cualificado, con un buen clima laboral, innovador y dinámico. Formación especializada y desarrollo profesional con...

...Resolución de incidencias Realización de pruebas. Realización de documentación técnica Configuración de entornos de desarrollo Requisitos: Conocimientos de desarrollo Java, J2EE, HTML, css, xml, spring, hibernate, jdbc Conocimientos de BBDD: Oracles, access, MySQL, SQL server Conocimientos de sistemas operativos Unix y Windows Capacidad de análisis Requisitos deseados Conocimientos de Big Data: Hadoop, spark, cloudera, map reduce, mongo, pig..etc Procesamiento distribuido Metodologías ágiles y scrum M2C Ofrece: Plan de Carrera Salario Competitivo Beneficios Sociales Horario Flexible Formación y Certificaciones Lugar de trabajo: Madrid Imprescindible residir en la provincia del puesto vacante Analista-Programado...

...el análisis de módulos de la aplicación y pruebas unitarias.<br />Aplicación en el ámbito del Ciclo de Vida de producto software y Gestión de Cambios de producto software.<br />Experiencia en análisis y gestión de requerimientos.<br /><br />Conocimientos de modelizado y análisis:<br /><br /><br />UML<br />Life Cycle Management<br /><br />Ingeniería de Software<br />Experiencia en el ecosistema Hadoop y Big Data.<br />- Amplia experiencia en Business Intelligence, Data Warehouse y BBDD<br />- Optimización de procesos/flujos de información,<br />- Análisis de soluciones BI<br />Life Cycle Management<b...

...de muerte en muchos idiomas - sólido y robusto Prueba antes, durante y después de - TDD con esteroides Pila Core tecnología es JVM / Java / Groovy, JS / angularjs y SQL La sed y la pasión por elevar el nivel y lo que es mejor de lo que es ahora Jugadores del equipo sociales en un entorno de espacio real abierta con música y significativos chanchullos Tener una caja de herramientas grande: Clojure (paradigmas funcionales), Ruby / chef / DevOps, Sinatra / Rails, shell scripting hardcore, de alto rendimiento C ++ motores, datamarts SQL, sproc-ING y de bombeo de datos; debe tener herramientas suficientes para utilizar el más adecuado para el trabajo Somos reales acuerdo Agile: buen diseño, pruebas pesadas, entrega continua, la pr...

BluePatagon empresa líder en tecnologías de Business Intelligence & Business Analytics, está en búsqueda de Especialista en Big Data (Hadoop - Hortonworks), para importante cliente de CABA. Experiencia: mínima de 1 año en tecnologías Hadoop: Experiencia en desarrollo de aplicaciones (MapReduce + HDFS). Big Data: Familiaridad con el ecosistema (Hive, Pig, HBase, etc). y conceptos de escalabilidad, análisis en tiempo real, procesamiento de datos distribuidos. Linux: Uso Avanzado (manejo de servicios de SO, administración, shell scripting, seguridad) Programacion: POO (Java preferentemente, Python) Base de datos: RDBMS (Oracle, MySQL, PostgreSQL), NoSQL (HBase, Cassandra) Data Exchange y configura...

.../>Conocimientos imprescindible:<br />Conocimientos de arquitectura de sistemas<br />Sizing<br />Clustering<br />Administración de servidores valorables:<br />Conocimientos de Administración de Server<br />Scripting<br />Extensiones<br />Publisher y/o NprintingSe valora:<br />Certificaciones en Qlikview (Designer/Developer/System administrator)<br />Experiencia en entornos Big data (Hadoop, Hortonworks, Cloudera, Hive, Hapreduce)...

Hacer 4 instalaciones Linux BDs Cloudera/Hadoop/Impala Desarrollar 3 programa batch en Linux para carga de registros, leer desde archivos en fmto textoCSV y cargarlos al BigData. Cada archivo textoCSV tiene 500 registros y cada registro tiene 278 campos. Implementar una herramienta de consultas sobre los registros del BigData. Todo desarrollado sobre herramientas opensource sobre Linux.

Por favor, regístrate o inicia sesión para ver los detalles.

El backend estaría compuesto por el lenguaje de programación Python, aunque también se programaría en Javascript haciendo uso de tecnologías como NodeJS.  La base de datos sería por un lado relacional PosgreSQL y por otro lado también utili...una no relacional tipo MongoDB Para la plataforma en sí haríamos uso de tecnologías de frontend como AngularJS, HTML5, CSS3 etc. Básicamente es: lenguaje de programación PYTHON en el backend (en los servidores con los procesos de análisis de información) y JAVASCRIPT con el framework de AngularJS en la parte de cliente. Para el análisis de datos se utilizarán tecnologías usadas en Big Data como Hadoop, MapReduce, Spark, ...

Persona experta en: Hadoop para el almacenamiento de interfases, PIG para el procesamiento de la alerta  y Cloudera para la administración y monitoreo de procesos. Que viva en México (de preferencia DF) para trabajar durante dos meses aproximadamente, al menos 1 tiempo completo en sitio. Se negociaría el 2do mes.

Desarrollos para gran empresa basados en: • Apache Cassandra • Apache Hadoop • Bases de datos Columnares • PowerCenter - Informatica (preferiblemente 9.X) Habilidades: -Conocimientos en las tecnologías anteriores -Trabajo en equipo

...desarrollador backend fulltime con experiencia en desarrollo de marketplace para startup financiado por inversionista privado. Adicionalmente, experiencia en desarrollo de mobile apps y server es bien recibido. Skills y Requerimientos: - Experiencia en desarrollo plataformas e-commerce (considerar integración medio de pago). - Experiencia en Ruby on Rails/Java/Php - Experiencia en Clojure/Mysql - Experiencia con HTML5, CSS3 y Javascript - Conocer frameworks javascript como Knockout.js y Jquery - Experiencia trabajando con webservices JSON/Apis. - Experiencia con desarrollo mobile (phonegap/phonejs es un plus (VALORADO))....

...desarrollador backend fulltime con experiencia en desarrollo de marketplace para startup financiado por inversionista privado. Adicionalmente, experiencia en desarrollo de mobile apps y server es bien recibido. Skills y Requerimientos: - Experiencia en desarrollo plataformas e-commerce (considerar integración medio de pago). - Experiencia en Ruby on Rails/Java/Php - Experiencia en Clojure/Mysql - Experiencia con HTML5, CSS3 y Javascript - Conocer frameworks javascript como Knockout.js y Jquery - Experiencia trabajando con webservices JSON/Apis. - Experiencia con desarrollo mobile (phonegap/phonejs es un plus (VALORADO))....

Vacantes Data4 Python + Django Web Developers Data4 esta buscando desarrolladores en Django/Python para el departamento de Data Driven Web Platforms. El departamento esta encargado de elaborar complejas plataformas usando Django, PostgreSQL+ PostGIS / Mysql, Memcached, Haystack con Solr, y su integración a Big Data con Hadoop, Hbase, R y las librerías en Python para machine learning como PyBrain, NumPy, SciPY. Trabajamos bajo la metodología ágil SCRUM con mucha apertura a la experimentación y el auto aprendizaje. Nuestros desarrolladores trabajan desde la arquitectura de la base de datos hasta la construcción de excelentes UI y UX de las plataformas. Data4 tiene su base en la Ciudad de México.  Responsabilidades<...

...Gran experiencia en NoSQL /HBASE, Cassandra o similares, Neo4j). Voluntad de aprender e implementar nuevas tecnologías BigData, según sea necesario. Iniciativa y capacidad de trabajar de manera independiente y en equipo. Experiencia con Sotrm en soluciones real time analytics. Experiencia en procesamiento paralelo (MPI, OpenMP) como ventaja competitiva para el puesto. Experto en comprensión en Hadoop HDFS y MapReduce. Pensamiento creativo (Out of the box) Capacidad en gestión de equipos <em>InnoQuant acaba de ser seleccionado como uno de los 10 startups tecnológicas más prometedoras en España.  Somos un equipo experimentado de profesionales de TI que trabajan en tiempo real plataforma de análisis de grandes datos...

Se precisa programador JavaScript para crear una extensión multi-navegador (Chrome, Firefox, Safari, IE) que se ocupará de salvaguardar la privacidad de los usuarios que se la instalen. Se requiere: * Amplia experiencia desarrollando con JavaScript (patrones de diseño, buenas prácticas, uso de prototi...la librería jQuery * Conocimiento de alguna tecnología web de servidor (java, php, python, ruby…) para gestionar altas de usuarios y hacer un registro muy simple de cierta actividad. * Inglés avanzado Se valorará: * Conocimientos de HTML5 y CSS3 * Experiencia portando extensiones a otros navegadores: , Kango, … * Diseño y maquetación web * Experiencia con motores de búsqueda de Big Data: Ha...

...Play 2 Scalatra via swagger-support, see Swagger Guide Spring MVC ServiceStack .net/MONO fubumvc-swagger .net Fubumvc Swashbuckle .net framework .net integration from Mike Trionfo Swagger-PHP PHP Composer Symfony 2 Bundle Restler PHP framework, swagger support in 3.0 grape-swagger for Ruby django-tastypie-swagger for Python/Django Octohipster for Clojure go-restful for Golang swagger-docs for Rails...

... El web-app sera construido con un solo usuario, por lo que no es necesario preocuparse en crear todas las cuentas. Sera escalable a mas usuarios en base a la demanda (AWS). No es necesario realizar las applicaciones de Android/iOS para mobile, excepto preparar el Web service para que pueda interactuar con ellas en un futuro cercano. 1 - Configuracion del Cloud: Amazon EC2 con MongoDB (or Hadoop) e instalar OpenCV. Configurar la micro-instancia en Ubuntu con Eclipse como IDE. (3 dias) 2 - Implementar una Service Component Library : la libreria usara OpenCV para realizar operaciones en C++ en AWS EC2. No es neceserio codificar OpenCV, simplemente dejarlo listo para futuras implementaciones. (1 Week) 3 - Implementar un AWS web service (CloudFront?), “Receiver”:...

...usuario. El web-app sera construido con un solo usuario, por lo que no es necesario preocuparse en crear todas las cuentas. Sera escalable a mas usuarios en base a la demanda (AWS). No es necesario realizar las applicaciones de Android/iOS para mobile, excepto preparar el Web service para que pueda interactuar con ellas en un futuro cercano. 1 - Configuracion del Cloud: Amazon EC2 con MongoDB (or Hadoop) e instalar OpenCV. Configurar la micro-instancia en Ubuntu con Eclipse como IDE. (3 dias) 2 - Implementar una Service Component Library : la libreria usara OpenCV para realizar operaciones en C++ en AWS EC2. No es neceserio codificar OpenCV, simplemente dejarlo listo para futuras implementaciones. (1 Week) 3 - Implementar un AWS web service (CloudFront?), “Receiver”:...

Se precisa programador JavaScript para crear una extensión multi-navegador (Chrome, Firefox, Safari, IE) que se ocupará de salvaguardar la privacidad de los usuarios que se la instalen. Dicha extensión se desarrollaría en modo open source a partir de la ya existente Se requiere: * Amplia ...librería jQuery * Conocimiento de alguna tecnología web de servidor (java, php, python, ruby…) para gestionar altas de usuarios y hacer un registro muy simple de cierta actividad. * Inglés avanzado Se valorará: * Conocimientos de HTML5 y CSS3 * Experiencia portando extensiones a otros navegadores: , Kango, … * Diseño y maquetación web * Experiencia con motores de búsqueda de Big Data: Hadoop, ...

...efficiency. Requirements: ✅ Data collection from real or synthetic datasets (Kaggle, HuggingFace, or generated data). ✅ Big Data technologies (Hadoop, Apache Spark) for real-time processing. ✅ Machine Learning models (e.g., Scikit-learn, TensorFlow) for failure prediction. ✅ Dashboard for visualization (e.g., Streamlit, Grafana). ✅ Clean and well-documented code (preferably in Python). Deliverables: ? Source code (GitHub or ZIP file). ? Short guide on how to run the system. ? Results with key metrics (accuracy, downtime reduction, etc.). ? Visualization of predictions (charts, tables). Preferred Skills: ✔ Experience with Big Data frameworks (Hadoop, Spark). ✔ Strong knowledge of ML models for predictive analytics. ✔ Familiarity with data visualization tools. ✔ Previous ...

...a related field. Proven experience developing ETL pipelines and data processing workflows. Hands-on experience with PySpark, Pandas, and SQL. Experience working with big data technologies such as Apache Spark, Hadoop, or Kafka (preferred). Familiarity with cloud data solutions (AWS, GCP, or Azure). Required Skills: Programming: Strong proficiency in Python (PySpark, Pandas) or Scala. Data Modeling & Storage: Experience with relational databases (PostgreSQL, MySQL, SQL Server) and NoSQL databases (MongoDB, Cassandra). Big Data & Distributed Computing: Knowledge of Apache Spark, Hadoop, or Kafka. ETL & Data Integration: Ability to develop efficient ETL processes and manage data pipelines. Cloud Computing: Experience with AWS (S3, Redshift, Glue), GCP (BigQuery),...

I'm seeking a dedicated Clojure Developer to help maintain and enhance our health application. The primary responsibilities will involve development, with a focus on improving the user interface, backend functionalities, and integration with third-party services. Key Responsibilities: - Collaborate with the team to enhance the health application - Improve the user interface, backend functionalities, and third-party integrations - Utilize Clojure to implement necessary updates and modifications Ideal Candidate: - 3+ years of proven experience with React Native development - Strong proficiency in JavaScript and the React ecosystem - Expertise with Redux for state management - Familiarity with native APIs and third-party integrations - Knowledge of performance optimizatio...

I am seeking a seasoned Data Engineer with over 4 years of experience. The ideal candidate should possess strong skills in ETL processes, Data warehousing, and Big data technologies. Proficiency in tools like Apache Spark, Hadoop, and SQL is a must. Key Requirements: - Extensive experience in ETL processes, Data warehousing and Big data technologies - Proficient in Apache Spark, Hadoop and SQL - Seeking for a Full-time employment Skills and Experience: - 4+ years in Data Engineering - Mastery of relevant tools and technologies - Ready for Full-time commitment If you're a dedicated professional with the required skills and experience, I look forward to your application.

Build & Secure a Scalable 5-Node Hadoop Cluster on AWS/Azure Job Description: We are looking for an experienced freelancer to design, deploy, and secure a scalable 5-node Hadoop cluster on either AWS or Azure. This project requires expertise in Hadoop architecture, cloud infrastructure, and implementing best practices for performance and security. Key Responsibilities: Cluster Deployment: Set up a Hadoop cluster with 1 master node and 4 worker nodes. Install and configure Hadoop 3.x, including HDFS, YARN, and MapReduce. Integrate cloud storage (e.g., S3 or Azure Blob Storage) with the cluster. Scalability & Optimization: Configure the cluster to scale seamlessly with auto-scaling for worker nodes. Optimize Hadoop performance for data ...

Clojure language 7+ Years Remote 3 to 6 Months As per the market standard If you have a strong background in Any Cloud (AWS, Azure, GCP), JAVA, JavaScript/TypeScript or Python as well, that's a major plus. JOB DESCRIPTION and RESPONSIBILITIES Develop, maintain, and improve Clojure-based applications in a team environment. Engage in the entire development lifecycle, including concept, design, testing, and deployment. Write clean, efficient, and testable code. Conduct code reviews and collaborate with peers to ensure high-quality software standards. Assist in diagnosing and resolving application issues. Stay up-to-date with emerging trends in Clojure development and related technologies. Proactively identify and communicate improvements that can be implemented in...

I'm seeking a Data Analyst proficient in Hadoop, Hive, and Flume to analyze Movielens data. The primary objective is to uncover trends and patterns within the dataset. Key Requirements: - Experience with Big Data tools, specifically Hadoop, Hive, and Flume - Strong data analysis skills - Ability to identify trends and patterns from complex data sets - Previous experience with Movielens data is a plus The ideal freelancer for this project will have a solid understanding of the Movielens dataset, with the ability to use Big Data tools to generate significant insights. Please provide examples of similar projects you've completed in your proposal.

...Senior Data Engineer to join our team. The ideal candidate should have a strong background in data engineering, particularly with the following skills and experiences: - 5+ years in data engineering or related roles. - Master’s degree in Computer Science, Engineering, or a related field is preferred. - Proficiency in Apache Airflow for workflow scheduling and management. - Strong experience with Hadoop ecosystems, including HDFS, MapReduce, and Hive. - Expertise in Apache Spark/Scala for large-scale data processing. - Proficient in Python. - Advanced SQL skills for data analysis and reporting. - Experience with AWS cloud platform is a must. The selected candidate will be responsible for developing data pipelines, managing data warehousing and performing data analysis and...

I'm looking for a Big Data expert well-versed in Hadoop, Hive, and Flume to assist with some fundamental-level problems. Your tasks will include: - Data ingestion, storage, and processing - Solving queries over a dataset for analysis - Performing basic-level data analysis Skills and experience that would be ideal for this job include: - Proficiency in Hadoop, Hive, and Flume - Experience with data ingestion, storage, and processing - Strong problem-solving skills for basic data analysis - Ability to troubleshoot errors and optimize performance

I'm looking for an expert-level interviewer who can assess a candidate's technical skills in the Big Data domain. The ideal interviewer should have a deep understanding of various Big Data technologies and tools. Key Areas of Focus: - Assessing the candidate's proficiency in key Big Data technologies, including Hadoop, Spark, Hive, HBase, and Kafka. - Evaluating the candidate's understanding and ability to work with data processing techniques, distributed computing, and Big Data architecture and design patterns. - The interview is solely focused on technical skill assessment. Ideal Skills: - Extensive experience with data processing, storage, and distributed computing. - In-depth understanding of Big Data best practices, architecture, and design patterns. Pl...

I'm looking for an expert-level interviewer who can assess a candidate's technical skills in the Big Data domain. The ideal interviewer should have a deep understanding of various Big Data technologies and tools. Key Areas of Focus: - Assessing the candidate's proficiency in key Big Data technologies, including Hadoop, Spark, Hive, HBase, and Kafka. - Evaluating the candidate's understanding and ability to work with data processing techniques, distributed computing, and Big Data architecture and design patterns. - The interview is solely focused on technical skill assessment. Ideal Skills: - Extensive experience with data processing, storage, and distributed computing. - In-depth understanding of Big Data best practices, architecture, and design patterns. Pl...

I'm looking for an expert-level interviewer who can assess a candidate's technical skills in the Big Data domain. The ideal interviewer should have a deep understanding of various Big Data technologies and tools. Key Areas of Focus: - Assessing the candidate's proficiency in key Big Data technologies, including Hadoop, Spark, Hive, HBase, and Kafka. - Evaluating the candidate's understanding and ability to work with data processing techniques, distributed computing, and Big Data architecture and design patterns. - The interview is solely focused on technical skill assessment. Ideal Skills: - Extensive experience with data processing, storage, and distributed computing. - In-depth understanding of Big Data best practices, architecture, and design patterns. Pl...

...settings for high throughput and low latency. 5. Security: Setting up user authentication (e.g., LDAP, Kerberos, or NiFi user authentication). Implementing role-based access controls (RBAC). Configuring secure connections (HTTPS, secure processors, etc.). Additional Skills (Preferred): Familiarity with cloud platforms (AWS, Azure, GCP) for deploying NiFi. Knowledge of complementary tools like Kafka, Hadoop, or Spark. Proficiency in scripting (e.g., Python, Bash) for automation and data handling. Experience with data serialization formats like JSON, XML, Avro, or Parquet. Steps for Setting Up Apache NiFi for Managing and Distributing Data Feed: Here’s how a specialist would approach the task: 1. Planning and Design: Understand the data sources, volume, and frequency. Ident...

I'm in need of a seasoned data engineer who has extensive experience with Azure, AWS, and Databricks. The primary focus of this project is data pipeline development. Key Requirements: - Proficiency in Python, Spark, and SQL - In-depth knowledge of data...knowledge of data engineering tools and platforms such as Databricks, Azure, and AWS - Experience in developing robust data pipelines - Experience with ETL processes for data extraction, transformation, and loading - Experience in data migration between databases and data warehouses - Expertise in SQL query optimization for performance improvements Ideal Skills: - Data analysis - Familiarity with Hadoop - Data cleaning and preprocessing expertise Please provide your credentials and examples of similar projects you've co...

I'm in need of a seasoned data engineer who has extensive experience with Azure, AWS, and Databricks. The primary focus of this project is data pipeline development. Key Requirements: - Proficiency in Python, Spark, and SQL - In-depth knowledge of da...seasoned data engineer who has extensive experience with Azure, AWS, and Databricks. The primary focus of this project is data pipeline development. Key Requirements: - Proficiency in Python, Spark, and SQL - In-depth knowledge of data engineering tools and platforms such as Databricks, Azure, and AWS - Experience in developing robust data pipelines Ideal Skills: - Data analysis - Familiarity with Hadoop - Data cleaning and preprocessing expertise Please provide your credentials and examples of similar projects you've co...

To build a pipeline where we obtain data from a table in hadoop server and do some quality checks before updating that data to a postgress table. After that we need to filter that postgress data and do an upsert command and update that particular data into an s3 bucket. The data pipeline involves multiple data sources. The pipeline should include data validation to ensure accuracy and consistency. Ensure data quality checks such as checking the count of rows, comparing the data before and after, and collecting the new data inserted before updating the data to the Postgres table." Please use Apache Airflow for orchestration. The pipeline should run daily. Ensure the pipeline includes advanced data validation like integrity checks and statistical analysis.

...Google Cloud (SageMaker, Vertex AI, etc.) API-Integration: REST, gRPC Big Data Tools: Hadoop, Spark, Kafka Erfahrung: Mehrjährige Erfahrung in der Entwicklung und Implementierung von Machine-Learning-Algorithmen. Kenntnisse in Natural Language Processing (NLP), Computer Vision oder Reinforcement Learning sind ein Plus. Erfahrung in der Optimierung und Skalierung von Modellen für den produktiven Einsatz. Gute Kenntnisse in Datenvorverarbeitung, Feature Engineering und Modellvalidierung. Soft Skills: Fähigkeit, komplexe KI-Ansätze verständlich zu kommunizieren. Agiles Mindset (Scrum, Kanban). Projektsprache: Deutsch Zusammenfassung der gesuchten Skills: Python, TensorFlow, PyTorch, scikit-learn, SQL, MongoDB, Hadoop, Spark, REST, AWS/Azure/Google ...

I'm seeking a seasoned interviewer with a strong focus on Big Data technologies. The purpose of this role is to assess candidates for mid-level Big Data Developer positions. Your primary tasks will include: - Conducting interviews with potential candidates - Evaluating their skills in Hadoop, Hive, Spark, Scala, and Cloud Technologies - Providing detailed feedback on each candidate Urgency is key, as I need someone who can commence interviews immediately. Ideal candidates for this role should possess: - Extensive experience in Big Data technologies - A strong background in interviewing for tech roles - Ability to assess mid-level candidates If you meet these criteria and are interested in a consistent, long-term collaboration, please get in touch.

...optimize servers running CentOS, Ubuntu, and Debian. -Work with distributed systems, including HBase, Hadoop, and Storm. -Configure and maintain a high-availability ArangoDB cluster with redundancy features. -Conduct comprehensive benchmarking and high-availability testing to evaluate system performance and scalability under various conditions. -Set up and integrate monitoring interfaces such as Prometheus to ensure system health and performance monitoring. -Independently review and test the effectiveness of DevOps work and provide constructive feedback. Required Skills & Expertise: -Strong knowledge of server configuration for CentOS, Ubuntu, and Debian. -Hands-on experience with HBase, Hadoop, and Storm. -Proficiency in configuring and managing high-availability Ar...

I am encountering logic errors in my Clojure code specifically related to the implementation of recursive functions. I need a skilled developer with expertise in Clojure and debugging, who can help me identify and fix these issues. Ideal skills and experience: - Proficiency in Clojure - Extensive debugging experience - Deep understanding of recursive functions - Ability to identify and rectify logic errors

I'm seeking help with a programming assignment, specifically focused on Clojure and Convex lisp. It's crucial that the freelancer has substantial experience and expertise with this language.

...need a highly skilled Hadoop Stack Installation Specialist to set up and configure a 5-node Hadoop cluster using Apache Ambari on Ubuntu 22.04. The successful candidate will have hands-on experience with Hadoop ecosystem tools, including Apache Hive, Apache Phoenix, and Apache Ranger. The project will focus on: - Data Storage and Management: The primary purpose of this Hadoop cluster will be managing our data. - Tool Integration: Ensuring seamless integration and configuration of Apache Hive, Apache Phoenix, and Apache Ranger across the cluster. I do not need any data migration for this project. Ideal skills for the job include deep familiarity with the Hadoop ecosystem, exceptional knowledge of Ubuntu 22.04, and proven experience in setting up and...

I need an expert to help troubleshoot and optimize my Spark Streaming setup. The goal is to have Spark continuously monitor data from Kafka, perform minor transformations on each message, and save the processed data to a Hadoop Hive table. Key Tasks: - Continuously monitoring and processing data from Kafka using Spark. - Storing the results into a Hadoop Hive table. Skills in data engineering, specifically with Spark, Kafka, and Hive, are highly desirable. The ideal freelancer will have a strong background in troubleshooting and optimizing data pipelines, ensuring data integrity and efficiency in processing.

We are looking for a senior data and AI Specialist, to assist us in building a statistical model in python for clustering, which will allow the generation of synthesized data...foundation in statistics.  * Knowledge in data visualization tools. * Knowledge in the application of Machine Learning Models such as clustering, classification, regression and reinforcement learning. * Basic knowledge in structured and unstructured database management languages. * Proficiency in Deep Learning frameworks such as TensorFlow or PyTorch. * Experience with Big Data frameworks like Hadoop or Spark. * Strong skills in data preprocessing and cleansing methods. * Understanding of Natural Language Processing (NLP) techniques. Duration: 6 weeks, starting from the time of hire. 4 hours per day, a...

...future reference. Experience: 3-5 years of hands-on experience as a Data Engineer or in a similar role. Proficiency in SQL and experience with relational databases such as MySQL, PostgreSQL, or similar. Understanding of data warehousing principles and best practices. Familiarity with data pipeline orchestration tools like Airflow or similar. Experience working with big data technologies such as Hadoop, Spark, or similar frameworks. Solid Software Engineering Skills Familiarity with cloud platforms (AWS, Azure, GCP). Experience with Databricks is a plus but not required. Skills: Strong programming skills in Python. Excellent problem-solving and analytical skills with a focus on data. Effective communication and collaboration skills Empathetic and able to understand client’s...