- Develop python scripts that report status of different workflows helping monitor batch runs effectively.
- Add logging handlers to give custom log messages, improving debugging efficiency and understand code flow.
- Optimize service executions, end to end data flow using hold functionality, priority and parallel task execution.
- Create an emailer framework to notify about important run information, server issues and sending data files.
- Enhance multiple framework by adding rerun checks, try except blocks, building idempotent data pipelines.
- Improve performance of difference tasks by reducing the iterations to fetch data and tuning the sql queries.
- Capable to oversee an offshore team of Data Engineer, Tester, Production Support.
- Develop python scripts that report status of different workflows helping monitor batch runs effectively .
- Add logging handlers to give custom log messages, improving debugging efficiency and understand code flow.
- Optimize service executions, end to end data flow using hold functionality, priority and parallel task execution.
- Create an emailer framework to notify about important run information, server issues and sending data files.
- Enhance multiple framework by adding rerun checks, try except blocks, building idempotent data pipelines.
- Improve performance of difference tasks by reducing the iterations to fetch data and tuning the sql queries.
-
Data engineer
1 week ago
Société Financière Manuvie Toronto, ON, CanadaNous sommes un fournisseur de services financiers qui s'emploie à faciliter les décisions de nos clients et de nos collègues partout dans le monde et à les aider à vivre mieux. De nos initiatives environnementales à nos investissements dans la collectivité, nous montrons la voie ...
-
Data Engineer
1 week ago
CIBC Toronto, Canada Temps pleinNous bâtissons une banque axée sur les relations pour un monde moderne. Nous recrutons des professionnels talentueux et passionnés qui ont à cœur de faire ce qu'il faut pour nos clients. · À la Banque CIBC, nous misons sur vos forces et vos ambitions pour vous donner le pouvoir ...
-
Data engineer
2 days ago
Société Financière Manuvie Old Toronto, CanadaNous sommes un fournisseur de services financiers qui s'emploie à faciliter les décisions de nos clients et de nos collègues partout dans le monde et à les aider à vivre mieux. De nos initiatives environnementales à nos investissements dans la collectivité, nous montrons la voie ...
-
Lead Data Engineer
2 weeks ago
Manulife Insurance Malaysia Toronto, ON, Canadatime type Temps plein · posted on Publié il y a 6 jour(s) · job requisition id JR · Nous sommes un fournisseur de services financiers qui s'emploie à faciliter les décisions de nos clients et de nos collègues partout dans le monde et à les aider à vivre mieux. De nos initiativ ...
-
Senior data engineer
1 week ago
Société Financière Manuvie Toronto, ON, CanadaNous sommes un fournisseur de services financiers qui s'emploie à faciliter les décisions de nos clients et de nos collègues partout dans le monde et à les aider à vivre mieux. De nos initiatives environnementales à nos investissements dans la collectivité, nous montrons la voie ...
-
Aws Cloud Data Engineer@ Toronto, On
1 week ago
Atlantis IT group Toronto, Canada**AWS Cloud Data Engineer** · **Toronto, ON** · 1. Must have working knowledge in designing and implementing data pipelines on any of the cloud providers · AWS is preferred · ). Must be able to work with large volumes of data coming from various sources. Perform data cleansing, d ...
-
Junior Data Engineer
1 week ago
CIBC Toronto, Canada Temps pleinNous bâtissons une banque axée sur les relations pour un monde moderne. Nous recrutons des professionnels talentueux et passionnés qui ont à cœur de faire ce qu'il faut pour nos clients. · À la Banque CIBC, nous misons sur vos forces et vos ambitions pour vous donner le pouvoir ...
-
Data Security Engineer
1 week ago
CIBC Toronto, Canada Temps pleinNous bâtissons une banque axée sur les relations pour un monde moderne. Nous recrutons des professionnels talentueux et passionnés qui ont à cœur de faire ce qu'il faut pour nos clients. · À la Banque CIBC, nous misons sur vos forces et vos ambitions pour vous donner le pouvoir ...
-
Senior data engineer
2 days ago
Société Financière Manuvie Old Toronto, CanadaNous sommes un fournisseur de services financiers qui s'emploie à faciliter les décisions de nos clients et de nos collègues partout dans le monde et à les aider à vivre mieux. De nos initiatives environnementales à nos investissements dans la collectivité, nous montrons la voie ...
-
Senior Data Engineer
2 days ago
Manulife Insurance Malaysia Old Toronto, Canadatime type Temps plein · posted on Publié il y a 6 jour(s) · job requisition id JR · Nous sommes un fournisseur de services financiers qui s'emploie à faciliter les décisions de nos clients et de nos collègues partout dans le monde et à les aider à vivre mieux. De nos initiativ ...
-
Senior data engineer
2 days ago
Société Financière Manuvie Old Toronto, CanadaNous sommes un fournisseur de services financiers qui s'emploie à faciliter les décisions de nos clients et de nos collègues partout dans le monde et à les aider à vivre mieux. De nos initiatives environnementales à nos investissements dans la collectivité, nous montrons la voie ...
-
Data Engineer
1 day ago
hireVouch Toronto, CanadaOur client is a Canadian-based international real estate investor, developer, and property manager. They are growing their team and looking for a passionate Data Engineer to join. · The Data Engineer will be responsible for building, processing, reviewing, and managing data alon ...
-
Data Engineer
1 week ago
Apptoza Inc. Ontario, CanadaHi, · Hope you are doing well · We have a job opening for an AWS Data Engineer. · Role: AWS Data Engineer · Hybrid position · Location: Toronto, ON · Job Description: · 1. Must have working knowledge in designing and implementing data pipelines on any of the cloud providers (AWS ...
-
Data engineer
1 week ago
Tata Consultancy Services Toronto, CanadaTCS is an equal opportunity employer, and embraces diversity in race, nationality, ethnicity, gender, age, physical ability, neurodiversity, and sexual orientation, to create a workforce that reflects the societies we operate in. Our continued commitment to Culture and Diversity ...
-
Data Engineer
1 day ago
Bitstrapped Toronto, CanadaWe are looking for a hands-on Senior Data Engineer in a full-time salaried position. The Data Engineer will work with our Data Services Practice and work alongside our talented cloud architects to play a key role in our delivery teams. · The Data Engineer will be involved in the ...
-
Data Engineer
1 day ago
Rebelstork Toronto, CanadaAbout Us: · Rebelstork is the largest baby gear liquidator and returns recommerce platform in North America, committed to diverting open box returns, overstock, and quality used items from landfills into the hands of parents at the best prices. Our mission is to revolutionize s ...
-
Data Engineer
1 week ago
GalaxEons Toronto, CanadaRole: Data Engineer · Location: Toronto, ON (2 days/week onsite) · What You Will Do: · Work and develop in the Data Science and Data Engineering area. · Skills and Experience You Will Need: · Required: · 2-5 years of experience with the following: · PySpark · SQL · Databricks · A ...
-
Data Engineer
1 week ago
Morgan McKinley Toronto, CanadaJob DescriptionOur client is a leader within the SaaS solutions loyalty and rewards space focused on increasing redemption and consumer loyalty looking for a Data Engineer to join their team.Experience we needFamiliarity with graph database technologies such as TigerGraph, Neo4j, ...
-
Data Engineer
1 week ago
HCLTech Toronto, CanadaPosition: Data Engineer (Data Bricks) · Location: Toronto, Ontario / Remote · Skills Requirements: JD · Data Bricks: · • Strong hands on in Pyspark and Apache Spark · • Strong hands on in Medallion architecture · • Experience in Native Spark Migration to Databricks. · • Exper ...
-
Data Engineer
1 week ago
Amgine Toronto, CanadaWe're a well-funded Startup that is using Ai and Automation to streamline and automate booking processes for travelers and corporate agencies. AMGiNE has disrupted the space by developing proprietary Ai capabilities to radically improve corporate agent's efficiency and greatly en ...
Data Engineer - Toronto, Canada - AIT Global
Description
Job Title: Data Engineer
Location: Toronto, ON
Skills: Data Engineering · Data Analytics · Git · Amazon Web Services (AWS) · Unix · MySQL · Amazon Redshift · Python (Programming Language), Machine Learning, Oracle DB.