Data Scientist
Aufgaben:
- Empfangen von unterschiedlichen Daten in unterschiedlichen Formaten (direkt über REST, als Dateien im Blob Storage, Mongo DB Dokumente etc.)
- Transformieren der Daten in das vorgegebene Datenmodell nach einer definierten Business Logik (Databricks, PySpark, Delta Tables, Azure Data Factory und natürlich SQL Queries)
- Speichern der Daten in das Data Warehouse (Azure SQL und Time Series Mongo DB)
- Dieser Prozess findet nahezu in Echtzeit statt, d.h. die Dateien werden sofort nach Erhalt oder in kleinen Batches alle x Sekunden verarbeitet.
- Der gesamte Prozess findet in Azure statt.
- Rohdaten analysieren: Qualität bewerten, bereinigen, strukturieren
- Präzise und skalierbare Vorhersagealgorithmen entwerfen
- Zusammenarbeit mit dem Entwicklungsteam
- Analytische Prototypen in Produktion bringen
Anforderungen:
- Perfekte Kenntnisse in Englisch und Azure Cloud
- Deutsch (diese Kenntnisse sind wünschenswert)
- Bachelor in einem quantitativen Bereich oder gleichwertige Erfahrung
- 1-2 Jahre Erfahrung im Bereich Data Engineering/Data Science/Data Analytics
- Erfahrung mit Big Data-Frameworks wie Hadoop, Spark
- Kenntnisse in der Generierung von Geschäftsverbesserungen
Technologien: Python, Azure (Data Factory, Key Vault, Blob Storage, Azure SQL Database), Spark, Databricks, SQL Server, GIT, Hive Store, Mongo DB Cloud, Power BI.
Wenn Sie das Gefühl haben, dass Ihr Profil nicht alle Anforderungen erfüllt, Sie aber großes Interesse an dem beschriebenen technischen Stack haben, bewerben Sie sich bitte für diese Stelle. Wir helfen unseren Mitarbeitern, ihre Fähigkeiten auf das erforderliche Niveau zu bringen und neue Dinge zu lernen, während sie bei uns arbeiten :) Es handelt sich um eine Remote-Position. Eine Festanstellung sowie eine Freelance-Tätigkeit sind möglich.
Tasks:
- Receiving different data in different formats (directly via REST, as files in Blob Storage, Mongo DB documents, etc.).
- Transforming the data into the given data model according to a defined business logic (Databricks, PySpark, Delta Tables, Azure Data Factory and of course SQL Queries)
- Storing the data in the data warehouse (Azure SQL and Time Series Mongo DB).
- This process takes place in near real time, i.e. the files are processed as soon as they are received or in small batches every x seconds.
- The entire process takes place in Azure.
- Analyse raw data: Assess quality, cleanse, structure.
- Design accurate and scalable predictive algorithms
- Collaborate with the development team
- Put analytical prototypes into production
Requirements:
- Perfect knowledge in English and Azure Cloud
- Deutsch (desirable to have this knowledge)
- Bachelor's degree in a quantitative field or equivalent experience
- 1-2 years of experience in the field of data engineering/data science/data analytics
- Experience with Big Data frameworks such as Hadoop, Spark
- Knowledge of business improvement generation
Technologies: python, Azure (Data Factory, Key Vault, Blob Storage, Azure SQL Database), Spark, Databricks, SQL Server, GIT, Hive Store, Mongo DB Cloud, Power BI.
If you feel that your profile does not meet all the requirements, but you are highly interested in the technical stack described, please apply for this role. We help our employees develop their skills to the required level and learn new things while working with us :) This is a remote position. A permanent position as well as freelance work is possible.
Vollzeit
Datum
15/01/2024
Ort
Remote work possible
Gehalt
50 000€-120 000€
