爱迪生·朱，澳大利亚新南威尔士州悉尼的开发商
Edison is available for hire
Hire Edison

Edison Zhu

验证专家  in Engineering

Azure BI开发人员

Location
悉尼，新南威尔士，澳大利亚
至今成员总数
2021年7月7日

Edison是Azure BI开发人员, 数据工程师, and data architect with 18 years of BI and 数据工程师ing experience across industries. 由MCSE Azure云平台认证支持, 他使用Azure数据工厂(ADF)提供高质量的BI解决方案。, Python, Azure的功能, Azure SQL数据库, Azure突触, Power BI, Databricks, 分析服务, 和SQL Server. Edison also excels at 维度建模, performance turning large 数据仓库s, and .. NET和Angular开发.

数据仓库工程数据数据清理数据迁移数据分析数据仓库设计t - sql (transact - sql)SQLMicrosoft SQL ServerETLSQL Server BI数据库设计关系数据库商业智能(BI)OLTP

Portfolio

Woolworths
Azure突触, Azure分析服务, Microsoft Power BI, Azure数据工厂...
航空工业公司. Ltd
Microsoft Access, JavaScript, Azure SQL, Angular, Angular Material, c#.NET...
敏锐的商业洞察力
数据工程，Azure数据工厂，XML, SQL, REST, ETL工具，api...

Experience

ETL - 18年SQL Server BI - 16年Azure SQL数据库- 9年Azure数据工厂——9年微软Power BI - 8年Azure分析服务- 6年Azure突触 - 5年Python 3 - 3年

Availability

Full-time

首选的环境

Azure PaaS, SQL Server BI, Windows 10, Visual Studio, Python 3, Microsoft Power BI, Azure数据工厂, Azure的功能, Tableau Desktop Pro, 谷歌BigQuery

最神奇的...

...enterprise projects I've delivered end-to-end helped businesses make data-driven decisions and make business operations more efficient.

工作经验

高级Azure BI，数据工程师，Power BI, Tableau, BigQuery, Python开发人员

2020年至今
Woolworths
  • 设计并开发在线销售仪表盘, 店面操作仪表盘, 点对点交付仪表板, 以及使用Microsoft Power BI的产品可用性仪表板, Azure突触, Azure分析服务, and DAX.
  • Delivered the Data Factory ETL pipelines to dynamically copy data into Azure Blob Storage and load the dimension and fact tables.
  • 数据仓库的设计与开发, 分析服务立方体, ETL process, 维度建模.
  • Migrated the seven existing fulfillment web reports of Woolworths' online sales to SSRS reports using Azure突触 and SSRS.
  • 创建Azure函数，用Python处理XML消息, Azure服务总线, Cosmos DB, 和Azure存储队列.
  • Developed point-to-point delivery and Online KPI Tableau dashboards using GCP BigQuery and Tableau.
  • Built a data ingestion pipeline with Python to integrate Google Sheet's data into GCP BigQuery and Storage Buckets.
  • 创建了Azure功能来自动创建IotHub和流分析.
  • 更改了功率查询，将特性添加到Power BI报表中.
技术:Azure突触, Azure分析服务, Microsoft Power BI, Azure数据工厂, Tableau, Azure SQL数据库, Azure逻辑应用, 数据仓库设计, Microsoft SQL Server, SQL Server分析服务(SSAS), 工程数据, SQL, 谷歌BigQuery, DAX, Apache气流, Azure SQL, 数据库设计, Azure, 关系数据库, Databases, 数据仓库, APIs, 数据迁移, API连接器, ETL, XML, REST, ETL Tools, 商业智能(BI), Dashboards, 数据可视化, Pandas, 数据管道, 数据分析, 数据湖设计, Data Lakes, Data, 云平台, 数据建模, 数据分析, Python 3, Azure的功能, SQL Server BI, 数据库管理(DBA), SQL Server DBA, Azure Blobs, BigQuery, NoSQL, Webhooks, Power Query, ODBC, Microsoft Excel, OLTP, OLAP, 数据集成, 数据库集成, 谷歌云平台(GCP), Azure DevOps, ELT, BI Reporting, Excel 2010, SSRS Reports, 数据库建模, 最小可行产品(MVP), 整合, 存储过程, 云迁移, eCommerce, Looker, Jira, t - sql (transact - sql), Azure SQL数据仓库(SQL DW), Reporting, SAP, 数据清理, 数据质量分析, 数据库迁移, Google Data Studio, ETL管道, 数据库生命周期管理, Cloud, 实体关系, Azure砖, SQL存储过程, 性能调优, 数据管理, Databricks, Data Feeds, 数据提取, Delta Lake, .。NET, c#，体系结构

数据库和全栈开发人员

2023 - 2023
航空工业公司. Ltd
  • Reverse-engineered the existing Microsoft Access, including the tables, queries, and forms. 将所有表从Microsoft Access迁移到Azure SQL数据库.
  • 使用Angular 16开发web应用的前端.
  • 使用c#构建REST API; .. NET Core和Azure SQL数据库.
技术:Microsoft Access, JavaScript, Azure SQL, Angular, Angular Material, c#.NET, .NET Core, .NET, C#

Azure数据工程师

2022 - 2022
敏锐的商业洞察力
  • 交付一个零售快消品行业数据集成项目.
  • 建立一个ADF管道, Azure函数, 和c# Web API来集成数据，包括发票, sales, customer, product, 和支付——来自SAP IDoc XML, SFTP, 和API到Azure SQL数据库.
  • Developed a Blob-triggered Azure函数 for multiple clients to transform XML data—包括XSD验证和XSLT转换—generating an output file and sending it to the client by API.
  • 设计了将Excel和CSV文件导入集成数据库的管道, 转换Excel数据以解开数据枢轴, 并使用ADF数据流将数据导出到客户端.
Technologies: 数据工程，Azure数据工厂，XML, SQL, REST, ETL工具，api, Azure的功能, ASP.NET Web API, 数据库体系结构, Webhooks, Microsoft Excel, Azure Queue, 数据集成, 数据库集成, HTML, Azure DevOps, Excel 2010, 数据库建模, 最小可行产品(MVP), 整合, 存储过程, Azure应用服务, GitHub, Jira, t - sql (transact - sql), SAP, 数据清理, 数据质量分析, 数据库迁移, ETL管道, 数据库生命周期管理, Cloud, 实体关系, SQL存储过程, 性能调优, 数据提取, .。NET, c#，体系结构

Azure数据工程师 & 数据架构师

2018 - 2020
心大星的解决方案
  • 设计并开发ETL, 数据仓库, cube, 有报道称，一家领先的保健品公司发起了电子邮件活动. 这种自动化为客户节省了大量的时间.
  • 提供实时大数据分析架构, 其中包括实时大数据物联网, 机器学习, 以及领先娱乐公司的高级分析平台.
  • 使用Python为客户端开发文本分类, Keras, 字嵌入, NLP, Word2vec, GloVe, 深度学习, and CNN.
  • 使用Azure砖制作了一个电影推荐的概念验证, 机器学习, 协同过滤, 实时数据摄取, Azure事件中心, Spark MLlib, and Python.
  • 创建了一个数据集成管道来摄取SAP IDoc XML数据(包括发票), sales, customer, product, 和支付-使用ADF进入集成数据库, Azure SQL数据库, 和Azure Blob存储.
  • Built a Blob-triggered Azure函数 for multiple clients to transform XML data—包括XSD验证和XSLT转换—generating an output file and sending it to the client by API.
技术:Azure数据工厂, Databricks, Azure分析服务, Microsoft Power BI, SSRS Reports, SQL Server集成服务(SSIS), Python, Azure事件中心, Azure流分析, Azure逻辑应用, GloVe, GPT, 自然语言处理(NLP), 生成预训练变压器(GPT), 数据仓库设计, Microsoft SQL Server, 数据架构, SQL Server分析服务(SSAS), 工程数据, SQL, DAX, Azure SQL, 数据库设计, Azure, 关系数据库, Databases, 数据仓库, Azure机器学习, APIs, 数据迁移, API连接器, ETL, XML, REST, ETL Tools, 商业智能(BI), Dashboards, 数据可视化, Pandas, 数据管道, 数据分析, Marketing, PostgreSQL, 数据湖设计, Data Lakes, Data, Redshift, 云平台, 数据建模, 数据分析, Azure的功能, Azure SQL数据库, SQL Server BI, 数据库管理(DBA), SQL Server DBA, Spark, Azure Blobs, Salesforce API, ASP.NET Web API, 数据库体系结构, BigQuery, NoSQL, Power Query, ODBC, JavaScript, Microsoft Excel, OLTP, OLAP, Snowflake, 数据集成, 数据库集成, Web Scraping, 数据抓取, 科学数据分析, 谷歌分析, HTML, Azure DevOps, Apache Spark, ELT, BI Reporting, Excel 2010, 数据库建模, 最小可行产品(MVP), 整合, PL/SQL, 存储过程, Azure应用服务, GitHub, 云迁移, eCommerce, Jira, t - sql (transact - sql), Azure SQL数据仓库(SQL DW), Reporting, Hadoop, 数据清理, 数据质量分析, 数据科学, 数据库迁移, Big Data, ETL管道, 数据库生命周期管理, Cloud, 实体关系, Amazon S3 (AWS S3), Azure砖, SQL存储过程, 性能调优, 数据管理, Data Feeds, 数据提取, Delta Lake, Spark SQL, .。NET, c#，体系结构

高级Azure BI开发人员

2017 - 2018
沃尔沃斯集团
  • 设计并构建了一个维度建模数据仓库, 表格立方体, 以及使用Azure数据仓库的在线销售的Power BI仪表板, Azure分析服务多维数据集, and Power BI.
  • 带表分区的性能调优的大容量数据, 多维数据集的分区, polybase, 和散列分布在Azure数据仓库.
  • 使用Azure Automation帐户、运行簿和webhook自动化多维数据集过程.
技术:Azure数据工厂, Azure突触, Microsoft Power BI, Azure分析服务, Azure逻辑应用, 数据仓库设计, Microsoft SQL Server, SQL Server分析服务(SSAS), 工程数据, SQL, DAX, Azure SQL, 数据库设计, Azure, 关系数据库, Databases, 数据仓库, 数据迁移, ETL, ETL Tools, 商业智能(BI), Dashboards, Tableau, 数据可视化, 数据管道, 数据分析, 数据湖设计, Data Lakes, Data, 云平台, 数据建模, 数据分析, Azure SQL数据库, SQL Server BI, SQL Server DBA, Azure Blobs, 数据库体系结构, Power Query, JavaScript, Microsoft Excel, OLTP, OLAP, 数据集成, 数据库集成, Azure DevOps, BI Reporting, Excel 2010, SSRS Reports, 数据库建模, 最小可行产品(MVP), 整合, 存储过程, 云迁移, t - sql (transact - sql), Azure SQL数据仓库(SQL DW), Reporting, 数据清理, 数据质量分析, 数据库迁移, ETL管道, 数据库生命周期管理, Cloud, 实体关系, Azure砖, SQL存储过程, 性能调优, 数据管理, Data Feeds, 数据提取, C#, Architecture

高级SQL BI顾问

2016 - 2017
Agile BI
  • Delivered high-quality BI solutions and projects for clients on BI visualization and reports, 数据仓库, SSAS表格模型立方体, DAX/MDX, SQL Server, Microsoft BI, and Power BI.
  • Modeled, designed, and developed independently a sales cube using a SSAS表格模型立方体 and DAX for a large wholesale/retail company.
  • Delivered an advanced benchmark BI system and advanced SSRS reports for a leading accounting firm using SSRS, MDX, SSAS, an OLAP cube, 和SQL Server.
技术:SQL Server集成服务(SSIS), SSRS Reports, SQL Server BI, DAX, Microsoft Power BI, 数据仓库设计, Microsoft SQL Server, SQL Server分析服务(SSAS), 工程数据, SQL, Azure SQL, 数据库设计, Azure, 关系数据库, Databases, 数据仓库, APIs, 数据迁移, ETL, ETL Tools, 商业智能(BI), Dashboards, 数据可视化, 数据管道, 数据分析, Microsoft Access, Data, 云平台, 数据建模, 数据分析, Python 3, Azure SQL数据库, Spark, Azure Blobs, 数据库体系结构, Power Query, JavaScript, Microsoft Excel, OLTP, OLAP, 数据集成, 数据库集成, 数据抓取, HTML, Azure DevOps, ELT, BI Reporting, Excel 2010, 数据库建模, 整合, 存储过程, Azure应用服务, GitHub, Stripe, t - sql (transact - sql), Azure SQL数据仓库(SQL DW), Financials, Reporting, 数据清理, 数据质量分析, 数据库迁移, Firebase, ETL管道, 数据库生命周期管理, Cloud, 实体关系, SQL存储过程, 性能调优, 数据管理, Data Feeds, 数据提取, C#

高级SQL BI开发人员

2011 - 2016
澳洲房屋贷款
  • 独立设计和开发一个新的数据仓库, cube, ETL, and some reports for analyzing mortgage and non-mortgage sales data (including home loan, 保险及其他财务资料).
  • 为财务部设计开发GL多维数据集.
  • 对大容量BI数据仓库进行了优化和性能调优.
技术:SQL Server报表服务(SSRS), SQL Server集成服务(SSIS), SQL Server分析服务(SSAS), SQL Server BI, SQL, 数据库体系结构, Microsoft Excel, MySQL, OLTP, OLAP, 数据集成, BI Reporting, Excel 2010, SSRS Reports, 存储过程, t - sql (transact - sql), Financials, Reporting, 数据清理, 数据质量分析, 数据库迁移, ETL管道, 实体关系, SQL存储过程, 性能调优, 数据管理, Data Feeds, 数据提取

SQL BI开发人员

2010 - 2011
Hyundai
  • 使用SSRS (Reporting Service 2008)为财务开发了几个报告, marketing, 销售部门.
  • Oversaw and was in charge of ETL development and developed an SSIS package to extract data from an ERP system and transformed and processed the data using SQL Server 2008.
  • Worked with an analysis programmer and other developer to realize the system based on InfoPath, 微软Web服务, Workflow, 和SQL Server 2008.
技术:SQL Server集成服务(SSIS), SQL Server报表服务(SSRS), SQL Server BI, SQL, OLTP, OLAP, BI Reporting, SSRS Reports, 存储过程, t - sql (transact - sql), Reporting, 数据清理, 数据质量分析, ETL管道, 实体关系, SQL存储过程, 数据提取

Microsoft BI Developer

2006 - 2010
Pactera
  • Worked onsite at Microsoft and contributed to the development and support of five BI applications based on SQL Server, 报告服务, SSAS (cube), SSIS, ETL, 数据仓库开发, 尺寸造型设计, 图式设计.
  • Developed reports using SSRS and implemented ETL through programming store procedures and SSIS package.
  • Constructed the ETL with an SSIS package—slowly changing dimensions with store procedures, aggregation, 处理立方体, and so on.
c#技术:.NET, SQL Server BI, SQL Server集成服务(SSIS), SQL Server报表服务(SSRS), SQL, OLTP, OLAP, HTML, BI Reporting, SSRS Reports, 存储过程, Visual Basic for Applications (VBA), Excel VBA, Excel Macros, Macros, t - sql (transact - sql), Reporting, 数据质量分析, ETL管道, 实体关系, SQL存储过程, C#

澳大利亚领先超市|电商DWH和Dashboard

Designed and developed an online sale and eCommerce store operations 数据仓库 and dashboard using Azure Data Warehouse, ADF, Azure分析服务多维数据集, 和Power BI技术. 该解决方案使企业能够更好地驾驭业务操作, 帮助企业提高客户满意度, 增加网上销售, 节约成本. 我还开发了Tableau仪表板和BigQuery例程.

Blackmores |数字电子邮件活动和分析

设计开发ETL, 数据仓库, cube, 并报告使用ADF的数字电子邮件活动, logic apps, SharePoint, REST APIs, Azure分析服务, and Power BI. 自动化为客户节省了大量的时间，而不是手动生成报告.

Intersport |零售库存ETL和仪表板

Developed Azure函数 and Data Factory to extract inventory data from the REX system (SOAP API) to Azure SQL数据库. I also created and designed the retail inventory dashboard and model using Power BI and supported their 数据仓库 and Power BI reports. This solution gave store owners and the head office instant insights into stock turnover, stock value, 以及其他库存指标.

澳大利亚旅游局|数据仓库和仪表盘

Developed the ETL pipelines to automate at least five data sources' extraction—including bookings, searches, flights, and visitor surveys—and orchestrated data processing from the source to the 数据仓库. 我还设计了Power BI数据模型，并交付了几份Power BI报告.

The solution provided instant insights to staff—from analysts to C-suite executives—and eliminated the immense amount of resources and time spent on manual reporting and data extraction.

慈善公司|文本分析仪表板

Developed a text analytics dashboard of employee surveys to show the answers' sentiment and quickly identify their different domains. I used Microsoft's cognitive Text Analytics API, Python, NLP, GloVe, 机器学习, and Power BI.

The project aimed to quickly identify important answers from a large number of survey responses every year to uncover the issues in the business and identify opportunities to improve services.

星空集团|实时大数据架构

提供实时大数据架构, 需要开发实时大数据物联网吗, 机器学习, 先进的分析平台.

该平台是为支持下一代分析而构建的, 包括处理结构和非结构化数据, 实时数据摄取, analytics, 还有机器学习.

德勤|汽车行业基准BI系统

Designed and developed a motor industry benchmark BI system and several BI reports and dashboards for the eProfit system using Microsoft's reporting service, MDX, SSIS, 和SQL Server.

Moreover, I tackled the challenging performance issue caused by previous design by reverse engineering and reinventing the "engine." The solution enabled extensive reports to be rolled out to the end users and has since been recognized and applauded by the CIO and partners.

澳大利亚住房贷款|抵押贷款销售DWH和报告

独立设计和开发新的数据仓库, cube, ETL, 以及一些基于SQL Server的抵押贷款销售报表, 维度建模, SSRS, SSAS, SSIS, MDX, and T-SQL. 销售经理和高管每天都在使用这些报告. In addition, I enhanced the cube to enable users to do self-servicing reports using Excel.

SaaS电子商务网站平台

Independently designed and developed a SaaS eCommerce web platform using Angular 8+, .Net Core, REST API和Azure SQL数据库. Users can register a store on this platform and the store has all the eCommerce features.

收益欧博体育app下载公司|数据集成

交付数据集成项目, 其中包括开发ADF管道, Azure函数, 和c# Web API来集成数据，包括发票, sales, customer, product, 和支付——来自SAP IDoc XML, SFTP, CSV, 和REST API到Azure SQL数据库. I also built pipelines to export the data for different clients in the retail FMCG industry.

Additionally, 我创建了blob触发的Azure函数来转换XML数据, 包括XSD验证和XSLT转换, 通过API生成和发送输出文件给客户端. I also designed the pipeline to ingest Excel and CSV files into the integration database, transforming and unpivoting the Excel data and exporting them to clients using ADF data flows.

Python IoT项目

作为Python物联网开发人员开发各种Azure功能. 其中包括Azure函数:

•接收、验证和处理来自物联网设备的XML消息.
•从Cosmos数据库中读写数据.
•将消息推送到Azure存储队列.
•由Cosmos DB feed和Azure存储队列更改触发.

Languages

SQL, HTML，存储过程，t - sql (transact - sql)， c#.NET, Python 3, Python, XML, Batch, JavaScript, Visual Basic for Applications (VBA), C#, XSLT, XSD, Snowflake, Excel VBA

Tools

SQL Server BI, Microsoft Power BI, Microsoft Access, Microsoft Excel, Excel 2010, Azure逻辑应用, Tableau, BigQuery, Azure应用服务, GitHub, Jira, Apache气流, Azure机器学习, Tableau Desktop Pro, Power Query, 谷歌分析, Looker, Spark SQL

Paradigms

维度建模, 商业智能(BI), 数据库设计, ETL, OLAP, REST, Azure DevOps, 数据科学

Platforms

Azure, Databricks, Azure的功能, 谷歌云平台(GCP), Azure事件中心, Apache Kafka, Firebase

Storage

SQL Server集成服务(SSIS), SQL Server报表服务(SSRS), Azure SQL, Microsoft SQL Server, SQL Server分析服务(SSAS), 关系数据库, Databases, 数据管道, OLTP, 数据集成, 数据库集成, 数据库建模, 数据库迁移, 数据库生命周期管理, SQL存储过程, Azure Blobs, Azure SQL数据库, 数据湖设计, Data Lakes, 数据库体系结构, Azure Queue, SQL Server 2016, PostgreSQL, Redshift, Azure Cosmos数据库, 数据库管理(DBA), SQL Server DBA, NoSQL, MySQL, PL/SQL, Amazon S3 (AWS S3)

Other

Azure数据工厂, 数据建模, 数据仓库设计, 工程数据, 数据仓库, 数据迁移, API连接器, ETL Tools, 数据分析, Data, 云平台, ELT, BI Reporting, SSRS Reports, 最小可行产品(MVP), 整合, Azure SQL数据仓库(SQL DW), Reporting, 数据清理, 数据质量分析, ETL管道, Cloud, 实体关系, 性能调优, 数据提取, Azure突触, Azure分析服务, APIs, Dashboards, DAX, 数据可视化, 数据分析, Webhooks, 云迁移, eCommerce, Financials, Big Data, Azure砖, 数据管理, Data Feeds, Delta Lake, Architecture, Azure流分析, GloVe, 自然语言处理(NLP), 数据架构, 谷歌BigQuery, 机器学习, Azure数据湖, GPT, 生成预训练变压器(GPT), SAP IDoc, Web Scraping, 数据抓取, 科学数据分析, Excel Macros, Macros, SAP, Google Data Studio

Frameworks

角,火花, .NET, .. NET Core, Angular Material, ASP.. NET Web API, Apache Spark, Hadoop

库/ api

ODBC, Pandas, Azure认知服务，Azure API管理，Salesforce API, Stripe

行业专业知识

Marketing

1999 - 2003

计算机科学学士学位

石家庄铁岛大学-中国河北

2018年4月至今

神经网络和深度学习

Coursera

2017年6月至今

MCSE:云平台和基础设施- 2017认证

Microsoft