Skip to content

Nitinx12/Databricks_Medallion_Warehouse

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

26 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

your-project
├─ airflow
│  ├─ config
│  ├─ dags
│  │  └─ datawarehouse_pipeline.py
│  ├─ docker-compose.yaml
│  └─ plugins
├─ datawarehouse
│  ├─ analyses
│  │  ├─ Big_Picture_Dataset_Overview
│  │  │  ├─ 01_row_count.sql
│  │  │  ├─ 02_category_sales.sql
│  │  │  ├─ 03_key_metric.sql
│  │  │  ├─ 04_monthly_trend.sql
│  │  │  ├─ 05_product_lifecycle.sql
│  │  │  ├─ 06_sales_country.sql
│  │  │  ├─ 07_sales_year.sql
│  │  │  ├─ 08_segment.sql
│  │  │  └─ 09_top_product.sql
│  │  └─ sql_analysis
│  │     ├─ 01_database_exploration.sql
│  │     ├─ 02_for_dim_customer.sql
│  │     ├─ 03_dim_country.sql
│  │     ├─ 04_dim_product_cate_name.sql
│  │     ├─ 05_first_and_last.sql
│  │     ├─ 06_measures_exploration.sql
│  │     ├─ 07_old_and_young.sql
│  │     ├─ 08_magnitude_analysis.sql
│  │     ├─ 09_ranking_analysis.sql
│  │     ├─ 10_change_over_time_analysis.sql
│  │     ├─ 12_cumulative_analysis.sql
│  │     ├─ 13_performance_analysis.sql
│  │     ├─ 14_data_segmentation.sql
│  │     ├─ 15_part_to_whole_analysis.sql
│  │     ├─ 16_customer_report.sql
│  │     └─ 17_product_report.sql
│  ├─ dbt_project.yml
│  ├─ macros
│  │  └─ generate_schema_name.sql
│  ├─ master.py
│  ├─ models
│  │  ├─ gold
│  │  │  ├─ dim_customer.sql
│  │  │  ├─ dim_product.sql
│  │  │  └─ fact_sales.sql
│  │  ├─ silver
│  │  │  ├─ silver_cust_az12.sql
│  │  │  ├─ silver_cust_info.sql
│  │  │  ├─ silver_loc_a101.sql
│  │  │  ├─ silver_prd_info.sql
│  │  │  ├─ silver_px_cat_g1v2.sql
│  │  │  ├─ silver_sales_details.sql
│  │  │  └─ source.yaml
│  │  └─ staging
│  │     ├─ source.yaml
│  │     ├─ stg_cust_az12.sql
│  │     ├─ stg_cust_info.sql
│  │     ├─ stg_loc_a101.sql
│  │     ├─ stg_prd_info.sql
│  │     ├─ stg_px_cat_g1v2.sql
│  │     └─ stg_sales_details.sql
│  ├─ README.md
│  ├─ seeds
│  │  ├─ country_mapping.csv
│  │  ├─ marital_status_mapping.csv
│  │  └─ product_line_mapping.csv
│  ├─ snapshots
│  │  ├─ snap_cust_az12.sql
│  │  ├─ snap_cust_info.sql
│  │  └─ snap_prd_info.sql
│  └─ tests
│     ├─ gold
│     │  ├─ dim_customer_unique_key.sql
│     │  ├─ dim_product_unique_key.sql
│     │  └─ fact_sales_referntial_intergrity.sql
│     └─ silver
│        ├─ category_maintenance.sql
│        ├─ category_unwanted_spaces.sql
│        ├─ cust_az12_bdate.sql
│        ├─ cust_az12_gender.sql
│        ├─ cust_info_duplicate.sql
│        ├─ cust_info_marital_status.sql
│        ├─ cust_info_unwanted_spaces.sql
│        ├─ loc_a101_country.sql
│        ├─ prd_info_dates_orders.sql
│        ├─ prd_info_duplicate.sql
│        ├─ prd_info_line.sql
│        ├─ prd_info_negative_nulls.sql
│        ├─ prd_info_unwanted_spaces.sql
│        ├─ sales_details_dates_order.sql
│        └─ sales_details_sales.sql
├─ docs
│  ├─ architecture.md
│  ├─ Automated_Three-Stage_Data_Pipeline.png
│  ├─ data_catlog.md
│  ├─ data_flow.md
│  ├─ incremental_loading.md
│  ├─ Medallion_Architecture__Engineering_the_Postgres-to-Databricks_.mp4
│  ├─ star_schema.md
│  ├─ The_Precision_Refinery.pdf
│  └─ The_Precision_Refinery.pptx
├─ main.py
├─ pyproject.toml
├─ README.md
├─ reports
│  └─ business_metrics.md
├─ scripts
│  ├─ extraction
│  │  ├─ extract.py
│  │  ├─ table_config.py
│  │  └─ __init__.py
│  ├─ loading
│  │  ├─ run_gold.py
│  │  └─ __init__.py
│  ├─ transformation
│  │  ├─ run_dbt.py
│  │  └─ __init__.py
│  └─ __init__.py
├─ tests
└─ utils
   ├─ connection.py
   ├─ engine.py
   └─ logger.py

Releases

No releases published

Packages

 
 
 

Contributors

Languages