your-project
├─ airflow
│ ├─ config
│ ├─ dags
│ │ └─ datawarehouse_pipeline.py
│ ├─ docker-compose.yaml
│ └─ plugins
├─ datawarehouse
│ ├─ analyses
│ │ ├─ Big_Picture_Dataset_Overview
│ │ │ ├─ 01_row_count.sql
│ │ │ ├─ 02_category_sales.sql
│ │ │ ├─ 03_key_metric.sql
│ │ │ ├─ 04_monthly_trend.sql
│ │ │ ├─ 05_product_lifecycle.sql
│ │ │ ├─ 06_sales_country.sql
│ │ │ ├─ 07_sales_year.sql
│ │ │ ├─ 08_segment.sql
│ │ │ └─ 09_top_product.sql
│ │ └─ sql_analysis
│ │ ├─ 01_database_exploration.sql
│ │ ├─ 02_for_dim_customer.sql
│ │ ├─ 03_dim_country.sql
│ │ ├─ 04_dim_product_cate_name.sql
│ │ ├─ 05_first_and_last.sql
│ │ ├─ 06_measures_exploration.sql
│ │ ├─ 07_old_and_young.sql
│ │ ├─ 08_magnitude_analysis.sql
│ │ ├─ 09_ranking_analysis.sql
│ │ ├─ 10_change_over_time_analysis.sql
│ │ ├─ 12_cumulative_analysis.sql
│ │ ├─ 13_performance_analysis.sql
│ │ ├─ 14_data_segmentation.sql
│ │ ├─ 15_part_to_whole_analysis.sql
│ │ ├─ 16_customer_report.sql
│ │ └─ 17_product_report.sql
│ ├─ dbt_project.yml
│ ├─ macros
│ │ └─ generate_schema_name.sql
│ ├─ master.py
│ ├─ models
│ │ ├─ gold
│ │ │ ├─ dim_customer.sql
│ │ │ ├─ dim_product.sql
│ │ │ └─ fact_sales.sql
│ │ ├─ silver
│ │ │ ├─ silver_cust_az12.sql
│ │ │ ├─ silver_cust_info.sql
│ │ │ ├─ silver_loc_a101.sql
│ │ │ ├─ silver_prd_info.sql
│ │ │ ├─ silver_px_cat_g1v2.sql
│ │ │ ├─ silver_sales_details.sql
│ │ │ └─ source.yaml
│ │ └─ staging
│ │ ├─ source.yaml
│ │ ├─ stg_cust_az12.sql
│ │ ├─ stg_cust_info.sql
│ │ ├─ stg_loc_a101.sql
│ │ ├─ stg_prd_info.sql
│ │ ├─ stg_px_cat_g1v2.sql
│ │ └─ stg_sales_details.sql
│ ├─ README.md
│ ├─ seeds
│ │ ├─ country_mapping.csv
│ │ ├─ marital_status_mapping.csv
│ │ └─ product_line_mapping.csv
│ ├─ snapshots
│ │ ├─ snap_cust_az12.sql
│ │ ├─ snap_cust_info.sql
│ │ └─ snap_prd_info.sql
│ └─ tests
│ ├─ gold
│ │ ├─ dim_customer_unique_key.sql
│ │ ├─ dim_product_unique_key.sql
│ │ └─ fact_sales_referntial_intergrity.sql
│ └─ silver
│ ├─ category_maintenance.sql
│ ├─ category_unwanted_spaces.sql
│ ├─ cust_az12_bdate.sql
│ ├─ cust_az12_gender.sql
│ ├─ cust_info_duplicate.sql
│ ├─ cust_info_marital_status.sql
│ ├─ cust_info_unwanted_spaces.sql
│ ├─ loc_a101_country.sql
│ ├─ prd_info_dates_orders.sql
│ ├─ prd_info_duplicate.sql
│ ├─ prd_info_line.sql
│ ├─ prd_info_negative_nulls.sql
│ ├─ prd_info_unwanted_spaces.sql
│ ├─ sales_details_dates_order.sql
│ └─ sales_details_sales.sql
├─ docs
│ ├─ architecture.md
│ ├─ Automated_Three-Stage_Data_Pipeline.png
│ ├─ data_catlog.md
│ ├─ data_flow.md
│ ├─ incremental_loading.md
│ ├─ Medallion_Architecture__Engineering_the_Postgres-to-Databricks_.mp4
│ ├─ star_schema.md
│ ├─ The_Precision_Refinery.pdf
│ └─ The_Precision_Refinery.pptx
├─ main.py
├─ pyproject.toml
├─ README.md
├─ reports
│ └─ business_metrics.md
├─ scripts
│ ├─ extraction
│ │ ├─ extract.py
│ │ ├─ table_config.py
│ │ └─ __init__.py
│ ├─ loading
│ │ ├─ run_gold.py
│ │ └─ __init__.py
│ ├─ transformation
│ │ ├─ run_dbt.py
│ │ └─ __init__.py
│ └─ __init__.py
├─ tests
└─ utils
├─ connection.py
├─ engine.py
└─ logger.py
Nitinx12/Databricks_Medallion_Warehouse
Folders and files
| Name | Name | Last commit date | ||
|---|---|---|---|---|