# 本地数据清洗与 ETL 流程建设

根据源文件和目标数据结构建设可重复的数据抽取、转换、验证与加载流程，生成配置和质量检查。

用途：AI 技能

分类：网站与应用

许可：MIT

原版名称：senior-data-engineer

来源：https://github.com/alirezarezvani/claude-skills

公开页面：https://xwtx.zbidea.cn/discover/skills/AS-050

继续使用：https://xwtx.zbidea.cn#/skills/AS-050

## 准备资料
- CSV/JSON或本地数据源
- 转换规则、目标结构与运行频率

## 目标输出
- ETL代码与配置
- 字段映射
- 质量与执行记录

## 运行条件与边界
- 本地 AI 可编辑执行Python
- Python 3用于辅助生成脚本
- 实际管道按方案准备pandas/SQL/dbt等依赖
- pipeline_orchestrator的YAML输入可选PyYAML，未安装时功能降级
- 默认本地文件和测试数据库；云服务与编排需另配
- 不把生成的管道代码称为已运行