缩放数据分析：用霓虹灯，气流和简化建立起动套件

在文章实战开发的过程中，我们经常会遇到一些这样那样的问题，然后要卡好半天，等问题解决了才发现原来一些细节知识点还是没有掌握好。今天golang学习网就整理分享《缩放数据分析：用霓虹灯，气流和简化建立起动套件》，聊聊，希望可以帮助到正在努力赚钱的你。

构建数据分析项目不再令人望而生畏！本指南提供一个轻量级、灵活且易于上手的解决方案，帮助您快速搭建一个功能强大的数据分析平台。它自动化数据收集、无服务器数据库存储以及交互式仪表板展示，所有操作都基于Python完成。本例使用CoinGecko的加密货币数据进行演示，但您可以轻松替换成任何其他数据集。

核心技术栈

本项目基于以下三个关键技术：

1. Neon (无服务器PostgreSQL): 提供自动扩展的无服务器PostgreSQL数据库，无需管理底层基础设施，非常适合数据分析项目。

2. Airflow (通过Astronomer): 用于自动化ETL工作流程。本项目使用Airflow从CoinGecko获取历史和实时加密数据，并将其存储到Neon数据库中。

3. Streamlit: 构建基于Python的交互式仪表板的简易方法。只需编写Python脚本，Streamlit即可自动生成用户界面。

数据流向

Airflow定时从CoinGecko API提取加密货币数据，Neon数据库高效地存储这些数据，方便后续查询。Streamlit应用读取存储的数据，并将其可视化在交互式仪表板中。

项目结构

项目采用模块化结构，清晰易懂：

├── astronomer/    # Airflow DAGs for ETL jobs
│   ├── dags/
│   ├── Dockerfile
│   ├── requirements.txt
├── frontend/      # Streamlit app code
│   ├── app.py
│   ├── Dockerfile
│   ├── requirements.txt
├── .pre-commit-config.yaml
├── compose.yaml
└── README.md

• astronomer/：包含用于数据摄取的Airflow DAGs。
• frontend/：包含Streamlit应用程序代码。

Docker支持 所有组件都支持Docker，方便部署和管理。

本地运行项目

1. 克隆仓库:

docker-compose build

仪表板将在http://localhost:8501 上运行。

部署

• 部署Airflow DAGs: 导航到astronomer/文件夹，并使用Astronomer平台部署DAGs。
• 部署Streamlit应用程序: 使用Streamlit Cloud托管应用程序。连接您的GitHub仓库，Streamlit Cloud将自动处理部署。

下一步

如果您对数据分析感兴趣并希望快速上手，不妨尝试使用这个数据分析仪表板启动器套件。您可以fork仓库，尝试不同的数据源，并分享您的成果。欢迎提供反馈和建议！

到这里，我们也就讲完了《缩放数据分析：用霓虹灯，气流和简化建立起动套件》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！