基于容器面向大数据与人工智能的数据平台。其核心功能为：

• 基于Kubernetes的容器编排与与监控系统
• 将hadoop和spark等大数据平台封装为容器集群并在kubernetes上运行
• 将诸多机器学习/深度学习平台封装为容器集群并在kubernetes上运行

1. Hadoop集群 部署到 Kubernetes
2. Spark集群 部署到 Kubernetes
3. HBase 集群 部署到 Kubernetes
4. Hive 集群 部署到 Kubernetes
5. Storm 集群 部署到 Kubernetes
6. Kafka 集群 部署到 Kubernetes
7. Pig 集群 部署到 Kubernetes
8. Flume 集群 部署到 Kubernetes

1. Tensorflow 1.12
2. 车牌识别实验

1. 大数据平台实验

2. CI/CD实验

   1. HelloWorld:使用springboot构建docker容器第一个demo

1. 使用Hadoop-2.7.2在Docker中部署Hadoop集群
2. 基于Docker搭建定制版Hadoop集群

• Kubernetes

  • 说明: Kubernetes官方开源项目

• Big Data Europe

  • github: https://github.com/big-data-europe
  • 说明: Integrating Big Data, software & communicaties for addressing Europe's societal challenges

• SequenceIQ

  • github: https://github.com/sequenceiq

• kubeflow

  • 说明: 机器学习/深度学习平台的容器化

• XLearning

  • 说明: 一款支持多种机器学习、深度学习框架的调度系统。基于Hadoop Yarn完成了对TensorFlow、MXNet、Caffe、Theano、PyTorch、Keras、XGBoost等常用框架的集成，同时具备良好的扩展性和兼容性。

• horovod

  • 说明: Distributed training framework for TensorFlow, Keras, PyTorch, and Apache MXNet.

• volcano

  • 说明: a batch system built on Kubernetes

• Kubernetes DashBoard : 内网访问 外网访问
• Kubernetes集群与应用监控 : 内网访问 外网访问 管理员/密码: admin/admin

项目规范

本文使用 Markdown 编写, 排版符合中文技术文档写作规范。Find Me On Github , Gitee

友情贡献

@chellyk   @RunAtWorld   @icepoint666   @Clock966