一、项目简介

至轻云是一款超轻量级、企业级大数据计算平台，基于Spark生态打造。一键部署，开箱即用。快速实现大数据离线ETL、Spark计算、实时计算、可视化调度、自定义接口、数据大屏以及自定义表单等多种功能，为企业提供高效便捷的大数据解决方案。

二、产品优势

云原生架构: 兼容云原生架构，支持Docker、Rancher平台的快速部署。

国内镜像下载: 可直接从阿里云镜像仓库进行安装，无需手动导入镜像。

免中间件安装: 开箱即用，无需额外安装中间件服务。

代码自研: 系统代码自研程度高，避免对外部服务的依赖。

高性价比

超低资源配置: 平台的最低配置要求仅为2核2GB。

集群优化: 可视化集群监控，计算集群最低仅需4核8GB即可实现作业运行体验。

支持信创

国产系统兼容: 全面支持国产麒麟V10操作系统，适应国家对信息技术的信创政策要求。

多架构高兼容性: 系统兼容AMD和ARM架构，能够适配多种硬件平台。

复杂数据开发

原生Spark环境: 支持SparkSQL语法及官方的默认函数库。

跨库计算: 支持跨数据源计算，允许用户在不同数据源之间进行灵活的数据整合。

自定义函数: 支持使用Java等语言编写自定义函数，如国密算法和对称加解密等。

自定义作业: 支持用户编写Java作业，运行Jar包，能够执行复杂业务的计算。

多类型数据处理: 支持处理结构化和非结构化数据，适应多样化的数据场景。

超快数据计算

高效数据同步: 支持千万级别数据在数分钟内完成数据同步，能够轻松应对亿级数据量的计算需求。

集群资源调用: 支持集群资源的灵活调度与使用，利用分布式特性，进一步加速计算过程。

高安全性

假删除保护: 全平台采用假删除机制，确保数据不被实际删除，提供数据可追溯性。

用户行为追踪: 支持全平台用户行为跟踪记录，实时监控用户操作，提升系统的安全监控。

单一接口暴露: 仅暴露一个接口，降低系统的攻击面，增强整体安全性，防止潜在的安全漏洞。

自定义结构体

请求与响应自定义: 支持用户自定义请求体和响应体的结构体，灵活满足多样化的接口需求。

多租户模式

租户独立管理: 系统支持租户拆分，允许用户灵活配置不同租户的运行环境。

数据隔离保障: 支持租户间的数据隔离，确保每个租户的数据安全与隐私保护。

三、技术架构

输入:数据可以从多种来源进入系统，比如Doris/OLAP、Excel、Jdbc/OLTP、Kafka、Hdfs、Hive和Python等。

平台管理:这部分负责管理和调度系统的各种资源和任务，包括集群管理、作业调度（使用Quartz）、基线告警、资源中心、数据地图、自定义函数（UDF）和租户管理。

资源调度:通过Kubernetes、Yarn和Spark Cluster等工具来调度和管理计算资源。

输出:处理后的数据可以通过流处理、批处理、数据采集/同步、自定义作业、大数据ETL、自定义接口和数据大屏等方式输出。

四、部署架构图

外网:用户通过域名访问系统，数据通过443端口经过防火墙的SSL加密进入内网。

内网:Cloudera CDH v6.2.0集群：由六个服务器（Server1到Server6）组成，负责运行CDH集群。

Rancher v2.8.5集群:管理Kubernetes Ingress，用于路由和负载均衡，包含三个服务器（Server1到Server3），并连接至轻云代理。

至轻云代理:提供数据服务，包括HDFS、YARN、HBase、Hue、Hive、Spark、ZooKeeper、Kafka和Impala等组件。

至轻云:负责持久化存储，包括主Mysql数据库和多个备份数据库（Mysql备1、Mysql备2、Mysql备3），以及共享盘/NFS。

五、功能介绍

资源管理
计算集群、数据源、驱动上传、资源中心

数据开发

作业流、 函数仓库、 实时计算、 计算容器

任务调度

调度历史

基线告警

消息体、 基线配置、 告警实例

云数据

数据地图、 数据采集、 采集实例

数据服务

数据卡片、 数据大屏 、接口服务、 分享表单

六、本地部署

Windows10/11 环境编译

推荐版本如下:

Java: zulu8.78.0.19-ca-jdk8.0.412-x64
Nodejs: node-v18.20.3-x64
Gradle: gradle-7.6.1

源码编译

请使用Git Bash终端工具执行以下命令

git clone https://github.com/isxcode/spark-yun.gitcd spark-yungradle install clean package

MacOS/Linux 环境编译

git clone https://github.com/isxcode/spark-yun.gitcd spark-yungradle install clean package

解压安装包

安装包路径: 

spark-yun/spark-yun-dist/build/distributions/zhiqingyun.tar.gz

tar -vzxf spark-yun-dist/build/distributions/zhiqingyun.tar.gzjava -jar zhiqingyun/lib/zhiqingyun.jar

访问项目

 

  • 访问地址: http://localhost:8080
  • 管理员账号：admin
  • 管理员密码：admin123

七、UI展示

版权声明：
1、本网站名称：帝企吧
2、本站永久网址：https://www.diqiba.com
3、本网站的文章部分内容可能来源于网络及作者投稿，仅供大家学习与参考，如有侵权，请联系站长进行删除处理。
4、本站一切资源不代表本站立场，并不代表本站赞同其观点和对其真实性负责。
5、本站一律禁止以任何方式发布或转载任何违法的相关信息，访客发现请向站长举报。
6、本站资源大多存储在云盘，如发现链接失效，请联系我们我们会第一时间更新。
7、本站所有资源来源于互联网，仅用于学习及参考使用，切勿用于商业用途，如产生法律纠纷本站概不负责！ 8、资源除标明原创外均来自网络转载，版权归原作者所有，若侵犯到您权益请联系我们删除，我们将及时处理！ 9、若您需使用非免费的软件或服务，请购买正版授权并合法使用！