一、项目简介

ClkLog是一款支持快速私有化部署的埋点分析系统。兼容Web、App、小程序等多端埋点数据采集，帮助你快速洞察用户访问路径、行为轨迹，并生成多维用户画像。

系统基于神策开源SDK，使用ClickHouse构建高性能数据分析能力，采用主流技术栈、架构清晰、易于维护，提供灵活快速的部署方法。

旨在助力企业低成本构建可靠、可扩展的用户行为数据分析平台。

二、系统架构

标准模式

采集日志数据先存入kafka，经由flink处理后再存入clickhouse.

快速模式

采集日志直接存入clickhouse.

模式区别
标准模式
快速模式
模式区别
采集的埋点数据通过中间件进行队列缓冲和流式计算然后写入数据库
采集的埋点数据直接写入数据库，不需要中间件系统缓存和处理
满足高可用性能要求
满足一般性能要求
采集数据不会丢失
采集数据可能会丢失
部署流程相对复杂
部署流程简单
二开门槛相对较高
二开门槛较低
适用场景
网站访问量极大、业务场景复杂、 数据安全性可靠性较高、性能要求较高
网站访问量较小、业务场景比较简单

三、技术栈

后端
Java、Redis 、Zookeeper、Kafka 、Flink
前端
Vue、Vue-Element-Admin、Element-UI 、Echarts
数据
ClickHouse、MySql
四、项目组成

接收服务 【clklog-receiver】：接收客户端采集的日志数据并存入kafka。

处理服务 【clklog-processing】：依托flink，消费kafka数据并存入clickhouse。

处理脚本 【clklog-scripts】：基于Clickhouse集群中的log_analysis表进行多维计算，获得各个维度上的统计报表。使用Cron来进行任务的定时调度。

统计接口 【clklog-api】： 提供多维度数据统计接口。

统计展示 【clklog-ui】：基于 vue-element-admin 实现的统计分析数据界面展示。

五、项目亮点

1、支持网页、App、小程序等多种前端应用场景，满足企业对基础用户行为数据的采集与分析需求。

2、支持一键私有化部署，10 分钟内即可完成部署与集成，技术选型便捷，快速上线即可看到分析效果。

3、系统全开源，日志数据全量存储，技术团队可无负担维护，并可自由进行二次开发以扩展个性化功能。

4、聚焦刚需分析模型，界面清晰，运营人员可快速上手使用，降低数据分析门槛。

5、基础访问分析功能，适用于刚起步进行用户行为分析的企业；而面向进阶需求，ClkLog还提供自定义业务分析、用户标签与画像等高级模块，帮助企业实现精细化运营。

六、功能介绍

基础统计功能

数据概览、实时访问、趋势分析、新老访客、地域分析、来源网站、渠道分析、设备分析、结构化页面分析、受访页面分析、入口页分析、退出页分析、站外搜索、站内搜索、访问次数分布、访问页数分布、访问时长分布、访问深度分布、上次访问时间分布、用户列表、用户访问信息查看、用户访问历史明细查看、活跃用户分析、流失用户分析、留存用户分析、回流/沉默用户分析、App崩溃分析

事件分析

元事件管理、事件属性管理、用户属性管理、日志查询、数据统计、我的书签、自定义分析、漏斗分析、自定义SQL查询

系统设置

项目管理、全局设置、日志汇总、权限管理（菜单管理、角色管理、账号管理）

用户画像管理

标签相关

标签分类管理、用户标签管理、用户标签规则配置、用户标签自动打标、用户标签手动打标、用户标签用户分布统计、标签用户数据下载

分群相关

用户分群管理、用户分群规则配置、用户分群自动生成、用户分群手动生成、分群用户数据查询、分群用户数据下载

用户信息查看

用户自定义属性查看、用户所有标签的查看、用户所属分群的查看

群画像分析

用户群画像定义、群画像信息定义、群画像信息分布统计、群画像分析报告下载

鸿蒙SDK

标识用户、采集数据、数据上报、调试功能、自定义事件埋点

七、安装
准备

1.下载 ClkLog Docker Compose配置文

curl -O https://clklog.com/res/docker/clklog-docker-compose.tar.gz

2.拷贝镜像,并解压镜像文件，参考代码如下：

tar -zxvf clklog-docker-compose.tar.gzcd clklog-docker-compose 
3.执行目录初始化脚本，代码如下：

mkdir -p clklog_dc_data/redischown 999 clklog_dc_data/redismkdir -p   clklog_dc_data/processing/checkpointschown 9999 clklog_dc_data/processing/checkpointschgrp 9999 clklog_dc_data/processing/checkpointsmkdir -p   clklog_dc_data/zookeeperchown 1001 clklog_dc_data/zookeeperchgrp 1001 clklog_dc_data/zookeepermkdir -p   clklog_dc_data/kafkachown 1001 clklog_dc_data/kafkachgrp 1001 clklog_dc_data/kafka

启动

1. 执行安装命令

在clklog-docker-compose目录下执行以下命令：

docker compose -f docker-compose-clklog-full.yml up -d

2. 查看容器状态

docker compose -f docker-compose-clklog-full.yml ps -a
3. 验证镜像是否安装成功
  • 前端地址：http://YOUR_DOMAIN/
  • 统计接口说明地址：http://YOUR_DOMAIN/api/doc.html
  • 埋点数据接收地址：

    http://YOUR_DOMAIN/receiver/api/gp?project=clklogapp&token=5388ed7459ba4c4cad0c8693fb85630a

  • flink后台地址：http://YOUR_DOMAIN/flink/#/overview

    在flink后台查看job状态是否正常运行

八、UI展示

版权声明：
1、本网站名称：帝企吧
2、本站永久网址：https://www.diqiba.com
3、本网站的文章部分内容可能来源于网络及作者投稿，仅供大家学习与参考，如有侵权，请联系站长进行删除处理。
4、本站一切资源不代表本站立场，并不代表本站赞同其观点和对其真实性负责。
5、本站一律禁止以任何方式发布或转载任何违法的相关信息，访客发现请向站长举报。
6、本站资源大多存储在云盘，如发现链接失效，请联系我们我们会第一时间更新。
7、本站所有资源来源于互联网，仅用于学习及参考使用，切勿用于商业用途，如产生法律纠纷本站概不负责！ 8、资源除标明原创外均来自网络转载，版权归原作者所有，若侵犯到您权益请联系我们删除，我们将及时处理！ 9、若您需使用非免费的软件或服务，请购买正版授权并合法使用！