如何设计企业级数据埋点采集方案？

更多技术交流、求职机会，欢迎关注 字节跳动数据平台微信公众号，回复【1】进入官方交流群

1.前言

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:a3b7fd93-a70a-4775-b18b-9182f23cedae

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:5d55f3e6-5717-4078-a8a1-1d09fc367510

• 作为一个入职一家新公司的数据产品（分析师），面对环境中的几百个事件，或者afsdfgfhtr无任何标注的属性名，茫然不知所措，不知所以然，而前任留下的文档也是似有若无，询问身边的老员工则众口不一，之前埋点的研发也离职了，干脆我就重新埋点吧……

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:ba04cb71-5b4f-452d-aedf-6cfd350d1b85

• 作为一个产品人员，新版本上线后，想详细分析新版本上线后的数据变化。内心os：还好之前提了埋点的需求，不像上面那个运营没有数据可以查。几分钟后……等等，为什么这个数据和后台业务数据很不一样……

• 作为公司的业务人员，听说公司新上了一个数据产品系统，而我前一阵子才学习了一些数据分析基础知识，内心：我也要不断进步。打开系统……几分钟后，分析模型懂，事件涵义懂，属性涵义懂，就是不知道这里传值的afsdfgfhtr，123，456……都是什么意思呀……

……

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:cdf50983-edc1-41ff-bb7e-8d723609a6d4

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:1b124b7d-10a7-4ba5-8ae2-98baf18e1769

• 埋点项目规划
• 埋点设计方案

• 埋点数据推广应用

• 埋点项目规划

一个公司内不仅仅有火山引擎的增长分析的数据产品，还会有业务数据库、机器学习平台、bi系统等各种数据系统，而增长分析的数据产品需要承接什么样的需求，怎么打通各个数据产品之间的连接，是一开始最需要思考的问题。

因此初期我们可设定：

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:601ae170-d226-4a77-9374-6cfa1871386d

* 确立唯一用户的标识id，保证各数据系统传输id-mapping成本不高。

2.1 建立标准化流程

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:2aa48342-5cf7-4fef-b59d-c1af60548976

1. 初建设，0-1。初期从0开始建设埋点体系。
2. 长期迭代，1-N。已经有一些埋点体系，从原来的基础上进行迭代建设。

建议流程如下：

初期建设，0-1

长期迭代，1-N

2.2 确认各角色责任人

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:e50d03db-4de3-43de-9e80-c9b1379cfaa2

注意事项：

1. 埋点需求源于业务需求，为避免浪费数据资源，不能为了埋点而埋点，切莫一味追求多而全。
2. 关于角色安排 同一人可同时担任需求评审方与埋点设计方案方，其余角色不建议有人员重合。 需求方通常为产品、运营、数据分析等使用数据业务方，埋点设计与需求评审方通常为数据分析师、数据产品等数据中台建设者。
3. 在埋点验收之前增加业务验收环节，是考虑部分测试人员不能准确理解业务需求，或者有遗漏，为保证埋点符合业务人员预期，如果在此环节，需求方或者埋点设计方发现不对，可在上线前及时调整。

2.3 管理小技巧

1. 流程化管理如果有需求管理系统最好，例如。如果没有为了保证可追溯以及各部门人员理解一致，要制定严格的文档规范，对于需求提出的日期、背景描述、提出人、评审意见、评审人、埋点设计方案、埋点设计人、开发人员、测试人员等都要进行详细记录。
2. 定期进行清理，例如对近半年没有数据接入的事件或者近半年没有被查询的事件，经业务确认后，可进行隐藏或者停用管理。

3.首次埋点设计步骤

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:9ca00d7f-fbc1-4b11-91e7-eca7cb8cda71

3.1 明确用户标识

3.1.1 用户标识底层逻辑

火山引擎增长分析使用 device_id、user_unique_id、ssid 三种 id 标识设备和用户。

3.2 明确是否开启全埋点+预置事件方案

3.2.1 预置事件采集

预置事件接入基础SDK可默认自动采集，按照具体需求，选择接入对应端的SDK。

3.2.2 全埋点采集事件

全埋点事件接入基础SDK可选择开启或者不开启，需要注意的是，全埋点优点是采集便利，节约投入成本，缺点是消耗事件量大，且只满足一般的基础PV,UV采集指标需求，应用范围窄，请谨慎开启。如不明确是否开启，可咨询相关服务支持人员。

bav2b_page 全埋点页面访问，仅开启全埋点后上报

bav2b_click 全埋点元素点击，仅开启全埋点后上报

开启、不开启方式详见各个端SDK接入文档、下图为IOS SDK开启方式示例。

3.3 设计自定义埋点方案

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:6eff22ba-c803-4055-a7d6-4365f9c91c93

自定义埋点方案示例：

事件表-自定埋点设计要素：

（1）序号

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:6ed35813-73ea-4271-ad2f-ba3f872b162f

（2）事件名称

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:927e8976-ff68-4e40-8270-223c18675575

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:f5e9ac5e-080c-4361-8f9f-3580bd6e589f

• 可采用下划线区分-regist_submit, 或者驼峰命名区分registSubmit（由一个或多个单词连结在一起，第一个单词以小写字母开始，从第二个单词开始以后的每个单词的首字母都采用大写字母）。
• 采用动词_名词或者名词_动词进行统一。

• 如果有多条业务线，可在事件前加业务线名称的标识，例如 a_regist_submit.

• 大小写敏感，如果传了 Name，就不建议传 name。

• 自定义事件英文名不得以 $ 开头。

（3）事件属性名称

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:a8a896f9-0b9f-4832-9bc4-cac374ff9e36

但同一个属性可被多个事件引用，例如浏览商品详情页事件和收藏商品详情事件，可以共用属性，商品名称、商品ID等。同一属性在不同事件中字面意义相近，但实际意义有差别时，不建议复用，建议基于属性的实际含义对属性进行区分。例如：在”动画加载”的事件中，”时长”这个属性代表的意义是”加载时长”；而在”视频播放”的事件中，”时长”代表的意义是”播放时长”。在这样的情况下，不建议复用”时长”这个字段，而是拆解为两个字段分别命名。

无法复制加载中的内容

属性命名采取 snake 命名法，即单词全部小写，单词间用”_”分割。

• 属性命名时通常使用名词的形式。例如：product_type，product_id等。
• 自定义属性英文名不得以 $ 开头。
  [TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:18fb8877-a34c-400e-8f2a-9acd222e20d1
  [En]

  [TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:cd9d98af-6421-4c27-a7eb-4676e159e48d

• 大小写敏感，如果传了 Name，就不建议传 name。

事件&属性限制：

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:a0545c4a-1837-4f29-a566-663405dbaa63

* 单个事件的属性数量推荐 300 个以内，最多不超过 500 个（不同事件之间互不影响）；
[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:e070779a-35e9-4bc4-a245-647d2ca8d37e

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:82ca4ed7-414d-4c8e-85a9-537c2292ab05

* 属性值长度建议不超过 255 字节，特殊情况如url等最大支持 1024 字节。
[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:72a1ea32-3240-4036-a0db-7f407be25bba

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:66a589c8-67a5-438f-9355-01b364326267

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:a94804dc-eff6-46fc-afd9-1c899942b6bf

（4）属性类型

bool，是否，true/false

（5）属性值含义或示例

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:850deb33-7716-4f2f-8e8d-92709a346d80

（6）事件的触发时机

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:3534d039-bee6-4b1c-9c48-a88f70439efd

（7）埋点形式

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:6b74d6f3-4c80-4b4e-8681-79c23ce2ba0d

（8）备注

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:439018ad-d16f-41c5-8f6a-91c69d783aa4

用户表设计要素

（1）用户属性

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:5747f868-a3e7-4e18-8e62-40d1295a6960

（2）发生变化的用户属性

首先用户属性可进行更新，例如VIP等级、最近一次支付时间等。

需要注意的是，比如用户的 VIP 等级，用户属性只记录当前最新状态，比如VIP等级可以从level1变成level2，也可从level4变为非VIP，用户属性只记录该用户当前VIP等级的最新状态。如果想要获取用户在历史状态操作时的VIP等级需求，还需要增加事件属性VIP等级，可根据具体需求进行选择。如果有不明确的地方，可咨询相关服务支持人员。

公共属性

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:3e6cdde2-0af4-4b03-8da5-d7af9af91dea

整体的设计思路

（1）确立观察指标

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:c617208c-360a-4c32-bcf1-3b6b545020bb

（2）抽象过程行为

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:c9ab7313-324f-44ef-972c-fdcc63afb233

（3）补充事件属性

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:01ba5a05-4e41-4ce8-9bd4-e9b30cea6dc6

（4）设计事件要素

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:c9ad3d9b-5473-4b39-ac08-bfebcefa06ac

（5）补充用户属性

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:26f96067-915c-4b51-a09c-b1e65c7f3279

3.4 确认是否需要导入后台业务数据库、标签等数据

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:4fdcd2e4-e871-4648-b2c2-8fbc1f607821

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:0637eb91-6add-44cc-9498-d226d6c44c0c

3.5 确认可行性和排期。

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:4ae99188-cafd-46d3-8591-1c5dae46846d

4.常见问题

4.1 相似场景是合并一个事件还是分不同的事件

• *设计为同一事件

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:88e9b08a-7639-4276-81db-e357baf36cf3

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:bc899ce2-1c17-4061-a061-edd75b62ca10

• *设计为同一事件

例如：点击banner、点击热门活动位，都是点击首页的推荐位，可通过增加属性区分。

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:e056a3a0-cbd7-4be8-8d2c-57e3a94100e2

• *设计为不同事件

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:8c28ee37-7070-42a2-85e9-e8d8157fc316

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:e5e26a7d-0b5a-44d0-987f-5f9b703cf1cf

• *设计为不同事件

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:077a9f22-3396-43a4-97d2-8fb1d376beef

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:426c353d-92df-446c-ba6f-6aefab1bc2a4

4.2 多重身份用户的设计

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:0eb165c0-b700-4031-9d43-ed9c2abedc14

4.3 主被动事件的处理

在线上行为中，很多需要记录的埋点事件非用户主动触发，为被动触发，例如平台审核，发放优惠券，被其他人关注，所以这种场景下不存在主动事件，主动触发行为的不是用户，用户是行为的接受者，被动受到影响。但是在分析需求比如审核通过率，需要提交审核-审核通过的主体ID为一人，此时被动事件的上报主体会影响到分析结果。

4.4 曝光事件的处理

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:c4a8a2fc-54d7-4482-ab7a-500e6e64a3d6

1、内容露出全部，且feed流静止状态超过2s算曝光

2、限制单一内容一次请求只会出现一次曝光。（比如上下滑动屏幕，只要不刷新发生新请求，算一次曝光）

当然具体的规则可根据需求和研发的实现成本灵活变动，以上仅为示例，可做调整。另外，需要注意的是，曝光触发事件量巨大，一般分析CTR，或者有推荐算法数据需求时需要曝光事件，其他场景请根据需求谨慎埋点。

4.5 虚拟事件

[TencentCloudSDKException] code:FailedOperation.ServiceIsolate message:service is stopped due to arrears, please recharge your account in Tencent Cloud requestId:c34e398d-10cc-4f2f-8955-b491363f4b26

立即跳转火山引擎增长分析DataFinder官网了解详情

Original: https://www.cnblogs.com/bytedata/p/16695824.html
Author: 字节跳动数据平台
Title: 如何设计企业级数据埋点采集方案？