Android無埋點數據採集實戰（附源碼，兩行代碼便可接入）

時間 2019-11-16

標籤 android 數據採集實戰源碼兩行代碼便可欄目 Android 简体版

原文原文鏈接

前段時間剛作完公司無埋點數據採集項目，跟你們分享一下。java

如下只有部分核心代碼，完整源碼及接入流程請移步android

github：github.com/harvie1208/…git

項目背景

當前手動代碼埋點的方式，效率低、成本高、見效慢，故開發一套sdk自動採集pv、click等事件。github

技術方案調研

無埋點主流方案有如下幾種web

1.View.AccessibilityDelegate

採用輔助功能事件實現無埋點，簡單來說，就是給View設置AccessibilityDelegate，當View產生了click，long_click等事件時，會在響應原有的Listener方法後，發送消息給AccessibilityDelegate，而後在sendAccessibilityEvent方法下蒐集自動埋點事件。
設置代理的時機實現Application.ActivityLifecycleCallbacks，用來監聽Activity生命週期，當監聽到某個Activity進入onResumed狀態時，經過如下方式獲取RootView： mViewRoot = this.mActivity.getWindow().getDecorView().getRootView() 從RootView出發深度優先遍歷控件樹，爲知足特定條件的View設置代理監聽。

2.gradle插件字節碼插裝

插件實現也分兩種，一種是將Button、TextView等替換成自定義View，另外一種是修改字節碼。這裏選擇第二種實現。
複製代碼

主流程概述：數據庫

經過自定義gradle插件攔截到view的onClick方法及Activity、fragment生命週期方法，插入自定義採集方法，從而監聽pv、click事件。後端
關鍵概念簡介（圖片來源網易HubbleData）api

經過上圖能夠看出，咱們就是在class文件打包到dex文件的過程當中增長transform任務，執行插入代碼
複製代碼

無埋點技術實現（gradle插件方式）

1.編寫gradle插件模塊（groovy文件實現）

看到groovy文件不要慌，能夠把它當作java寫
複製代碼

1.工程下建立buildSrc模塊（系統保留名稱）

2.編寫插件

import com.android.build.gradle.BaseExtension
import org.gradle.api.Plugin
import org.gradle.api.Project

/**
 * @author harvie
 */
class NoTracePointPlugin implements Plugin<Project>{

    @Override
    void apply(Project project) {
        project.extensions.create(ClassModifyUtil.CONFIG_NAME,NoTracePointPluginParams)
        registerTransform(project)
    }

    def static registerTransform(Project project){
        BaseExtension extension = project.extensions.getByType(BaseExtension)
        NoTracePointTransform transform = new NoTracePointTransform(project)
        extension.registerTransform(transform)
    }
}
複製代碼

其中apply方法中的project對象用於讀取build.gradle文件中的一些配置信息將自定義的transform類註冊進去後，執行工程編譯命令時就會執行自定義transform中的代碼數組

3.編寫transform

import com.android.build.api.transform.*
import com.android.build.gradle.BaseExtension
import com.android.build.gradle.internal.pipeline.TransformManager
import groovy.io.FileType
import org.gradle.api.Project

import java.util.jar.JarEntry
import java.util.jar.JarFile

/**
 * @author harvie
 */
class NoTracePointTransform extends Transform{

    private static Project project
    private static BaseExtension android
    //須要掃描的目標包名集合
    private static Set<String> targetPackages = new HashSet<>()

    NoTracePointTransform(Project project) {
        this.project = project
        this.android = project.extensions.getByType(BaseExtension)
        ClassModifyUtil.project = project
        ClassModifyUtil.noTracePointPluginParams = project.noTracePoint
    }

    @Override
    String getName() {
        //transform任務名稱，隨意
        return "noTracePointTransform"
    }

    @Override
    Set<QualifiedContent.ContentType> getInputTypes() {
        //輸入類型 class文件
        return TransformManager.CONTENT_CLASS
    }

    @Override
    Set<? super QualifiedContent.Scope> getScopes() {
        //做用域 全局工程
        return TransformManager.SCOPE_FULL_PROJECT
    }

    @Override
    boolean isIncremental() {
        //是否增量構建
        return true
    }

    @Override
    void transform(Context context, Collection<TransformInput> inputs, Collection<TransformInput> referencedInputs, TransformOutputProvider outputProvider, boolean isIncremental) throws IOException, TransformException, InterruptedException {
        //核心操做
        long t1 = System.currentTimeMillis()
        HLog.i("transform start: "+t1)
        // 取build.gradle中配置包名數組
        HashSet<String> tempPackages = project.noTracePoint.targetPackages
        //此處省略部分非核心代碼
        // 開始遍歷全局jar包
        inputs.each {TransformInput input->
            input.jarInputs.each { JarInput jarInput->

                /** 得到輸出文件*/
                File dest = outputProvider.getContentLocation(jarInput.file.absolutePath, jarInput.contentTypes, jarInput.scopes, Format.JAR)
                File modifiedJar = null
                modifiedJar = ClassModifyUtil.modifyJarFile(jarInput.file,context.getTemporaryDir(),android,targetPackages)
                if (modifiedJar == null){
                    modifiedJar = jarInput.file
                }
                // 由於當前transform的輸出文件會成爲下一個任務的輸入，故須要將修改的文件copy到輸出目錄
                FileUtils.copyFile(modifiedJar,dest)
            }
            //遍歷目錄
            input.directoryInputs.each { DirectoryInput directoryInput->

                File dest = outputProvider.getContentLocation(directoryInput.name, directoryInput.contentTypes, directoryInput.scopes, Format.DIRECTORY)
                File dirFile = directoryInput.file

                if (dirFile){
                    HashMap modifyMap = new HashMap()
                    dirFile.traverse(type: FileType.FILES,nameFilter:~/.*\.class/){
                        File classFile ->

                            //此處省略部分非核心代碼，與上面修改class相似
                    }
                }
            }
        }
        long t2 = System.currentTimeMillis()
        HLog.i("transform end 耗時: "+(t2-t1)+"毫秒")
    }
}
複製代碼

4.字節碼修改

import org.objectweb.asm.ClassVisitor
import org.objectweb.asm.MethodVisitor
import org.objectweb.asm.Opcodes

/**
 * @author harvie
 * asm 字節碼操做工具類
 */
class HClassVisitor extends ClassVisitor{

    private String[] interfaces
    private String superName
    private String className

    private ClassVisitor classVisitor

    //記錄已訪問的fragment方法
    private HashSet<String> methodName = new HashSet<>();

    HClassVisitor(ClassVisitor cv){
        super(Opcodes.ASM5,cv)
        this.classVisitor = cv
    }

    /**
     * 訪問類頭部信息
     * @param version
     * @param access
     * @param name
     * @param signature
     * @param superName
     * @param interfaces
     */
    @Override
    void visit(int version, int access, String name, String signature, String superName, String[] interfaces) {
        this.interfaces = interfaces
        this.superName = superName
        this.className = name.contains('$')?name.substring(0,name.indexOf('$')):name
        super.visit(version, access, name, signature, superName, interfaces)
    }

    /**
     * 訪問類方法
     * @param access
     * @param name
     * @param desc
     * @param signature
     * @param exceptions
     * @return
     */
    @Override
    MethodVisitor visitMethod(int access, String name, String desc, String signature, String[] exceptions) {
        MethodVisitor mv = cv.visitMethod( access,  name,  desc,  signature, exceptions)

        String nameDesc = name+desc

        return new MethodVisitor(this.api, mv){

            @Override
            void visitCode() {

                //點擊事件
                if (interfaces!=null && interfaces.length>0){

                    MethodCode methodCode = InterceptEventConfig.interfaceMethods.get(nameDesc)
                    if(methodCode!=null){
                        mv.visitVarInsn(Opcodes.ALOAD, 1)
                        mv.visitMethodInsn(Opcodes.INVOKESTATIC, methodCode.owner, methodCode.agentName, methodCode.agentDesc, false)
                    }
                }

                //activity生命週期hook
                if (instanceOfActivity(superName)){
                    MethodCode methodCode = InterceptEventConfig.activityMethods.get(nameDesc)
                    if (methodCode!=null){
                        methodName.add(nameDesc)
                        mv.visitVarInsn(Opcodes.ALOAD, 0)
                        mv.visitMethodInsn(Opcodes.INVOKESTATIC, methodCode.owner, methodCode.agentName, methodCode.agentDesc, false)
                    }
                }
                super.visitCode()
            }

            @Override
            void visitInsn(int opcode) {
                //fragment 頁面hook
                if (instanceOfFragemnt(superName)) {
                    MethodCode methodCode = InterceptEventConfig.fragmentMethods.get(nameDesc)
                    if (methodCode != null) {
                        methodName.add(nameDesc)
                        if (opcode == Opcodes.RETURN) {
                            mv.visitVarInsn(Opcodes.ALOAD, 0)
                            mv.visitVarInsn(Opcodes.ILOAD, 1)
                            if (superName == 'android/app/Fragment'){
                                mv.visitMethodInsn(Opcodes.INVOKESTATIC, methodCode.owner, methodCode.agentName, '(Landroid/app/Fragment;Z)V', false)
                            }else {
                                mv.visitMethodInsn(Opcodes.INVOKESTATIC, methodCode.owner, methodCode.agentName, '(Landroid/support/v4/app/Fragment;Z)V', false)
                            }
                        }
                    }
                }
                super.visitInsn(opcode)
            }
        }
    }

    @Override
    void visitEnd() {
        if (instanceOfActivity(superName)){
            //防止activity沒有複寫oncreate方法，再次檢測添加
            Iterator iterator = InterceptEventConfig.activityMethods.keySet().iterator()
            while (iterator.hasNext()) {
                String key = iterator.next()
                MethodCode methodCell = InterceptEventConfig.activityMethods.get(key)
                if (methodName.contains(key)) {
                    continue
                }
                //添加須要的生命週期方法
                if (key == 'onCreate(Landroid/os/Bundle;)V' || key == 'onResume()V'){
                    MethodVisitor methodVisitor = classVisitor.visitMethod(Opcodes.ACC_PUBLIC, methodCell.name, methodCell.desc, null, null)
                    methodVisitor.visitCode()
                    methodVisitor.visitVarInsn(Opcodes.ALOAD, 0)

                    methodVisitor.visitVarInsn(Opcodes.ALOAD, 0)
                    if (key == 'onCreate(Landroid/os/Bundle;)V') {
                        methodVisitor.visitVarInsn(Opcodes.ALOAD, 1)
                    }
                    methodVisitor.visitMethodInsn(Opcodes.INVOKESPECIAL, superName, methodCell.name, methodCell.desc, false)
                    methodVisitor.visitMethodInsn(Opcodes.INVOKESTATIC, methodCell.owner, methodCell.agentName, methodCell.agentDesc, false)
                    methodVisitor.visitInsn(Opcodes.RETURN)
                    methodVisitor.visitMaxs(2, 2)
                    methodVisitor.visitEnd()
                }
            }

        }else if (instanceOfFragemnt(superName)){
            Iterator iterator = InterceptEventConfig.fragmentMethods.keySet().iterator()
            while (iterator.hasNext()){
                String key = iterator.next()
                MethodCode methodCell = InterceptEventConfig.fragmentMethods.get(key)
                if (methodName.contains(key)){
                    continue
                }
                //添加須要的生命週期方法
                MethodVisitor methodVisitor = classVisitor.visitMethod(Opcodes.ACC_PUBLIC, methodCell.name, methodCell.desc, null, null)
                methodVisitor.visitCode()
                methodVisitor.visitVarInsn(Opcodes.ALOAD, 0)
                methodVisitor.visitVarInsn(Opcodes.ILOAD, 1)
                methodVisitor.visitMethodInsn(Opcodes.INVOKESPECIAL, superName, methodCell.name, methodCell.desc, false)
                methodVisitor.visitVarInsn(Opcodes.ALOAD, 0)
                methodVisitor.visitVarInsn(Opcodes.ILOAD, 1)
                if (superName == 'android/app/Fragment'){
                    methodVisitor.visitMethodInsn(Opcodes.INVOKESTATIC, methodCell.owner, methodCell.agentName, '(Landroid/app/Fragment;Z)V', false)
                }else {
                    methodVisitor.visitMethodInsn(Opcodes.INVOKESTATIC, methodCell.owner, methodCell.agentName, '(Landroid/support/v4/app/Fragment;Z)V', false)
                }
                methodVisitor.visitInsn(Opcodes.RETURN)
                methodVisitor.visitMaxs(2, 2)
                methodVisitor.visitEnd()
            }
        }
        super.visitEnd()
    }
}
複製代碼

下面是字節碼操做後的代碼示例：bash

public class MainActivity extends Activity {
    public MainActivity() {
    }

    protected void onCreate(Bundle var1) {
        //這一行就是經過插件植入的代碼
        ActivityHelper.onCreate(this);
        super.onCreate(var1);
        this.setContentView(2131296284);
        ((TextView)this.findViewById(2131165331)).setOnClickListener(new 0(this));
    }

    public void onResume() {
        super.onResume();
        //這一行就是經過插件植入的
        ActivityHelper.onResume(this);
    }
}
複製代碼

2.編寫事件處理模塊(java模塊)

1.activity及fragment相關hook方法接收

import android.app.Activity;

/**
 * @author harvie
 * @date 2019/9/3
 */
public class ActivityHelper {

    public static void onCreate(Activity activity){
        if (activity!=null){
            String pageName = activity.getClass().getName();
            //業務代碼
        }
    }

    public static void onResume(Activity activity) {
        //業務代碼 
        //好比直接將此pv事件發送到後臺
    }

    public static void onPause(Activity activity){
        //業務代碼
    }
}

複製代碼

import android.app.Fragment;

/**
 * @author harvie
 * @date 2019/9/3
 */
public class FragmentHelper {

    public static void setUserVisibleHint(Fragment fragment, boolean visiable){
        if (visiable){
            //業務代碼
        }
    }

    public static void onHiddenChanged(Fragment fragment,boolean hidden){

        if (!hidden){
            //業務代碼
        }
    }

    public static void setUserVisibleHint(android.support.v4.app.Fragment fragment,boolean visiable){

        if (visiable){
            //業務代碼
        }
    }

    public static void onHiddenChanged(android.support.v4.app.Fragment fragment,boolean hidden){

        if (!hidden){
            //業務代碼
        }
    }
}
複製代碼

2.click事件接收

public class BuryPointHelper {

    public static void onClick(View view){
            try {
                //根據view獲取activity
                Activity activity = VIewPathUtil.getActivity(view);
                //獲取view路徑
                String path = VIewPathUtil.getViewPath(activity,view);
                //經過socket傳遞至服務器
                HLog.i("onClick view:"+path);
                YdlPushAgent.sendClickEvent(path);
            }catch (Exception e){e.printStackTrace();}
    }
}
複製代碼

3.view惟一路徑生成

import android.app.Activity;
import android.content.Context;
import android.content.ContextWrapper;
import android.view.View;
import android.view.ViewGroup;
import android.view.ViewParent;

/**
 * view惟一ID生成器
 * @author harvie
 * @date 2019/8/30
 */
class VIewPathUtil {

    /**
     * 獲取view的頁面惟一值
     * @return
     */
    public static String getViewPath(Activity activity,View view){
        String pageName = activity.getClass().getName();
        String vId = getViewId(view);
        return pageName+"_"+MD5Util.md5(vId);
    }

    /**
     * 獲取頁面名稱
     * @param view
     * @return
     */
    public static Activity getActivity(View view){
        Context context = view.getContext();
        while (context instanceof ContextWrapper){
            if (context instanceof Activity){
                return ((Activity)context);
            }
            context = ((ContextWrapper) context).getBaseContext();
        }
        return null;
    }

    /**
     * 獲取view惟一id,根據xml文件內容計算
     * @param view1
     * @return
     */
    private static String getViewId(View view1){

        StringBuilder sb = new StringBuilder();

        //當前須要計算位置的view
        View view = view1;
        ViewParent viewParent =  view.getParent();

        while (viewParent!=null && viewParent instanceof ViewGroup){
            ViewGroup tview = (ViewGroup) viewParent;
            int index = getChildIndex(tview,view);
            sb.insert(0,view.getClass().getSimpleName()+"["+(index==-1?"-":index)+"]");
            viewParent = tview.getParent();
            view = tview;
        }
        return sb.toString();
    }

    /**
     * 計算當前 view在父容器中相對於同類型view的位置
     */
    private static int getChildIndex(ViewGroup viewGroup,View view){
        if (viewGroup ==null || view == null){
            return -1;
        }
        String viewName = view.getClass().getName();
        int index = 0;
        for (int i = 0;i < viewGroup.getChildCount();i++){
            View el = viewGroup.getChildAt(i);
            String elName = el.getClass().getName();
            if (elName.equals(viewName)){
                //表示同類型的view
                if (el == view){
                    return index;
                }else {
                    index++;
                }
            }
        }
        return -1;
    }
}
複製代碼

4.上傳服務器

目前是經過socket長鏈接（斷開自動重連）直接傳輸至服務器，遇到連接異常時會有少許數據丟失，後期加入本地數據庫，進行失敗重傳。
5.構建maven庫 build.gradle文件中加入uploadArchives任務

uploadArchives {

    repositories {
        mavenDeployer {
            String repoUrl = '私服地址'
            repository(url: repoUrl) {
                authentication(userName: '用戶名', password: '密碼')
            }
            pom.version = '版本號'
            pom.artifactId = '庫名稱'
            pom.groupId = "組名稱"
        }
    }
}
複製代碼

直接執行上面任務就能夠打包上傳至maven私服

6.接入App

如下是我製做好的庫，可直接經過gradle引入使用，祥見：github.com/harvie1208/…

歡迎star、評論，下期繼續優化

總結

優勢

1.用戶數據反饋及時

項目上線便可收集到相關數據，無需後期查補埋點。
複製代碼

2.節省人力成本

一次集成，後期無需再開發，也無需在和產品、運營溝通基礎數據埋點相關問題
複製代碼

缺點

1.目前還沒法採集業務數據
```
當前僅對click、pv等事件採集，業務數據需經過手動埋點，在考慮經過先後端的一些約定配置採集
複製代碼
```
2.當頁面改版時，須要及時從新配置採集別名

當前事件標識符是根據view的佈局路徑產生的，咱們直接將此路徑md5加密上傳至後臺，路徑的中文名是經過另外一套可視化界面編輯上傳至後臺配置中心的。一旦頁面發生變化，某個按鈕的位置頗有可能會變更，須要經過後端api給此路徑從新命名