超簡單集成ML kit 實現聽寫單詞播報

時間 2020-07-06

標籤簡單集成 kit 實現聽寫單詞播報简体版

原文原文鏈接

背景

相信咱們你們在剛開始學習一門語言的時候都有過聽寫，如今的小學生學語文的時候一項重要的課後做業就是聽寫課文中的生詞，不少家長們都有這方面的經歷。不過一方面這種讀單詞的動做相對簡單，另外一方面家長的時間也很寶貴，如今市場上出現了不少xx課後聽寫的語音，這些播講人將語文教材上的課後聽寫單詞錄好，給家長下載使用，不過這種錄音不夠靈活，若是老師今天額外留了幾道不是課後習題中的單詞，這部分的錄音就不能知足家長和孩子們的須要。本文就介紹了一個使用咱們ML kit 的通用文本識別功能和語音合成功能共同實現自動語音播報APP，只須要對聽寫的單詞或者課文拍照，而後就能自動播報照片中的文字，播報的音色、音調均可以調整。java

開發前準備

打開AndroidStudio項目級build.gradle文件

在allprojects ->repositories裏面配置HMS SDK的maven倉地址

allprojects { 
    repositories { 
        google() 
        jcenter() 
        maven {url 'http://developer.huawei.com/repo/'} 
    } 
 }
複製代碼

在buildscript->repositories裏面配置HMS SDK的maven倉地址android

buildscript { 
    repositories { 
        google() 
        jcenter() 
        maven {url 'http://developer.huawei.com/repo/'} 
    } 
 }
複製代碼

在buildscript->repositories裏面配置HMS SDK的maven倉地址app

buildscript { 
    repositories { 
        google() 
        jcenter() 
        maven {url 'http://developer.huawei.com/repo/'} 
    } 
 }
複製代碼

在buildscript->dependencies中，配置AGC插件async

dependencies {
    classpath 'com.huawei.agconnect:agcp:1.2.1.301'
}
複製代碼

添加編譯依賴

打開應用級的build.gradle文件maven

集成SDKide

dependencies{  
    implementation 'com.huawei.hms:ml-computer-voice-tts:1.0.4.300'
    implementation 'com.huawei.hms:ml-computer-vision-ocr:1.0.4.300'
    implementation 'com.huawei.hms:ml-computer-vision-ocr-cn-model:1.0.4.300'
}
複製代碼

應用ACG插件，添加在文件頭便可post

apply plugin: 'com.huawei.agconnect'
複製代碼

指定權限和特性：在AndroidManifest.xml中進行聲明學習

<uses-permission android:name="android.permission.CAMERA" />
<uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE" />
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />
<uses-feature android:name="android.hardware.camera" />
<uses-feature android:name="android.hardware.camera.autofocus" />
複製代碼

做業朗讀代碼關鍵步驟gradle

主要有兩個功能，一個是識別做業文本，一個是朗讀做業，經過OCR+TTS實現做業朗讀，拍照後點擊播放便可朗讀。ui

動態權限申請

private static final int PERMISSION_REQUESTS = 1;
@Override 
public void onCreate(Bundle savedInstanceState) { 
    // Checking camera permission 
   if (!allPermissionsGranted()) {
       getRuntimePermissions();
   }
}
複製代碼

啓動朗讀界面

public void takePhoto(View view) {
        Intent intent = new Intent(MainActivity.this, ReadPhotoActivity.class);
        startActivity(intent);
}
複製代碼

在onCreate()法中調用createLocalTextAnalyzer()建立端側文本識別器

private void createLocalTextAnalyzer() {
        MLLocalTextSetting setting = new MLLocalTextSetting.Factory()
                .setOCRMode(MLLocalTextSetting.OCR_DETECT_MODE)
                .setLanguage("zh")
                .create();
        this.textAnalyzer = MLAnalyzerFactory.getInstance().getLocalTextAnalyzer(setting);
 
}
複製代碼

在onCreate()法中調用createTtsEngine ()建立語音合成引擎，並構建語音合成回調，用於處理語音合成結果，將語音合成回調傳入新建的語音合成引擎中

private void createTtsEngine() {
        MLTtsConfig mlConfigs = new MLTtsConfig()
                .setLanguage(MLTtsConstants.TTS_ZH_HANS)
                .setPerson(MLTtsConstants.TTS_SPEAKER_FEMALE_ZH)
                .setSpeed(0.2f)
                .setVolume(1.0f);
        this.mlTtsEngine = new MLTtsEngine(mlConfigs);
        MLTtsCallback callback = new MLTtsCallback() {
            @Override
            public void onError(String taskId, MLTtsError err) {
            }
 
            @Override
            public void onWarn(String taskId, MLTtsWarn warn) {
            }
 
            @Override
            public void onRangeStart(String taskId, int start, int end) {
            }
 
            @Override
            public void onEvent(String taskId, int eventName, Bundle bundle) {
                if (eventName == MLTtsConstants.EVENT_PLAY_STOP) {
                    if (!bundle.getBoolean(MLTtsConstants.EVENT_PLAY_STOP_INTERRUPTED)) {
                        Toast.makeText(ReadPhotoActivity.this.getApplicationContext(), R.string.read_finish, Toast.LENGTH_SHORT).show();
                    }
                }
            }
        };
        mlTtsEngine.setTtsCallback(callback);
}
複製代碼

設置讀取照片、拍照和朗讀按鈕

this.relativeLayoutLoadPhoto.setOnClickListener(new View.OnClickListener() {
            @Override
            public void onClick(View v) {
ReadPhotoActivity.this.selectLocalImage(ReadPhotoActivity.this.REQUEST_CHOOSE_ORIGINPIC);
            }
        });
this.relativeLayoutTakePhoto.setOnClickListener(new View.OnClickListener() {
            @Override
            public void onClick(View v) {
ReadPhotoActivity.this.takePhoto(ReadPhotoActivity.this.REQUEST_TAKE_PHOTO);
            }
        });
複製代碼

在拍照和讀取照片的回調當中啓動文本識別startTextAnalyzer()

private void startTextAnalyzer() {
        if (this.isChosen(this.originBitmap)) {
            MLFrame mlFrame = new MLFrame.Creator().setBitmap(this.originBitmap).create();
            Task<MLText> task = this.textAnalyzer.asyncAnalyseFrame(mlFrame);
            task.addOnSuccessListener(new OnSuccessListener<MLText>() {
                @Override
                public void onSuccess(MLText mlText) {
                    // Transacting logic for segment success.
                    if (mlText != null) {
                        ReadPhotoActivity.this.remoteDetectSuccess(mlText);
                    } else {
                        ReadPhotoActivity.this.displayFailure();
                    }
                }
            }).addOnFailureListener(new OnFailureListener() {
                @Override
                public void onFailure(Exception e) {
                    // Transacting logic for segment failure.
                    ReadPhotoActivity.this.displayFailure();
                    return;
                }
            });
        } else {
            Toast.makeText(this.getApplicationContext(), R.string.please_select_picture, Toast.LENGTH_SHORT).show();
            return;
        }
}
複製代碼

識別成功後，點擊播放按鈕便可開始播放

this.relativeLayoutRead.setOnClickListener(new View.OnClickListener() {
            @Override
            public void onClick(View v) {
                if (ReadPhotoActivity.this.sourceText == null) {
                    Toast.makeText(ReadPhotoActivity.this.getApplicationContext(), R.string.please_select_picture, Toast.LENGTH_SHORT).show();
                } else {
                    ReadPhotoActivity.this.mlTtsEngine.speak(sourceText, MLTtsEngine.QUEUE_APPEND);
                    Toast.makeText(ReadPhotoActivity.this.getApplicationContext(), R.string.read_start, Toast.LENGTH_SHORT).show();
                }
            }
        });
複製代碼