記一次智能搜題軟件的開發

很早以前曾經作過一個圖片識別的項目，當時有一項功能是整題識別，即傳入數學題的截圖，可經過ocr技術識別出圖片內容，但當時只限於識別文字，並未做更深一步的處理，如今想來實用性並不強，畢竟你們更須要的是解題思路，而不是讓AI讀出題幹（題乾的文字，我都認識，連起來我就不知道怎麼下手去作了 = = ），最近恰好有時間，因而嘗試來爲有娃的朋友作一個搜題神器。

鑑於以前整題識別的開發使用有道智雲的良好體驗，我再次打開其官方文檔，果真找到了拍照搜題服務的開放API，輕車熟路地作了一個簡單的批量搜題demo, 下面分享一下開發過程。

調用API接口的準備工做

首先，是須要在有道智雲的我的頁面上建立實例、建立應用、綁定應用和實例，獲取到應用的id和密鑰。具體我的註冊的過程和應用建立過程詳見文章

開發過程詳細介紹

下面介紹具體的代碼開發過程。

API接收的參數較爲簡單：

字段名	類型	含義	必填	備註
q	text	要識別的圖片，須要Base64編碼	True	必須是Base64編碼(baes64前邊不要加上data:image/png;base64)
appKey	text	應用ID	True	可在應用管理查看
salt	text	UUID	True	uuid
curtime	text	當前UTC時間戳（秒）	true	TimeStamp
sign	text	簽名 sha256(應用ID+input+salt+curtime+應用密鑰);input的生成規則見表下的備註	True	sha256(應用ID+input+salt+curtime+應用密鑰)
signType	text	簽名類型	true	v2
type	text	上傳類型， 僅支持base64上傳，請填寫固定值1	True	1
searchType	text	搜索類型，img爲圖片搜題,text爲文本搜題	false	img

簽名sign生成方法以下：
signType=v2；
sign=sha256(應用ID+input+salt+curtime+應用密鑰)。
其中，input的計算方式爲：input=q前10個字符 + q長度 + q後10個字符（當q長度大於20）或 input=q字符串（當q長度小於等於20）。

須要注意的是，API對題目圖片有以下要求：

規則	描述
傳輸方式	HTTPS
請求方式	POST
字符編碼	統一使用UTF-8編碼
請求格式	表單
響應格式	JSON
圖片格式	jpg/png/bmp
圖片大小	1MB如下
文字長度	50個字符如下

Demo開發：

這個demo使用python3開發，包括maindow.py，QuestionClass.py，OcrQuestion.py 三個文件，分別爲demo的界面、界面邏輯處理和ocr搜題方法的封裝。

1. 界面部分：

   UI 部分較簡單，主要功能爲選擇待題目圖片、選擇批改結果存儲路徑。其佈局代碼以下：

   root=tk.Tk()
   root.title(" youdao ocr question test")
   frm = tk.Frame(root)
   frm.grid(padx='50', pady='50')
   
   # 選題和結果保存按鈕
   btn_get_file = tk.Button(frm, text='選擇題目圖片', command=get_files)
   btn_get_file.grid(row=0, column=0, ipadx='3', ipady='3', padx='10', pady='20')
   text1 = tk.Text(frm, width='40', height='10')
   text1.grid(row=0, column=1)
   btn_get_result_path=tk.Button(frm,text='選擇搜索結果路徑',command=set_result_path)
   btn_get_result_path.grid(row=1,column=0)
   text2=tk.Text(frm,width='40', height='2')
   text2.grid(row=1,column=1)
   
   
   # 搜題按鈕
   btn_sure=tk.Button(frm,text="搜題",command=search_question_files)
   btn_sure.grid(row=4,column=1)
   
   root.mainloop()

   其中啓動按鈕btn_sure的綁定事件search_question_files()來根據題目照片搜題，並在完成後打開結果存儲路徑:

   def search_question_files():
       question.start_ocr()
       os.system('start '+question.result_path)

2. QuestionClass.py

   這裏主要配合UI的邏輯，調用搜題方法。

   首先定義一個類Question:

   class Question():
       def __init__(self,file_paths,result_path):	
           self.file_paths=file_paths		# 題目照片存儲路徑
           self.result_path=result_path	# 結果路徑

   start_ocr()方法調用connect()方法依次搜題並保存結果。

   def start_ocr(self):
       for file_path in self.file_paths:
           result=connect(file_path)
           print(file_path)
          self.save_result_format(file_path,result)

   從OcrQuestion.py的connect方法獲取的結果是json格式，save_result_format()方法,解析從接口取得的接口，格式整理，保存結果到html：

   def save_result_format(self,file_path,result):
           result_file_name=os.path.basename(file_path).split('.')[0]+'_result.html'
           f=open(self.result_path+'/'+result_file_name,'w',encoding='utf-8')
           result_json= json.loads(result)
           if result_json['errorCode'] == '0':
               data=result_json['data']
               questions=data["questions"]
               text=data["text"]
               f.write("題目識別：<br/>"+text)
               i=0
               for answers in questions:
                   i=i+1
                   subject="科目："+answers["subject"]+"<br>"
                   answer="答案：" +answers["answer"]+"<br>"
                   analysis="分析："+answers["analysis"]+"<br>"
                   knowledge="知識點："+answers["knowledge"]+"<br>"
                   print(subject+answer+analysis+knowledge)
                   result_each="<h3>搜題結果"+str(i)+"<br></h3>"
                   result_each=result_each+subject+answer+analysis+knowledge+"<br>=================這是一條分隔符============<br>"
                   f.write(result_each)
           else:
               f.write("result error code:"+result_json['errorCode'])

3. OcrQuestion.py

   OcrQuestion.py 中封裝請求ocr搜題API的方法，其中最主要的方法是connect()：

   def connect(pic_path):
       f = open(pic_path, 'rb')  # 二進制方式打開圖文件
       q = base64.b64encode(f.read()).decode('utf-8')  # 讀取文件內容，轉換爲base64編碼
       f.close()
   
       data = {}
       data['q'] = q
       data['signType'] = 'v2'
       curtime = str(int(time.time()))
       data['curtime'] = curtime
       salt = str(uuid.uuid1())
       signStr = APP_KEY + truncate(q) + salt + curtime + APP_SECRET
       sign = encrypt(signStr)
       data['appKey'] = APP_KEY
       data['salt'] = salt
       data['sign'] = sign
   
       response = do_request(data)
       result=response.content.decode('utf-8')
       print(result)
       return result

   API響應結果示例

   {
       "data":{
           "questions":[
               {
                   "score":0.9875,
                   "answer":"D",
                   "subject":"歷史",
                   "id":"a9db8f1252778836c99204e5cf9d7738",
                   "analysis":"",
                   "type":"",
                   "content":"學者們認爲，五四運動標誌着中國民族意識極大覺醒，表如今<br />A．近代民族民主思想開始傳播 B ．揭開了反帝反封建鬥爭的序幕<br />C．開啓了近代中國的思想啓蒙 D ．各階層民衆的普遍動員和參與",
                   "knowledge":""
               },
               {
                   "score":0.9875,
                   "answer":"D <br>注意題幹「中國民族意識極大覺醒」，結合所學可知，在五四運動過程當中，學生、工人、商人都投入到之中，即各階層民衆的普遍動員和參與，符合題意，故D項正確． <br>在戊戌變法先後，中國民族民主思想就已經開始傳播，故A項錯誤． <br>五四運動是一次反帝反封的愛國運動，但不是反帝反封鬥爭的開始，在這時期尚未明確提出反帝反封的革命綱領，故B項錯誤． <br>中國近代是在新文化運動期間傳播民主思想，進行了思想的啓蒙，故C項錯誤． <br>故選D．",
                   "subject":"歷史",
                   "id":"2f8b9c814f064131cc7b2bead54f15da",
                   "analysis":"本題考查五四運動．考查五四運動的意義．考查學生對基礎知識的識記、運用能力．",
                   "type":"選擇題",
                   "content":"學者們認爲，五四運動標誌着中國民族意識極大覺醒，表如今(　　) <p class="question_option">A.近代民族民主思想開始傳播<br/>B.揭開了反帝反封建鬥爭的序幕<br/>C.開啓了近代中國的思想啓蒙<br/>D.各階層民衆的普遍動員和參與 </p>",
                   "knowledge":"/人類政治文明發展史/近代中國反侵略、求民主的潮流/五四運動"
               },
               {
                   "score":0.9875,
                   "answer":"D <br>【答案】 <p>D</p> <p></p>",
                   "subject":"歷史",
                   "id":"48a28969d882f20b04ffec15c8f1b94c",
                   "analysis":"<p>題目問的五四運動，在戊戌變法先後，中國民族民主思想就已經開始傳播，因此A不正確。五四運動是一次反帝反封的愛國運動，但不是反帝反封鬥爭的開始，在這時期尚未明確提出反帝反封的革命綱領，因此B不正確。中國近代是在新文化運動期間傳播民主思想，進行了思想的啓蒙，因此C不正確。在五四運動 過程當中，學生、工人、商人都投入到之中，因此D正確。</p> <p> </p>",
                   "type":"選擇題",
                   "content":"<p>學者們認爲，五四運動標誌着中國民族意識極大覺醒，表如今</p> <p></p> <p class="question_option">A.近代民族民主思想開始傳播<br/>B.揭開了反帝反封建鬥爭的序幕<br/>C.開啓了近代中國的思想啓蒙<br/>D.各階層民衆的普遍動員和參與 </p>",
                   "knowledge":"/人類政治文明發展史/近代中國反侵略、求民主的潮流"
               }
           ],
           "text":"學者們認爲,五四運動標誌着中國民族意識極大覺醒,表如今 A,近代民族民主思想開始傳播B揭開了反帝反封建鬥爭的序幕 C,開啓了近代中國的思想啓蒙D。 各階層民衆的普遍動員和參與"
       },
       "errorCode":"0"
   }

   響應結果是以json形式輸出，包含字段以下表所示：

字段	含義
errorCode	識別結果錯誤碼，必定存在。 詳細信息可參見 錯誤代碼列表
data	數據
-text	圖片題目OCR結果
-questions	相關題目
--id	答案
--content	題目內容
--answer	答案
--analysis	解析
--knowledge	知識點

效果展現

demo操做演示

來看看結果吧：

數學題搜索結果展現：

歷史題搜題結果

總結

有道智雲的總體搜索API文檔清晰，題目範圍極廣並且能夠自動判斷學科，搜索結果可謂「觸類旁通」，會返回幾個可能的相近題目，很具備參考價值，值得推薦！數學解答題會返回相關圖片、公式等，用在web項目中效果灰常不錯。

項目地址：https://github.com/LemonQH/OcrQuestion