打開題拍拍，首先映入眼簾的是一幅拍照畫面。當(dāng)你將習(xí)題拍攝入框時(shí)，便可立即得到相匹配的題目解析。別看這個(gè)過程如此迅捷，背后的學(xué)問可不簡(jiǎn)單。這個(gè)識(shí)別圖像里文字的技術(shù)叫作OCR，全稱是Optical Character Recognition，中文名為光學(xué)字符識(shí)別。

OCR這項(xiàng)技術(shù)其實(shí)并不新鮮，早在1929年德國(guó)科學(xué)家Tausheck便提出了OCR技術(shù)的概念。隨后在六七十年代世界各國(guó)就開展了系統(tǒng)的研究。但由于識(shí)別率和設(shè)備成本等問題，早期的OCR軟件一直離民用很遠(yuǎn)。進(jìn)入數(shù)字時(shí)代后，幫助機(jī)器理解物理世界成為了時(shí)代命題，OCR作為數(shù)字世界的眼睛，其重要性也在不斷提升，圍繞OCR的技術(shù)日新月異，但大多解決的仍是通用印刷體的識(shí)別問題。

教育場(chǎng)景需要的OCR技術(shù)有其特殊之處。學(xué)生將手機(jī)鏡頭對(duì)準(zhǔn)的，往往是一張卷子或者一頁(yè)練習(xí)冊(cè)。同時(shí)入框的不僅有多個(gè)習(xí)題，還會(huì)有很多學(xué)生答題的手寫筆跡，甚至還有混在一起的文字與公式（包括手寫算式）。如果沒有專為教育場(chǎng)景研究的OCR技術(shù)，識(shí)別這些特殊場(chǎng)景中的文字往往是很難做到的。因此，好未來自研出了一套適合智慧教育的OCR技術(shù)。

從零到一  萬丈高樓平地起

好未來AI中臺(tái)成立伊始，就將教育OCR作為重點(diǎn)發(fā)力的研究領(lǐng)域之一。教育OCR包括印刷OCR、手寫OCR、公式OCR、表格OCR、版面結(jié)構(gòu)化識(shí)別等等。彼時(shí)，無論學(xué)術(shù)界還是教育行業(yè)內(nèi)，都沒有成熟的公式識(shí)別方案。因此，好未來AI中臺(tái)將公式識(shí)別技術(shù)作為研究的重點(diǎn)，開始了從零向一摸索的過程。

好未來OCR技術(shù)應(yīng)用于教育場(chǎng)景的能力類型

公式識(shí)別具有鮮明的行業(yè)色彩和行業(yè)壁壘。

公式識(shí)別算法的基礎(chǔ)是數(shù)據(jù)。在這一方面，好未來多年的教育積累有了用武之地，各年級(jí)、各學(xué)科五花八門的真實(shí)習(xí)題為AI中臺(tái)提供了充足的數(shù)據(jù)“彈藥”。OCR團(tuán)隊(duì)在短時(shí)間內(nèi)基于CRNN（卷積循環(huán)神經(jīng)網(wǎng)絡(luò)，一個(gè)識(shí)別場(chǎng)景文字的常用方法），創(chuàng)新研發(fā)出能支持簡(jiǎn)單公式的序列識(shí)別算法和基于公式字符分離的重建識(shí)別算法。這兩大能力，讓AI可以初步理解試卷上的公式和文字，而且可以像人腦一樣從左到右、從上到下地進(jìn)行結(jié)構(gòu)化智能理解。

雖然這時(shí)的識(shí)別準(zhǔn)確率還有待提升，但標(biāo)志著算法研發(fā)進(jìn)入了第二階段——探索印刷公式識(shí)別的最佳方案，提升準(zhǔn)確率。好未來吸收學(xué)術(shù)界的公式研究成果，在兩個(gè)月內(nèi)通過數(shù)百萬個(gè)數(shù)據(jù)驗(yàn)證算法可行性，最終形成了有特色的算法框架，引入增強(qiáng)語義和避免漂移的網(wǎng)絡(luò)結(jié)構(gòu)，并提升算法對(duì)模糊數(shù)據(jù)、多層嵌套數(shù)據(jù)的泛化性。經(jīng)過攻堅(jiān)，此階段的印刷公式識(shí)別在學(xué)生拍照搜題的核心場(chǎng)景中得以應(yīng)用并大幅提升理科題目的搜索正確率。與此同時(shí)，好未來在教育場(chǎng)景的公式數(shù)據(jù)盲測(cè)中達(dá)到領(lǐng)先水平。

好未來公式識(shí)別的第三階段最具挑戰(zhàn)性。在學(xué)生實(shí)際使用中，還會(huì)出現(xiàn)手寫風(fēng)格不同、字跡潦草、隨意多行、字體大小不一和角度傾斜等各種問題，特別是低年級(jí)的學(xué)生手寫筆跡相比成年人還有顯著差異。

復(fù)雜的實(shí)際答題圖片好未來OCR依然能準(zhǔn)確識(shí)別

AI中臺(tái)與各業(yè)務(wù)線合作，為OCR提供了學(xué)生學(xué)習(xí)和作答的海量且真實(shí)的筆跡數(shù)據(jù)，幫助算法實(shí)現(xiàn)數(shù)據(jù)從0到百萬的突破。同時(shí)，算法也積極開展多項(xiàng)創(chuàng)新，不僅實(shí)現(xiàn)多風(fēng)格數(shù)據(jù)遷移和增強(qiáng)，也在多行識(shí)別中取得技術(shù)突破并形成技術(shù)優(yōu)勢(shì)。

截至目前，好未來自研教育OCR已經(jīng)實(shí)現(xiàn)了通用公式識(shí)別，即適用印刷文字與手寫文字混合、多行文字與高級(jí)公式混合等復(fù)雜場(chǎng)景，很好地支持了題拍拍的印刷手寫一體化拍搜功能。

從90%到99.99%  行百里者半九十

解決了能力準(zhǔn)確性和多樣性的問題，還需要達(dá)成可用性——又要穩(wěn)定又要快。

先從“穩(wěn)定”講起。

在業(yè)內(nèi)有一句話：“搜索的準(zhǔn)確率每提升1%，所需的題庫(kù)成本就要以千萬計(jì)”。作為一家有18年教學(xué)經(jīng)驗(yàn)和數(shù)據(jù)沉淀的科技教育公司，好未來將技術(shù)中臺(tái)與前臺(tái)業(yè)務(wù)相結(jié)合，使得技術(shù)人既能快速感知到用戶需求，又能得到大量教育數(shù)據(jù)的反哺，盡可能以技術(shù)和數(shù)據(jù)驅(qū)動(dòng)降低成本。于是，AI中臺(tái)和題拍拍團(tuán)隊(duì)聯(lián)合，挖掘可以為拍照搜題“提升1%”的每一個(gè)技術(shù)點(diǎn)。合作至今，教育OCR為這每一個(gè)“1%”展開了多項(xiàng)的技術(shù)專題攻堅(jiān)，形成一系列的創(chuàng)新實(shí)踐并成功落地。教育OCR永遠(yuǎn)保持對(duì)技術(shù)的追求，持續(xù)開拓新的技術(shù)能力，為智慧教育提供技術(shù)支撐。

AI中臺(tái)和題拍拍組成了高度協(xié)同的One team機(jī)制，雙方出專人專項(xiàng)每周一起研究前線最新問題，并制定最高標(biāo)準(zhǔn)的可用性推進(jìn)目標(biāo)。雙方達(dá)成了一個(gè)有趣的“對(duì)賭協(xié)議”：在規(guī)定時(shí)間內(nèi)，如果AI中臺(tái)每多實(shí)現(xiàn)一個(gè)9（即可用性從實(shí)現(xiàn)90%到99%、再到99.9%、99.99%……），則由題拍拍團(tuán)隊(duì)提供“美食激勵(lì)”，反之則由AI中臺(tái)承擔(dān)。

雙方以高技術(shù)標(biāo)準(zhǔn)堅(jiān)守教育初心，懷著創(chuàng)業(yè)的激情擼起袖子加油干，當(dāng)遇到難以解決的艱難問題時(shí)，在線會(huì)議常常從晚上七點(diǎn)不知不覺就開到了半夜兩三點(diǎn)。會(huì)議從公司到地鐵，再開到家中，地鐵的速度根本追不上每個(gè)參會(huì)者頭腦風(fēng)暴的速度。

然而當(dāng)99.99%可用性目標(biāo)實(shí)現(xiàn)的那一刻，投身其中的研發(fā)老師們反而沒有預(yù)想中的歡呼雀躍和狂歡慶祝，“大家互相看了看對(duì)方臉上的黑眼圈，腦子里想的是還有更多的技術(shù)挑戰(zhàn)等待去解決，這大概就是水到渠成吧?！币晃豁?xiàng)目組伙伴回想起那個(gè)時(shí)刻，平靜地說。

這是讓每個(gè)參與者都難忘的一段飛馳，非齊心協(xié)力的共創(chuàng)精神無以到達(dá)，如好未來的價(jià)值觀所言——為熱愛全力以赴。

千鈞一發(fā)  好產(chǎn)品不違人心

再來講講“快”。

為了盡可能為產(chǎn)品提速，算法的每一模塊都被單獨(dú)拎出來重構(gòu)提速，資源占用優(yōu)化提升了百分之三十五。好未來AI中臺(tái)的技術(shù)人用一周時(shí)間便做到了算法層面的毫秒級(jí)響應(yīng)。也就是說，如果題庫(kù)中已收錄，學(xué)生最慢也可以在一秒以內(nèi)獲得滿意的解答。

好未來的另一條很重要的價(jià)值觀是：“一切從用戶出發(fā)”。產(chǎn)品好不好，歸根結(jié)底還是要看能否經(jīng)得起用戶的考驗(yàn)。

一位媽媽講述了她的真實(shí)故事。

最開始，這位母親下載了市面上許多拍照搜題類軟件，但是一個(gè)月后，她只留下了題拍拍。這是因?yàn)樗l(fā)現(xiàn)，別的拍照搜題的app在搜索整張卷子的題目時(shí)，框選每道題的位置都需要手動(dòng)二次調(diào)整校準(zhǔn)，而題拍拍可以精準(zhǔn)框選并直接生成每道題的解析，這一個(gè)小小的技術(shù)精進(jìn)卻幫助這位母親節(jié)省了大量輔導(dǎo)孩子的時(shí)間。

這一位用戶的最終選擇，離不開好未來產(chǎn)研人對(duì)技術(shù)和體驗(yàn)的極致追求。

自動(dòng)分割框選出不同試題

題拍拍是AI中臺(tái)的一段征程，AI中臺(tái)已將其中“久經(jīng)考驗(yàn)“的教育OCR技術(shù)形成Hawkeye教育通用OCR解決方案，涵蓋中英文識(shí)別和公式識(shí)別，支持手寫和印刷，并將支持表格識(shí)別和重建還原，服務(wù)于中英文作文批改、題庫(kù)試卷錄入等更多業(yè)務(wù)場(chǎng)景。據(jù)悉，Hawkeye解決方案在印刷體識(shí)別、手寫體識(shí)別、公式識(shí)別、表格識(shí)別、整頁(yè)框選、綜合識(shí)別的六大核心能力指標(biāo)里，已全部處于市場(chǎng)領(lǐng)先水平。

開放共創(chuàng)  智慧教育全速啟航

好未來不斷投入對(duì)教育OCR的研究，也吸引著學(xué)術(shù)屆、技術(shù)圈對(duì)教育領(lǐng)域OCR技術(shù)的重視。2020年9月，好未來就以“教育手寫公式識(shí)別”為賽題，依托智慧教育國(guó)家新一代人工智能開放創(chuàng)新平臺(tái)，聯(lián)合科技部火炬高技術(shù)產(chǎn)業(yè)開發(fā)中心、北京市科學(xué)技術(shù)委員會(huì)，舉辦了“第五屆中國(guó)創(chuàng)新挑戰(zhàn)賽·智慧教育專題賽”。

賽事吸引了來自清華、北大、中科大等高校，阿里、百度等互聯(lián)網(wǎng)企業(yè)，以及中科院計(jì)算所、中科院自動(dòng)化所等研究院所約數(shù)百支隊(duì)伍參賽，參賽隊(duì)伍人才濟(jì)濟(jì)，涵蓋國(guó)際賽事的冠軍團(tuán)隊(duì)、中國(guó)圖形圖象學(xué)學(xué)會(huì)（CSIG）常務(wù)理事及專委會(huì)主任等眾多專業(yè)選手與優(yōu)秀的OCR團(tuán)隊(duì)。

比賽中，好未來為業(yè)界提供了20萬張各教育場(chǎng)景下的手寫公式訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)，以遠(yuǎn)超各個(gè)開源學(xué)術(shù)數(shù)據(jù)集的數(shù)據(jù)體量和復(fù)雜性，為參賽團(tuán)隊(duì)提供了充足的“彈藥”，助推行業(yè)伙伴共同碰撞出手寫公式識(shí)別技術(shù)新的發(fā)展方向。

同時(shí)，好未來依托正在承建的智慧教育國(guó)家新一代人工智能開放創(chuàng)新平臺(tái)，將優(yōu)秀的教育OCR能力逐步面向全行業(yè)開放，幫助教育行業(yè)內(nèi)暫時(shí)沒有AI、沒有OCR能力的機(jī)構(gòu)和創(chuàng)業(yè)者快速發(fā)展。

而這只是故事的開始。在向極致攀登的路上，挑戰(zhàn)只會(huì)更多，沒有捷徑。愛和科技，終將指引我們抵達(dá)教育事業(yè)的星辰大海。