谷歌致力于讓每個人能平等地

享受科技帶來的便利

一起深入 2024 Google 開發(fā)者大會

了解谷歌如何通過 AI 技術(shù)支持公益事業(yè)

打造讓人人受益的社會公益方案

共創(chuàng)包容未來

普惠設(shè)計是無障礙設(shè)計的核心思想，旨在消除障礙，讓每個人都能平等地使用產(chǎn)品和服務(wù)。在中國，多元社群使用谷歌技術(shù)研發(fā)社會公益項目，包括用谷歌 AI 技術(shù)構(gòu)建的慧眼識教、智引線、手語村、聽語精靈、Galaxy Explorer 等項目，為有障人群打造更加平等的生活和學(xué)習(xí)環(huán)境。

對視障兒童來說，看清世界十分困難，但這并不能阻止他們探索世界。Google 公益的志愿者洞察到這點后，協(xié)助愛百福公益基金會落地慧眼識教項目，利用 Google Cloud、MediaPipe 圖像分割、Google Cloud Vertex Al 中的 Gemini 1.5 Flash 生成視頻腳本和 Imagen 2 圖片編輯，以及 Text-to-speech 等多個 Google AI 技術(shù)協(xié)作，高效生產(chǎn)了主題豐富、圖文并茂、帶有聲音講解、適合視障兒童們學(xué)習(xí)的視頻，幫助老師們提升教學(xué)效果。

愛百福的老師們透露，他們計劃將慧眼識教產(chǎn)品分享給來自印度、菲律賓、馬來西亞的多家機構(gòu)，以幫助全球更多的視障兒童。

慧眼識教

為了幫助視障人士自由跑步，上海有人公益基金會與谷歌公益志愿者在谷歌開源項目 Project Guideline 的基礎(chǔ)上，積極探索了更適合中國視障人士的無障礙解決方案：智引線。智引線結(jié)合了 TensorFlow 的深度視覺學(xué)習(xí)模型，利用手機攝像頭捕捉并分割引導(dǎo)線，創(chuàng)建實時更新的虛擬地圖為跑者引路，并通過耳機用空間音頻技術(shù)為跑者糾正路線，使視障跑者得以享受獨立跑步的樂趣。

智引線

有這樣一群人，他們的第一語言是中國手語，但是他們卻經(jīng)常身處口語環(huán)境中交流，面臨巨大的溝通障礙。為了讓他們能夠自由地與他人交流，北京聯(lián)合大學(xué)基于 Google Project Shuwa 開源項目構(gòu)建了手語村（中國手語版）網(wǎng)站。這個項目全部由聽障開發(fā)者獨立開發(fā)，借助 MediaPipe Holistic 模型和 TensorFlow 框架等技術(shù)，能夠?qū)崟r識別和分析身體語言、面部表情和手語動作，使用機器學(xué)習(xí)模型來識別和預(yù)測手語的含義，并提供學(xué)習(xí)反饋，幫助學(xué)習(xí)者更快掌握正確的手語表達。同時結(jié)合虛擬旅游體驗，學(xué)習(xí)者可以通過游戲化的方式了解聽障群體，促進無障礙溝通和理解。

手語村

調(diào)查顯示，聽力障礙會影響到兒童語言能力的發(fā)展，妨礙其正常學(xué)習(xí)和生活，即使通過助聽設(shè)備重建聽力也不意味著他們能夠很好地和世界溝通。為了給聽障兒童提供陪伴式口語訓(xùn)練，福州大學(xué)與廈門大學(xué)的開發(fā)者們在谷歌中國教育合作項目的資助和支持下開發(fā)了聽語精靈。這個項目包括“能說會道”、“妙語連珠”和“對答如流”三個主要的功能模塊。

“能說會道”基于谷歌 TensorFlow Hub 中的預(yù)訓(xùn)練模型，對圖像進行目標識別，獲取物品信息，再借助數(shù)字人技術(shù)生成帶有口型引導(dǎo)的聲音輸出，為孩子提供正確的發(fā)音指導(dǎo)。目前團隊正在嘗試結(jié)合 Gemma 模型和 Text-to-speech 等技術(shù)完善其他模塊，進一步為聽障兒童提供互動性和沉浸式的語言學(xué)習(xí)體驗。

聽語精靈

據(jù)統(tǒng)計，全球約有 7000 萬人受到自閉癥的影響，每 160 名兒童中就有 1 人患病。幫助孩子們理解世界是干預(yù)和治療自閉癥的前提，但由于教師和資源有限，自閉癥兒童恢復(fù)社交并非易事。Galaxy Explorer 項目誕生于思否主辦、Google 作為內(nèi)容合作方的 “Innovate for Good” 善創(chuàng)未來黑客馬拉松，靈感源自于與自閉癥兒童的繪畫互動。Spark Lab 團隊洞察到自閉癥兒童能與繪畫產(chǎn)生深度鏈接，因此將 Google Cloud Vertex AI 提供的 Gemini 模型和 TEACCH 教學(xué)方法結(jié)合，利用 AI 生成多輪個性化故事卡片和視頻，連成完整故事；并通過 Text-to-speech 為視頻配音，讓孩子們在互動中提高社會認知和情緒表達能力。同時 Galaxy Explorer 還提供數(shù)據(jù)化分析報告，幫助家長們更好地理解和支持孩子的發(fā)展。

Galaxy Explorer

在谷歌，我們不止希望能夠幫助有障人群更好地生活，也致力于為所有用戶開發(fā)更具包容性的產(chǎn)品。如 Pixel 手機的 Guided Frame-引導(dǎo)入鏡功能，通過震動與語音提示的方式不僅能為視障或低視力人士提供拍攝指導(dǎo)，同樣也能幫助使用三腳架或后置鏡頭自拍、看不到屏幕的所有人；Project Relate 通過實時識別說話者語音，使用標準語音重述，幫助語言障礙人士更輕松地與他人交流?！盀樗腥舜蛟旄玫漠a(chǎn)品體驗”這一精神貫穿無障礙科技分享會和包容性設(shè)計工作坊始終。嘉賓們在無障礙科技分享會中，結(jié)合實踐案例分享了如何通過 Google 技術(shù)和用戶洞察開發(fā)更具包容性的產(chǎn)品，以及如何助力中國開發(fā)者進行公益創(chuàng)新。在包容性設(shè)計工作坊中，嘉賓分享了無障礙設(shè)計的重要性，開發(fā)者在導(dǎo)師組織和鼓勵下進行了無障礙設(shè)計的嘗試。

現(xiàn)場精彩一覽

除了提供無障礙支持，助力開發(fā)者開發(fā)包容性產(chǎn)品，谷歌還與大學(xué)攜手，用谷歌技術(shù)為中國的區(qū)域環(huán)境保護和非遺文化傳承貢獻力量。

草場豐盛意味著牦牛能吃飽長大，牧民有更好收入。但高原地區(qū)季節(jié)天氣多變，對牧草質(zhì)量和牦牛生長帶來極大影響。西南民族大學(xué)通過 Flutter 開源跨平臺框架和 TensorFlow 技術(shù)，開發(fā)了高原智牧助手，幫助紅原縣的育種專家高效管理數(shù)據(jù)。

該應(yīng)用不僅能收集分析牧草種子數(shù)據(jù)和檢測估算牦牛體重，還設(shè)計了放牧規(guī)劃模塊和草蓄平衡模塊，幫助牧民記錄草場情況。利用谷歌 ARCore 技術(shù)，牧民搭建虛擬草場，能夠更直觀地學(xué)習(xí)草蓄平衡知識，在提高科研效率同時，促進了生態(tài)環(huán)境的可持續(xù)發(fā)展，助力高原牧民的幸福生活。

高原智牧助手

此外，Google 技術(shù)還為廣西非物質(zhì)文化遺產(chǎn)的保護和傳承貢獻力量。廣西民族大學(xué)利用 BERT 自然語言處理模型 和 TensorFlow 機器學(xué)習(xí)框架，基于時間空間關(guān)聯(lián)模型，搭建了一個多維度非遺文化體驗平臺。這一創(chuàng)新平臺能幫助用戶探索非遺知識，根據(jù)時間節(jié)氣了解民俗與節(jié)日特色，甚至能以“傳唱非遺”的形式進一步了解少數(shù)民族語言和歷史，助力傳統(tǒng)文化煥發(fā)新生。

谷歌堅持以科技之力，幫助不同人群獲取生活便利和平等學(xué)習(xí)、工作機會，助力中華藝術(shù)文化傳承，攜手開發(fā)者們共創(chuàng)美好、平等、包容的未來。

*部分 Google AI 技術(shù)適用于出海開發(fā)者

2024 Google 開發(fā)者大會

專題演講視頻持續(xù)更新中

掃碼直達官網(wǎng)

觀看精彩回放