AI识别方言困难！专家探索用算法度量方言差距，提议构建统一框架
·确定一系列核心方言并为其建立自动语音识别（ASR）模型，当一种未知方言出现时，分析它距离这一系列核心方言中的哪些方言较近，就可以用合适的核心方言ASR模型识别出这种未知方言的内容。·方言应用的窗口期大约是二三十年。AI识别方言的实际困难大，我国方言体系之间甚至每一类方言内部的地域差异都普遍存在，各地方言常以口语形式流传，缺乏对应文字，并且难以收集，可用于模型训练的方言语料数据偏少。信也科技算法科学家倪博溢。10月24日，第八届信也科技杯算法大赛总决赛上，9支人工智能队伍角逐，探索利用AI技术识别和还原语
·确定一系列核心方言并为其建立自动语音识别（ASR）模型，当一种未知方言出现时，分析它距离这一系列核心方言中的哪些方言较近，就可以用合适的核心方言ASR模型识别出这种未知方言的内容。
·方言应用的窗口期大约是二三十年。AI识别方言的实际困难大，我国方言体系之间甚至每一类方言内部的地域差异都普遍存在，各地方言常以口语形式流传，缺乏对应文字，并且难以收集，可用于模型训练的方言语料数据偏少。
信也科技算法科学家倪博溢。
10月24日，第八届信也科技杯算法大赛总决赛上，9支人工智能队伍角逐，探索利用AI技术识别和还原语音数据中的方言信息，衡量不同方言之间的距离，推动智能语音识别技术发展。
方言距离是一个开放问题，例如人们通常在直觉上认为上海话与杭州话之间的距离比上海话和北京话之间的距离更近。从实用性来讲，距离越接近的两种方言，其自动语音识别引擎在交叉使用时也可以得到更好的效果。如此一来，利用少数核心方言的自动语音识别引擎来转写邻近的各种未知方言，就是方言ASR识别问题的潜在解决方案之一。
金融科技集团信也科技（NYSE：FINV）首席科学家王春平表示，本次大赛的目的是寻找数据驱动的最佳算法和模型，更好地理解方言和口音特征，提升用户体验；长期来讲，以核心方言来支持所有方言转写，找到最优的核心方言布局。
度量方言间的距离
我国幅员辽阔，人口众多，方言情况十分复杂，方言体系之间甚至每一类方言内部的地域差异都普遍存在。这导致在客户服务中，语音交流常常会遇到方言或口音挑战。
要将客服人员和客户沟通的过程中产生的大量语音数据进行完善的分析质检，就需要语音、NLP（自然语言处理）算法进行批量的处理、分析、质检。通常质检任务的第一步算法就是ASR转写。
但信也科技算法科学家倪博溢表示，ASR转写存在的一个实际问题是，通用ASR模型建立在普通话数据基础上，无法对方言进行准确转写。目前，商业解决方案还不能满足大部分方言的转写，大多数可用的汉语ASR模型要么不支持方言，要么只覆盖数量有限的方言。
理论上，最理想的解决方案是为每一种方言建立ASR引擎，只要有语音和对应的文字，就可以训练出每一种方言的模型，但这种方式成本高昂、耗时耗力。为一种方言单独建模，往往需要考虑该地区的方言是否较为统一、地区经济和科研实力是否允许。
倪博溢认为，工程上可行的方式是，首先确定一系列核心方言并为其建立ASR模型，当一种从未被AI识别过的方言出现时，分析它距离这一系列核心方言中的哪些方言较近，就可以用合适的核心方言ASR模型识别出这种未知方言。但是，“一种方言跟另一种核心方言究竟要多相似，才能用这种核心方言作为对照去识别其他方言，这是需要抉择的。”因此度量不同方言之间的距离是解决问题的关键。倪博溢表示，研究方言距离问题有助于进一步探索如何从语音层面建模方言、抽取方言特征、分析方言形成和演化机理，其结果也可以和传统方言分类方法做合理性的相互印证，并服务于更广泛的研究目标。
第八届信也科技杯算法大赛总决赛现场，选手在答辩。
那么方言之间距离的远近究竟要如何衡量？倪博溢表示，目前他们对方言的读音进行加权计算，得出两种方言在0-100之间的数值，代表距离远近，这是一个相对客观的指标。但判断不同方言的距离还有其他方式，此次信也科技杯算法大赛也是为了在思想碰撞中寻找衡量方言距离的优秀算法方案，拓展商用ASR接口的模型适用范围，推动核心方言引擎的布局，提高方言识别准确率。
方言底层逻辑+大模型
今年5月，Meta推出大规模多语言语音 （MMS） 模型，将文本转语音和语音转文本技术从大约100种语言扩展到1100多种，还可以识别4000多种口头语言。在国内，抖音上线了地方方言自动翻译功能，“一键”可将粤语、闽语、吴语、西南官话、中原官话等方言视频转化出普通话字幕。科大讯飞的方言识别语种扩充至23种，探索智能语音助力方言保护的路径。
语言是人类的特有属性，也是文化的载体。有的语言甚至只有少数几人掌握，一旦这些老人去世，这种语言也就消失了。语言一旦消失，文化无处可寻。
“方言是一个宝库，里边蕴含的东西太多了。如果只剩下普通话，就缺乏了语言的乐趣。但目前方言正在消失，方言应用的窗口期大约是二三十年，AI识别方言的实际困难很大，经济价值不大，所以很少有人愿意推动做这件事。”倪博溢表示，各地方言常以口语形式流传，缺乏对应文字，并且难以收集，可用于模型训练的方言语料数据偏少。今天已经拥有了互联网数据，如果能够取消数据获取的壁垒，将语音数据开放成公共资产，对研究者而言是一大利好。
尽管信也科技金融业务带来的客服语音积累了方言语料，但从大量语音中提取方言数据又是另一个挑战，从10000小时的语音数据中找出100小时的方言犹如大海捞针。倪博溢表示，识别方言的距离有助于解决这一难题，但这只是AI识别方言的解决方案之一，仍有其他解决方案可以探索。
在倪博溢看来，AI识别繁多的方言，不能依靠逐个击破，而是要研究方言的底层逻辑和特点，构建统一识别框架。同时大模型的预训练可以自我学习，探索借助大模型技术提高识别准确性。倪博溢提出一种设想，由于音标是固定的，能否利用国际音标序列标注各种方言，构建语言模型识别方言，他认为这或将解决绝大多数方言没有对应文字的问题。他也期待通过这次比赛建设长榜赛题（即持续性常态赛题，参赛者可长期打擂台），支持社区共建语音语料和模型算法，以较低成本服务于方言保护。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Premiere Pro 是面向专业视频制作的非线性剪辑软件，提供多轨时间线、调色、音频处理、字幕、代理工作流和多格式输出能力，并可与 After Effects、Audition、Photoshop 及 Frame.io 协同
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理工具，可在 Windows 上完成照片修饰、选区抠图、图层合成、文字排版、绘画及生成式编辑。软件采用订阅授权，由 Creative Cloud 管理安装、更新与许
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Adobe Bridge 是 Adobe 推出的创意资产管理工具，可集中预览、分类和查找照片、视频、PDF及多种设计文件，并支持元数据、关键词、评级、批量重命名和格式导出。它可与 Photoshop、Illustrator 等应用衔接，
Adobe Lightroom Classic 是面向 Windows 桌面摄影工作流的照片管理与无损编辑工具，可通过目录集中整理大型图库，并完成 RAW 显影、局部蒙版、批量调整、打印和多格式导出。它强调本地文件管理与精细控制，
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Adobe After Effects 是面向动态图形、动画与影视视觉特效制作的专业工具，可完成关键帧动画、图层合成、遮罩跟踪、抠像、文字动画和二维三维元素整合。Windows 版通过 Adobe Creative Cloud 安装及更新，
Adobe Media Encoder 是 Adobe 面向视频与音频制作流程提供的专业编码和转码工具，可批量处理媒体文件、创建代理、套用输出预设并监控文件夹自动执行任务。它与 Premiere、After Effects、Audition