自主创新 产业化品牌的必经之路
2009-04-20 千龙网
我国开始尝试用技术手段辅助治理整顿互联网内容,一款中文语义处理文字过滤软件被工业和信息化部买断,供全国青少年免费使用;
我国机器翻译技术有望突破“翻译雪线”,“语义处理技术”在专利检索领域中成功应用;
我国农业信息精准检索取得“历史性”进展,农业信息公开化有望实现;
互联网内容海量审查技术瓶颈已经攻克,智能识别替代人工在望……
近日,我国文字处理、机器翻译、信息检索、信息审查技术取得重大突破。困扰业界多年的中文语义处理技术走出理论研究阶段,已大规模应用在多个信息化领域并得到市场高度评价。让人难以想象的是引领这一系列技术突破仅仅是一家民营研究院——北京大正语言研究院。
“当年重大领域突破都是以科研院所为核心,并且都以国家计划立项的方式进行,完全由企业自主研发并主导并成功应用在多个方面的,北京大正语言应是第一个。北京大正语言将开创出一条全新的由企业引导的产业化创新之路!”我国中文信息化学会的一位负责人如此感慨!
特殊领域必须依靠原始创新
30年来,我国的中文信息处理取得了非常的产业化方面的成果,从输入输出、文字编辑、排版,文字识别,信息检索翻译,语音识别合成,少数民族处理等等,都涌现了一批市场上的成功的产品和企业。
然而,“汉语在中国,但是汉语学在西方”的现象并未获得大的改观,反而因百度和Google两大搜索领域巨头的出现得到了进一步的加强。
完全依赖对方的技术,采用基于拉丁语系的“关键词”技术,以此来分析理解中文,还是开创一条全新的中文理解之路?从事过语言研究大正语言董事长陈小盟对此有深刻的见解。
首先,从技术本身来看,中文本身的特点决定它与西语之间巨大的区别。我国著名的语言信息处理专家陈力为院士就曾指出:“汉语是自然语言中最高层次的语言。层次越高越要依靠语义和语域。要解决计算机处理汉语的问题,必须在语义研究上下一番功夫。从汉语信息处理的需要看,当前急迫需要突破的是语义问题。”如果不从语义处理上下功夫,仅仅着眼于词这样的表面功夫,必将把中文信息处理研究引入死胡同。
其次,从市场来看,采用跟随策略,不仅面对着强大的对手,还要面对来自用户使用习惯的“锁定”效应。关于这一点,著名制度经济学家诺思提出的“路径依赖”理论很好地解释了这一切:在制度变迁过程中,存在着自我强化的机制,这种机制会促进人们在选择的初始路径之后 ,在既定方向的发展中自我强化,而这种强化却不利于制度的再次创新。更直白地说。“锁定”效应就是当人们最初习惯了某种产品,并花了大量的时间、精力进行学习、实践,并对其相当熟悉的时候,即使让他面对一个更好的产品,他也不会轻易地马上接受,而是继续选择自己熟悉的产品。避开竞争对手占据的“红海”,在“蓝海”中寻找发展空间才是明智之选。
最后,从国家安全角度看,建立信息威慑力量已经同建立核威慑力量同等重要。不掌握核心技术,不形成信息技术优势,我国的国家安全将难以保障。微软公司屡陷的“安全门”事件,微软操作系统藏有秘密后门,对世界各国都是一种威胁。而Google利用信息抓取技术获取国家机密的事件也屡有报道。要想摆脱受制于人的局面,只有加大信息产业自主创新,才能逐渐赢得竞争格局下的话语权和持续发展的主动权。
可以说是中文信息处理的特殊性决定,采用集成创新和引进消化吸收再创新策略显然是不合适的,必须走原始性创新之路。大正语言董事长陈小盟强调。
只为耕耘不为收获
北京大正语言决定要走一条原始化创新之路,依靠自己的技术解决中文信息处理难题。突破的关键即为“语义处理”。
何谓语义处理?简单的说就是让计算机看懂人的语言,能够理解字、词、句甚至篇章以及全文的内容。这也是语义处理技术区别于关键词技术的核心所在。诞生于中国本土、具备国际领先水平的中文信息处理理论HNC理论引起了陈小盟的注意,他敏锐的意识到对其理论进行深入研究将使中文信息处理走出泥淖。
hnc理论摆脱了传统自然语言分析模式解决问题的套路,找到了一种描述自然语言感知过程的适当模式,建立了一个模拟人类语言感知过程的理论模式。把自然语言所表述的知识划分为概念、语言和常识三个独立的层面,对不同层面采取不同的知识表示策略和学习方式,并形成各自的知识库系统。它以语义表达为主线,跳出了完全采用语法和词汇原则来理解文字信息的死循环,成功实现了计算机消除自然语言模糊特性的技术革新,完成了计算机对信息理解的甄别→加工提纯→挖掘,由此实现计算机对语言的理解和应用。
前瞻的眼光和科技报国的责任感使陈小盟做出大胆的决定,成立大正语言研究院,展开HNC理论研究。这一举动在当时乃至现在看来都是创举。一是,关于中文信息处理理论模式争议不绝,对HNC理论的质疑不断,一套理论猜想能否支撑得起复杂的应用,二是,以民间资本投入理论研究,将付出怎样的代价,要走一条怎样的道路,在国内乃至国际找不到任何参照。
2000年12月,大正研究院在一片质疑声中成立,埋头HNC理论研究,一干就是八年。八年里,大正研究院心无旁骛的从事HNC理论研究,建立概念层次网络,对语义文本、分词等等进行深入研究,并投入大量人力建设HNC知识库。这是艰苦的八年也是奋斗的八年。期间,HNC理论逐步获得各方认可。大正研究院先后承担了包括国家重点科技支撑中文信息处理应用研究与系统开发项目、国家973计划项 目、国家863计划项目及中科院知识创新工程项目等科研任务。2005年,大正语言参与承担的“中文信息处理应用基础研究”课题,顺利通过国家高新技术研究发展计划(863计划)验收,HNC开始形成了具有原始创新特点的理论与技术体系。HNC技术成果开始应用于智能检索、机器翻译、信息智能过滤等多领域,并得到了国家及社会的认可和好评。2004年大正公司获得北京科学技术委员会颁发的“双软认定”。目前,大正研究院已经取得了3项发明专利、15项国家自主创新专利技术。
08年5月20日,工业和信息化部公布,大正公司研发的“花季护航”上网管理软件中标绿色上网过滤项目,成为国内相关领域软件产品中唯一入选产品,供全国青少年免费使用,以构建和谐绿色的上网环境,保障青少年健康成长。之后的大规模使用中,学校、家长及学生好评如潮。
“花季护航”特有的语义判定技术,能够自动判定识别信息的褒贬义,对不良信息进行有效的防止与过滤。有专家指出,该技术成功解决了“将洗澡水和孩子分开的”的技术难题,达到了去芜存菁的境界,使技术辅助来治理整顿互联网内容成为可能。
以中文信息处理研究为突破口,大正行业检索、机器翻译的系统研制相继成功。基于最先进的语义智能搜索技术开发的“华农在线”搜索网站,服务于农业信息化,提供涉农产业一站式精准信息服务,去年年底在农业网站评比中获得农业百强网站殊荣;用最新的具有自主知识产权的语义分析技术和计算机相关技术开发的、能主动识别涉密信息和防止无意信息泄密 的软件备受用户关注;解决了“源语言”理解问题之后的机器翻译系统,翻译的准确率得到了大幅度提高。在国家知识产权局专利局专利检索翻译项目多次测评中名列第一。有关专家评论,解决了源语言理解问题之后的大正机器翻译改变了机器翻译停滞不前的现状,机器翻译雪线有望突破。
体制创新下的产业化之路
在探索过程中,北京大正根据社会生产需求拓展研究领域,以理论研究促进方法学的创新,以应用方法学创新催生应用成果,用成果转化反哺基础研究,使创新逐步走上了良性循环的道路。
“大正研究院既有别于科学院之类的国家研发机构,又有别于企业内部的研究团体,我们想把它做成贝尔实验室那样纯粹的研发机构,用极具创造力的技术推动人类进步”陈小盟介绍说 “当研究院的基础研发到位之后,比较成熟的应用开始剥离出来,成熟一个剥离一个,创新项目就此启动,具有成长价值的公司从中挖掘而出。。
在这种机制下,研究院好比是种子,公司好比是土壤。研究院精心培育的具有独特性的种子,播种在合适的土壤中自然会成长壮大。研究院不断的为公司注入成长的动力,反过来,公司获得的利润再提取一定的比例输入到研究院中。研究院和公司之间逐渐形成良性循环。”按照陈小盟的构想,研究院更像是一个孵化器,而公司则是破壳而出的新生命,有的中途夭折、有的体质羸弱、难成大器,但总有的会历经磨砺、化蛹为蝶。短期来看,理论研究似乎速度很慢、消耗很大,然而,一旦其突破临界点,所爆发的能量令人瞠目结舌。
国际互联网不断发展壮大,在发达国家和地区上网人数的比例已近饱和,而中国互联网的发展还有很大的潜力,网民数量已位居世界第一。随着使用中文上网的网民数量的增加,中文网页的分类、文摘、检索等技术也将越来越重要,这也是中文信息处理的发展的良好契机,未来几年将是我们争夺中文信息处理话语权的关键时期,有关专家指出。
大正研究院用实践探索出的全新学、研、产、用相结合的产业化创新之路,将直接带动中文信息处理相关产业的发展。这其中包括互联网内容的海量审查、舆情分析、热点发现、文本分类、文本摘要等相关技术,形成巨大的产业链,实现产业报国梦想。
总结八年的创新实践之路,陈小盟语重心长的说:只有创新才能使企业在激烈的市场竞争中脱颖而出,只有创新才能使企业具有长足发展的动力,只有创新,才能参与到国际竞争中。
(编辑:王敏敏 来源:千龙科技)
原文来源于北京大正语言知识处理科技有限公司官网:http://hncit.com/news0220090420.html
网页镜像:https://web.archive.org/web/20100718074535/http://hncit.com:80/news0220090420.html