miky

李开复:算法的力量

miky — Fri, 26 Oct 2007 01:24:22 +0800

作者: miky 链接：http://miky.javaeye.com/blog/135744 发表时间: 2007年10月26日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

李开复:算法的力量

算法是计算机科学领域最重要的基石之一，但却受到了国内一些程序员的冷落。许多学生看到一些公司在招聘时要求的编程语言五花八门就产生了一种误解，认为学计算机就是学各种编程语言，或者认为，学习最新的语言、技术、标准就是最好的铺路方法。其实大家都被这些公司误导了。编程语言虽然该学，但是学习计算机算法和理论更重要，因为计算机算法和理论更重要，因为计算机语言和开发平台日新月异，但万变不离其宗的是那些算法和理论，例如数据结构、算法、编译原理、计算机体系结构、关系型数据库原理等等。在“开复学生网”上，有位同学生动地把这些基础课程比拟为“内功”，把新的语言、技术、标准比拟为“外功”。整天赶时髦的人最后只懂得招式，没有功力，是不可能成为高手的。算法与我当我在1980年转入计算机科学系时，还没有多少人的专业方向是计算机科学。有许多其他系的人嘲笑我们说：“知道为什么只有你们系要加一个‘科学’，而没有‘物理科学系’或‘化学科学系’吗？因为人家是真的科学，不需要画蛇添足，而你们自己心虚，生怕不‘科学’，才这样欲盖弥彰。”其实，这点他们彻底弄错了。真正学懂计算机的人（不只是“编程匠”）都对数学有相当的造诣，既能用科学家的严谨思维来求证，也能用工程师的务实手段来解决问题——而这种思维和手段的最佳演绎就是“算法”。记得我读博时写的Othello对弈软件获得了世界冠军。当时，得第二名的人认为我是靠侥幸才打赢他，不服气地问我的程序平均每秒能搜索多少步棋，当他发现我的软件在搜索效率上比他快60多倍时，才彻底服输。为什么在同样的机器上，我可以多做60倍的工作呢？这是因为我用了一个最新的算法，能够把一个指数函数转换成四个近似的表，只要用常数时间就可得到近似的答案。在这个例子中，是否用对算法才是能否赢得世界冠军的关键。还记得1988年贝尔实验室副总裁亲自来访问我的学校，目的就是为了想了解为什么他们的语音识别系统比我开发的慢几十倍，而且，在扩大至大词汇系统后，速度差异更有几百倍之多。他们虽然买了几台超级计算机，勉强让系统跑了起来，但这么贵的计算资源让他们的产品部门很反感，因为“昂贵”的技术是没有应用前景的。在与他们探讨的过程中，我惊讶地发现一个O(n*m)的动态规划(dynamic programming)居然被他们做成了O(n*n*m)。更惊讶的是，他们还为此发表了不少文章，甚至为自己的算法起了一个很特别的名字，并将算法提名到一个科学会议里，希望能得到大奖。当时，贝尔实验室的研究员当然绝顶聪明，但他们全都是学数学、物理或电机出身，从未学过计算机科学或算法，才犯了这么基本的错误。我想那些人以后再也不会嘲笑学计算机科学的人了吧！网络时代的算法有人也许会说：“今天计算机这么快，算法还重要吗？”其实永远不会有太快的计算机，因为我们总会想出新的应用。虽然在摩尔定律的作用下，计算机的计算能力每年都在飞快增长，价格也在不断下降。可我们不要忘记，需要处理的信息量更是呈指数级的增长。现在每人每天都会创造出大量数据（照片，视频，语音，文本等等）。日益先进的纪录和存储手段使我们每个人的信息量都在爆炸式的增长。互联网的信息流量和日志容量也在飞快增长。在科学研究方面，随着研究手段的进步，数据量更是达到了前所未有的程度。无论是三维图形、海量数据处理、机器学习、语音识别，都需要极大的计算量。在网络时代，越来越多的挑战需要靠卓越的算法来解决。再举另一个网络时代的例子。在互联网和手机搜索，如果要找附近的咖啡店，那么搜索引擎该怎么处理这个请求呢？最简单的办法就是把整个城市的咖啡馆都找出来，然后计算出它们的所在位置与你之间的距离，再进行排序，然后返回最近的结果。但该如何计算距离呢？图论里有不少算法可以解决这个问题。这么做也许是最直观的，但绝对不是最迅速的。如果一个城市只有为数不多的咖啡馆，那么这么做应该没什么问题，反正计算量不大。但如果一个城市里有很多咖啡馆，又有很多用户都需要类似的搜索，那么服务器所承受的压力就大多了。在这种情况下，我们该怎样优化算法呢？首先，我们可以把整个城市的咖啡馆做一次“预处理”。比如，把一个城市分成若干个“格子(grid)”，然后根据用户所在的位置把他放到某一个格子里，只对格子里的咖啡馆进行距离排序。问题又来了，如果格子大小一样，那么绝大多数结果都可能出现在市中心的一个格子里，而郊区的格子里只有极少的结果。在这种情况下，我们应该把市中心多分出几个格子。更进一步，格子应该是一个“树结构”，最顶层是一个大格——整个城市，然后逐层下降，格子越来越小，这样有利于用户进行精确搜索——如果在最底层的格子里搜索结果不多，用户可以逐级上升，放大搜索范围。上述算法对咖啡馆的例子很实用，但是它具有通用性吗？答案是否定的。把咖啡馆抽象一下，它是一个“点”，如果要搜索一个“面”该怎么办呢？比如，用户想去一个水库玩，而一个水库有好几个入口，那么哪一个离用户最近呢？这个时候，上述“树结构”就要改成“r-tree”，因为树中间的每一个节点都是一个范围，一个有边界的范围（参考:http://www.cs.umd.edu/~hjs/rtrees/index.html）。通过这个小例子，我们看到，应用程序的要求千变万化，很多时候需要把一个复杂的问题分解成若干简单的小问题，然后再选用合适的算法和数据结构。并行算法：Google的核心优势上面的例子在Google里就要算是小case了！每天Google的网站要处理十亿个以上的搜索，GMail要储存几千万用户的2G邮箱，Google Earth要让数十万用户同时在整个地球上遨游，并将合适的图片经过互联网提交给每个用户。如果没有好的算法，这些应用都无法成为现实。在这些的应用中，哪怕是最基本的问题都会给传统的计算带来很大的挑战。例如，每天都有十亿以上的用户访问Google的网站，使用Google的服务，也产生很多很多的日志(Log)。因为Log每份每秒都在飞速增加，我们必须有聪明的办法来进行处理。我曾经在面试中问过关于如何对Log进行一些分析处理的问题，有很多面试者的回答虽然在逻辑上正确，但是实际应用中是几乎不可行的。按照它们的算法，即便用上几万台机器，我们的处理速度都根不上数据产生的速度。那么Google是如何解决这些问题的？首先，在网络时代，就算有最好的算法，也要能在并行计算的环境下执行。在Google的数据中心，我们使用的是超大的并行计算机。但传统的并行算法运行时，效率会在增加机器数量后迅速降低，也就是说，十台机器如果有五倍的效果，增加到一千台时也许就只有几十倍的效果。这种事半功倍的代价是没有哪家公司可以负担得起的。而且，在许多并行算法中，只要一个结点犯错误，所有计算都会前功尽弃。那么Google是如何开发出既有效率又能容错的并行计算的呢？ Google最资深的计算机科学家Jeff Dean认识到，Google所需的绝大部分数据处理都可以归结为一个简单的并行算法：Map and Reduce（http://labs.google.com/papers/mapreduce.html）。这个算法能够在很多种计算中达到相当高的效率，而且是可扩展的（也就是说，一千台机器就算不能达到一千倍的效果，至少也可以达到几百倍的效果）。Map and Reduce的另外一大特色是它可以利用大批廉价的机器组成功能强大的server farm。最后，它的容错性能异常出色，就算一个server farm宕掉一半，整个fram依然能够运行。正是因为这个天才的认识，才有了Map and Reduce算法。借助该算法，Google几乎能无限地增加计算量，与日新月异的互联网应用一同成长。算法并不局限于计算机和网络举一个计算机领域外的例子：在高能物理研究方面，很多实验每秒钟都能几个TB的数据量。但因为处理能力和存储能力的不足，科学家不得不把绝大部分未经处理的数据丢弃掉。可大家要知道，新元素的信息很有可能就藏在我们来不及处理的数据里面。同样的，在其他任何领域里，算法可以改变人类的生活。例如人类基因的研究，就可能因为算法而发明新的医疗方式。在国家安全领域，有效的算法可能避免下一个911的发生。在气象方面，算法可以更好地预测未来天灾的发生，以拯救生命。所以，如果你把计算机的发展放到应用和数据飞速增长的大环境下，你一定会发现；算法的重要性不是在日益减小，而是在日益加强。

本文的讨论也很精彩，浏览讨论>>

JavaEye推荐

高端JAVA软件工程师

miky — Tue, 09 Oct 2007 01:00:25 +0800

作者: miky 链接：http://miky.javaeye.com/blog/135746 发表时间: 2007年10月09日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

人才市场紧缺的基于Linux系统、高端Websphere/Weblogic和开源的JBoss/Tomcat中间件服务器、面向行业的Java EE架构和开源的Struts/WebWork/Hibernate/Spring框架， Oracle、MySQL数据库，精通Java开发语言的中高级软件工程师。成绩合格的毕业生将具备1-2年大型软件设计及开发经验。

在项目经理的带领下通过完成一个基于Java EE架构、Linux平台、Oracle数据库、Web界面、EJB开发软件产品的分析、设计和开发，掌握开发Java大型软件项目过程中所需要的软件技术、设计规范、开发流程、质量控制及项目管理。

完备合理的知识学习体系

Linux → JAVA SE → Eclipse → OOAD&UML → MySQL → Oracle → JDBC → DAO → Hibernate → JSP → Servlet → MVC → EJB → Struts → WebWork → Spring → Web Services

主流企业开发技术

    JAVA SE / JAVA EE / JAVA ME
    WebLogic / Websphere / Tomcat
    Eclipse / JBuilder / WSAD
    Oracle / MySQL
    Struts / Webwork / Spring / Hibernate
    EJB/XML

“项目/案例”教学法

本课程中采用众多的企业项目案例，由浅入深进行逐层讲解，每个项目都源自于真实项目，包括电信计费系统、信息管理系统、OA、ERP等。

培训环境：高端IT开放实验室

由高端设备组成的工作站、 Oracle 数据库、 Linux 操作系统、 Java 开发环境、 Web 服务器组成的高端 IT 实验室。人手一机，边授课边进行课程练习和项目开发。学生工作站硬件为 AMD64 X2 3600+ 内存1G 硬盘 160G 显示器 19宽屏幕

课程名称

课程内容

培养目标

数据库应用技术

Oracle

Oracle体系结构、Oracle 基础管理、SQL 语言、PL/SQL 语言、视图、索引、过程、MySQL数据库简介、Sequence和同义词、数据字典及用户管理

1、掌握Oracle、MySQL数据库的基本使用，会使用SQL操作数据库
2、了解过程、触发器、游标的使用
3、能对数据库进行基本的管理

JAVA SE技术

核心语法

JDK配置、Eclipse开发工具使用、数据类型，变量、表达式、条件控制语句、循环语句、方法及数组的的建立和使用

1、掌握JAVA语言核心语法（类与对象、继承与多态、异常处理等）
2、了解面向对象的分析与设计
3、能使用JAVA进行IO文件、数据库等进行JAVA数据开发
4、能使用JAVA进行基本的网络程序开发
5、了解数据结构在JAVA中的基本实现
7、使用JAVA进行GUI开发
8、可以使用JAVA实现各种数据结构

面向对象编程

类和对象、面向对象的三大特征详解（封装、继承、多态）、访问控制权限、接口及抽象类的应用、包的定义及使用、异常处理、各种主流设计模式

文件编程

File、字节流、字符流、打印流、对象序列化

网络编程

TCP、UDP程序

数据库编程

JDBC基本概念、核心接口使用、事务、回滚、配置与连接Oracle、MySQL数据库

数据结构/类集

Collection、Map、Iterator、链表、堆栈、树

项目实战

学校信息管理系统

1、面向对象设计
2、接口及抽象类使用
3、反射机制
4、文件操作
5、JDBC

JAVA EE基础

网页制作

HTML、Css、JavaScript、DreamWeaver工具

1、掌握JSP开发动态网站程序
2、可以使用JavaScript进行复杂的页面开发
3、熟练使用Tomcat服务器进行WEB项目的开发及部署
4、掌握过滤、监听的开发
5、掌握MVC开发模式应用

开发环境搭建

Tomcat服务器安装及配置、MyEclipse插件使用、数据库连接池的配置及使用

JSP基础语法

Scriptlet、request、response、session等核心对象

JavaBean编程

JavaBean的基本语法、JavaBean的设计及开发、DAO设计模式

Servlet高级编程

Servlet基本结构、生命周期、MVC设计模式、过滤器、监听器、EL

·基础项目实战 1

JSP聊天室

循序渐近地掌握JAVA WEB端的核心知识，主要是为项目实战打下基础。

·基础项目实战 2

个人信息交流中心

·基础项目实战 3

M-PHOTO网络相册

项目实训 1

E-Learn系统

软件工程、数据库设计、UML分析建模、项目开发、项目测试

1、了解正规项目开发流程
2、能使用E-R模型对数据库进行设计
3、应用UML、Rational Rose进行OOAD建模
4、使用Eclipse开发工具，基于Tomcat服务器完成项目代码开发
5、对项目代码进行集中测试

项目主要模块

管理员授权模块、教师管理模块

实现技术：
JSP + Servlet + EL + DAO + JS + Connection Pool + Smartupload + Eclipse + Tomcat + PowerDesigner + MySQL

部门管理模块、用户管理模块

栏目管理模块、图书馆模块

教师管理模块、课程教师评论管理模块

系统日志管理模块、用户个人中心

JAVA EE高级

JAVA EE架构

容器、服务、通讯

1、掌握完整的JAVA EE架构
2、可以使用RMI、EJB、WebServices进行高级分布式开发
3、可以使用XML进行数据编程，能够使用DOM、SAX、JDOM进行XML数据解析，使用XML及XSL进行数据显示
4、掌握主流开发框架：Struts/WebWork/Struts2 + Hibernate + Spring的联合开发
5、掌握主流商用体系开发：Websphere、WebLogic

RMI高级编程

远程方法调用、存根、命名查找

EJB高级编程

SessionBean、Entity Bean、Message-Driver Bean

XML数据编程

DTD、Schema、DOM/SAX/JDOM、AJAX、XSL

Struts/ WebWork

MVC框架实现、标签开发、工作原理

Struts 2

掌握最新的Struts 2开发技术

Hibernate 3

ORMapping基本概念、HQL、数据关联、实体映射

Spring 2

IOC、AOP、JdbcTemplate、HibernateTemplate、Transaction

IBM Websphere

WSAD开发工具、WAS应用服务器

BEA WebLogic

WebLogic Server

WebServices

WebServices概念、WebServices开发

AXIS、XFire

·高级项目实战 1

新闻管理系统

MVC + RMI + EL + JDBC

·高级项目实战 2

银行帐单管理系统

MVC + SessionBean + EntityBean + CP

·高级项目实战 3

信息管理系统

MVC + webService + XML + JDOM

Linux 操作系统

Linux

Linux安装、Linux基本命令、VI使用、Shell编程、服务器配置

1、熟练使用Linux的常用命令
2、能在Linux下进行项目的开发及部署

项目实训 2

大型购物商城

基于Struts/WebWork + Hibernate + Spring、XML + XSL + JavaScript + Css + AJAX技术实现一个大型购物商城的开发

1、熟练使用各种主流开发框架
2、使用XML解析技术及AJAX技术提升网站性能

项目核心模块

商品管理模块、购物车、会员管理模块

定单管理模块、管理员管理模块、评论管理模块

权限管理模块、栏目管理模块、公告管理模块

本文的讨论也很精彩，浏览讨论>>

JavaEye推荐