xiebh http://xiebh.javaeye.com UTF-8 Copyright 2003-2008, JavaEye.com http://blogs.law.harvard.edu/tech/rss JavaEye - 做最棒的软件开发交流社区 当数据遇到挖掘（下） xiebh 作者: xiebh  链接：http://xiebh.javaeye.com/blog/210846  发表时间: 2008年07月02日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

3、数据挖掘可以做什么？

数据挖掘的用处有很多，在这里我只想从技术和应用两个层面来简单谈谈。

从技术层面来说，按照数据挖掘产出的知识可以粗分为两大类：描述型挖掘和预测型挖掘。描述型挖掘是对现有数据的进一步精炼和归纳，从中抽取中更宏观的反映数据特征的概念描述。举个例子来说，某家银行有几百万客户，数据仓库中存储了每个客户的人口统计信息、账户信息、交易信息、客服联络信息等详细数据。但是银行不可能清楚地了解每位客户是什么样的客户，客户的消费模式到底是怎样的？这时一般需要把全体客户进行细分，划分为几个客户群，而且这种划分可以保证具有相似行为、相似价值的客户会被放入同一个群组中。有了这些客户群，银行就能更容易地发现营销机会并制定营销战略。这个例子中所用的挖掘技术是聚类模型，它就是一种典型的描述型挖掘。

预测型挖掘，顾名思义，就是建立的挖掘模型具备预测能力。这种预测能力可能包括预测哪些客户下个月会流失，哪些客户对促销活动会积极响应，哪些客户的未来价值会成长以及成长多少等等。预测型挖掘常常对企业运营具有更强的指导作用，从而更快地见效。

从应用层面来说，数据挖掘可以应用到很多行业中，包括电信、银行、证券、保险、制造、因特网等等。抛开具体行业的特定应用不谈，在各个行业中一般都会把数据挖掘应用在客户关系管理（CRM）之中。在CRM中的数据挖掘应用，包括客户细分、客户价值分析、客户获取、客户保持、交叉销售和提升销售等等。此外，信用评分、欺诈侦测和文本挖掘等也是常见的应用。

客户细分已经在描述型挖掘的例子中予以阐述，不再赘言。

准确地评价客户价值是企业成功运营的关键。这里的客户价值不仅仅包括客户当前给企业带来的收入，还包括消耗在客户身上的各种成本，以及客户未来会给企业带来多少价值。把客户的当前价值和未来价值合起来就构成了对客户整个生命周期（从成为企业的客户到最终流失）价值的综合评价，即LTV（LifeTime Value）。当我们明确了解客户价值之后，就可以有针对性地区分对待，尽量留住高价值客户，推动中低价值的客户向高价值发展，并为不同价值的客户提供不同等级的服务。



图： 客户生命周期各阶段的数据挖掘应用

上图中给出了客户生命周期各个阶段中可以用到的数据挖掘，横轴为时间轴，纵轴则为客户在不同时间点给企业带来的利润。整个生命周期可以分为四阶段：起始期（从潜在客户变成新客户）、发展期（逐步扩大使用产品的范围和数量）、成熟期（对企业的利润贡献达到顶峰）、终止期（逐渐远去流失）。

在客户生命周期的不同阶段，数据挖掘可以帮我们做什么呢？在起始期，由于潜在客户尚未与企业有多少接触，对各种品牌和产品缺乏了解和认知，他还在观望，看看有没有适合自己的产品。此时潜在客户基本上还谈不上对企业有多高的忠诚度，我们可以运用数据挖掘技术来协助锁定目标潜在客户群，通过对现有客户和营销活动的分析，发现哪些人最有可能变成我们的客户，通过什么促销手段和渠道来更有效地打动他，并评价如果把他发展为客户之后会给企业带来多少收益。这种数据挖掘应用称为“客户获取”。

在发展期，客户对企业的产品和服务使用频率相对偏低，用量也不大，这时可以运用数据挖掘技术来激活睡眠客户，刺激用户购买更多不同的产品（交叉销售），或者扩大现有产品的购买量（提升销售）。数据挖掘技术中的关联分析可以帮助企业发现哪些产品之间的关联程度最高，预测技术可以帮助我们了解客户对特定营销活动是否会积极响应，聚类技术则可以帮助我们找到具有相似行为和偏好的客户群体，从而进一步推动客户向高价值客户发展。

在成熟期，客户对企业的利润贡献已经最大化。但这时企业不能躺在功劳簿上睡大觉，而应该居安思危，谨防优质客户的衰退和流失，及时对激烈的市场竞争作出反应。此时可以运用数据挖掘中的预测技术来及早发现哪些客户已经出现了异动，可能会流失，并采取有针对性的挽留行动。

实际上，在整个客户生命周期，我们都要不断对客户的行为和价值进行分析，随时掌握他们的偏好和异动，这样才能加强企业对客户的洞察力，对运营进行有力的指导和促进。而这些分析都是数据挖掘可以帮助我们做到的。



4、数据挖掘流程及主流工具

限于篇幅，本文并不想对数据挖掘的技术多加阐述，读者可以阅读一些经典教材来获得相应的知识，比如《数据挖掘：概念与技术》、《数据挖掘原理》、《机器学习》等。一般来说，常用的数据挖掘技术包括：用于客户细分的聚类算法，用于交叉销售的关联分析和序列分析算法，用于客户价值分析、流失分析、交叉销售的决策树、神经网络和回归等预测算法，用于互联网的文本挖掘和Web分析等等。

Eric King在“如何在数据挖掘上投资：避免预测型分析中昂贵的项目陷阱的框架”一文（发表于2005年10月的“DM Review”）中主张数据挖掘是一段旅程，而非终点。他把这段旅程定义为数据挖掘过程。该过程包含如下要素：

l 一个发现过程

l 具有灵活的框架

l 按照清晰定义的策略进行

l 包含多个检查点

l 多次定期的评估

l 允许在反馈环路中对函数进行调整

l 组织为叠代式的架构

很多数据挖掘工具的厂商都对这个过程进行了简化，使之更加清晰。SAS将数据挖掘过程划分为五个阶段： 抽样（Sample），探索（Explore），处理（Manipulate），建模（Model），评估（Assess）。过去人们常用循环式的饮水器来比喻数据挖掘过程。水（数据）首先涌上第一层（分析阶段），形成漩涡（精炼和反馈），等到聚积了足够多“已经处理过”的水之后，就溢出来流到下一个更低的层中。不断地进行这种“处理”，直到水流到最低层。在那里它被抽回顶层，开始新一轮的“处理”。数据挖掘和这种层次式的叠代过程非常相像。甚至在很多数据挖掘算法的内部处理也是如此，比如神经网络算法，就是在数据集上多次运行（epochs），直至发现最优解。

但使用饮水器来比喻数据挖掘过程还不算恰当，因为它没有反映出反馈环路，而反馈环路在数据挖掘过程中是很常见的。例如，通过数据评估可以发现异常的数据，从而要求从源系统中抽取更多的数据。或者，在建模之后，会发现需要更多的记录才能反映总体的分布。

“工欲善其事，必先利其器”。当企业打算运用数据挖掘来改善企业运营时，选择合适的数据挖掘工具就变得很重要了。工具的选择通常会从以下角度来考虑（同时还需结合企业的信息化水平、具体的业务目标、要处理的数据量、对业务流程的改变等因素）：

l 数据存取能力：能否访问各种类型的数据，数据接口的效率如何

l 数据准备能力：数据处理能力，包括抽样、过滤、变换、整合、探索等等

l 模型算法的广度和深度：是否支持各种挖掘算法，多模型的比较及部署

l 可视化能力：多种图形展示，交互操作

l 性能：软硬件平台支持，并行，多CPU，多线程，分布式架构

l 对各种用户和行业解决方案的支持能力

l 其它能力支持：中文支持，友好界面，批处理，API，元数据管理等

企业也可以参考第三方评估机构的评测结果，来选择数据挖掘工具，比较权威的评估机构包括Gartner、IDC等等。以下引用Gartner在2007年第2季度发布的“客户数据挖掘魔力象限”评估报告的部分内容，向大家简单介绍主流的数据挖掘产品。

“最近，著名软件评测商Gartner对数据挖掘领域软件进行了评测，最终的结果是，SAS和SPSS以及领域中的传统地位仍然位于数据挖掘的领导者象限。异军突起的是KXEN和Portrait Software，作为远见卓识家而出现。挑战者是一片空白，其它的十余个厂商占据着利基市场。”

“在此项评测中，共有SAS、SPSS、KXEN、Portrait Software、Angoss Software、Unica、ThinkAnalytics、Fair Isaac、Infor CRM Epiphany等九家公司入选，这代表着当今的市场情况，在中国市场，主要的数据挖掘工具是SAS、KXEN和SPSS。”

在2006年第1季度的评估报告中，还曾包含Chordiant和Teradata等厂商。

评测的结果参见下图。评估标准主要划分为两个角度：执行力（纵轴）和视角完整性（横轴）。其中执行力的评估包括七个评估标准，分别是产品/服务、市场反应和跟踪记录、总体生存能力、客户体验、市场执行、销售执行/定价和运营能力。视角完整性的评估包括八个评估标准，分别是产品策略、市场理解力、市场策略、销售策略、垂直/行业策略、商业模型、创新能力和地理战略。

[点击在新窗口查看原始图片]

图： Gartner客户数据挖掘魔力象限（2007年第2季度）

在上图中，把主流的数据挖掘厂商划分为四个象限，分别是领导者（Leaders）、挑战者（Challengers）、远见卓识家（visionaries）和利基市场（niche players）。以下对数据挖掘领域内的两大领导厂商SAS和SPSS分别简要介绍。

SAS




l 在数据挖掘市场，SAS是最大的厂商，它有众多的分析师，最多的客户经验，是数据挖掘的传统标准工具，外包和服务提供商都非常熟悉SAS的产品。

l SAS有最完整的数据准备和分析工具，很少有SAS不能解决的问题。寻求“一站式商店”平台的企业应该考虑SAS。

l SAS拥有广泛的数据挖掘成功案例，从而让客户对SAS充满信心。

SPSS




l SPSS在分析各种类型的数据有最广泛的视角（行为、人口统计学、调查、非结构化数据等）。试图充分利用多种数据类型（尤其网页，流量，文本，调查）的企业应该考虑SPSS。

l SPSS对于模型管理环境有最好的视角，这可以更好的管理几个数据挖掘工具的结果。
本文的讨论也很精彩，浏览讨论>>


JavaEye推荐



]]> Wed, 02 Jul 2008 23:43:02 +0800 http://xiebh.javaeye.com/blog/210846 http://xiebh.javaeye.com/blog/210846 【转载】当数据遇到挖掘（上） xiebh 作者: xiebh  链接：http://xiebh.javaeye.com/blog/210839  发表时间: 2008年07月02日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

http://blogger.org.cn/blog/more.asp?name=idmer&id=32267

当数据遇到挖掘

SAS软件有限公司资深顾问 张磊博士



信息化的浪潮给全世界带来的翻天覆地的变化。当你使用信用卡刷卡消费的时候，刷卡交易的信息和购物情况已经进入了银行和商场的数据库；当你拿起手机拨打电话的时候，话单的信息已经进入了电信运营商的数据库；当你在医院挂号就医的时候，门诊和处方的信息已经进入了医院的数据库；当你使用公交卡乘车的时候，购买车票的信息也已经进入了公交公司的数据库。各种的情况都在表明，信息无处不在，而且每时每刻都有大量新的信息在产生，如同上下班高峰期的人流，拥挤而又嘈杂。

这还只是一幅幅静止的画面，如果让我们以时间为胶片，把这些画面连接起来，更会真切地发现在最近的二三十年内，企业中积累的各种数据已经远远超乎我们的想像。就像观看一部科幻式的灾难片，日积月累的数据如同因全球变暖而不断上升的海平面，一步步逼近我们生存的陆地，那些我们曾经熟悉的大楼、公园、道路，则在一个个沉没……

是否觉得有些危言耸听？但是对于企业来说，这并不是一个神话。让我来举一个例子，你就可以看到数据量的急速增长给企业带来多么大的困扰和改变。萨姆·沃尔顿1918年出生于美国俄克拉何马的金菲舍镇，是一个土生土长的农村人，他7岁就开始送牛奶和报纸，另外还饲养兔子和鸽子出售，学费与生活费用大部分全靠自己打工筹措，取得了萨姆大学的商学士学位。1945年他退伍后，萨姆在阿肯色州的本顿维尔小镇开了一家廉价商店，这是一家典型的旧式杂货店，50英尺宽，100英尺深，面临前大街，位于市中心，向外远望看得到铁路。商店里有现金收银机，整个店堂每个柜台后面都有供店员走动的通道，店员们坐等着顾客上门。创业之初，客户非常少，萨姆可以记住那些熟客的名字，知道他们喜欢什么样的杂货商品，常用的是哪些品牌，什么商品最好卖，下个月应该进什么货等等。此时他对数据的处理分析只需通过纸笔就可以了。

经过几十年的锲而不舍的奋斗，萨姆的连锁店已经遍布全球，2006年的营收高达3511亿美元，超过美国石油巨头埃克森美孚公司，占据美国“财富”杂志世界五百强的榜首。萨姆的公司名字就叫做“沃尔玛”（WalMart）。

作为全球第一大的零售业巨头，今天的规模已远非当年创业时可比了，遍布14个国家，7131家连锁店，近200万员工，上亿的客户。每天大量的交易信息都在源源不断地传输到公司总部的数据仓库，数据容量超过了数百TB。如何从信息的海洋中发现营销机会，找到有利可图的客户，调整货物的摆放位置，协调物流的计划和调度等等问题，已经不能简单地根据人的经验、通过查看报表或者手工分析来获取答案，人们需要更加依赖于计算机的处理能力，需要更高级的分析技术来协助从海量数据中发现潜在的规律。

这种高级的分析技术之一就是数据挖掘，而数据挖掘领域里最典型的案例就是“啤酒与尿布”的故事。



1、三个小故事

故事一、啤酒与尿布

世界零售连锁企业巨头沃尔玛拥有世界上最大的数据仓库系统之一，里面存放了各个门店的详细交易信息。为了能够准确了解顾客的购买习惯，沃尔玛利对顾客的购物行为进行了购物篮分析，想知道顾客经常一起购买的商品有哪些，结果他们有了意外的发现：“跟尿布一起购买最多的商品竟是啤酒！”

这是数据挖掘技术对历史数据进行分析的结果，它符合现实情况吗？是否是一个有用的知识？是否有利用价值？

于是，沃尔玛派出市场调查人员和分析师对这一挖掘结果进行调查分析。经过大量实际调查和分析，揭示了一个隐藏在“尿布与啤酒”背后的美国人的一种行为模式：一些年轻的父亲下班后经常要到超市去买婴儿尿布，而他们中有30%～40%的人同时也为自己买一些啤酒。产生这一现象的原因是：美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。

既然尿布与啤酒一起被购买的机会很多，于是沃尔玛就将尿布与啤酒并排摆放在一起，结果是尿布与啤酒的销售量双双增长。

按常规思维，尿布与啤酒风马牛不相及，若不是借助数据挖掘技术对大量交易数据进行挖掘分析，沃尔玛是不可能发现数据内在这一有价值的规律的。



故事二、犯罪的根源

格洛斯特郡是英格兰西部的一个郡，大约有五十多万人口。在有一段时间内，发生了多起抢劫案，民众不再感觉到安全，对郡警察局的舆论压力也陡然增加了，强烈要求及时破获这些案件，并避免案件的进一步发生。警方一方面在加快破案的同时，也在努力思考怎么样才可以降低发案率。

按照传统的做法，一般会采取这样的措施：锁定抢劫案的多发地区，加派警力进行巡逻，对行为异常的人员加强盘查等等。然而，格洛斯特郡警察局发现，这些措施的收效甚微，发案率依然居高不下，因为抢劫案的发案地点并不集中，分散在多个不同的街区，这让巡逻警力的安排显得捉襟见肘，难以全面顾及。

此时，来自警察局内部的分析系统却有了新的发现。系统中保存了多年的案件和案犯的卷宗信息，通过利用数据挖掘等分析技术，揭示出最近这段时间的抢劫犯具有一些非常显著的特征：他们大多是没有固定住所，无家可归，而且也没有稳定的工作。另外，在很多抢劫案发生前，这些罪犯都吸食了毒品。正是在毒品的刺激作用下，他们失去了自控能力，临时见财起意，对单身女性或情侣实施抢劫。

新的发现给警察局带来了新的思路，警方当机立断，对原来的增加警力加强巡逻的做法进行了调整，改为采取如下措施：一是加强对无业人员和有吸毒前科人员的管理，并通过社会福利机构对他们实施救助；然后，加强了对毒品交易易发场所的严打和治理，从源头上掐断毒品的供应。

治理得到了良好的效果，抢劫案的发案率迅速降低，格洛斯特郡的人们又重新恢复了平静的生活。



故事三、电邮加新闻

Yahoo是第一家招募了首席数据官的公司，以验证对公司而言，数据的确是一笔真实而有战略意义的财富。目标是通过提供以客户为中心的数据平台和洞察力服务，激励用户积极参与，对营销方案进行创新，从而为消费者和卖家带来价值。Usama Fayyad博士是Yahoo的首席数据官，他在和KDnuggets的Gregory的访谈中介绍了一些Yahoo在数据挖掘方面的成功案例。

“产品整合：一个例子就是你今天在Yahoo电子邮箱上看到的，数据挖掘的可视结果。通过对用户使用行为的意外模式分析，我们发现在每次会话中，人们阅读邮件和阅读新闻的行为之间存在很强的相关关系。我们把这个发现传达给Yahoo电子邮箱产品小组，他们首先想到的就是验证这种关系的影响：在一组测试用户的邮箱首页上显示一个新闻模块，其中的新闻标题被醒目显示。”

“对于象电子邮箱这种产品，最头痛的问题就是如何获取新的‘轻量级用户’，并推动他们的用量，使之变成‘重量级用户’。如果你做到了，那么流失率就会显著下降。实际上，在我们的试验中，最显著的一组流失率下降了40%。于是Yahoo立刻开发并完善了新闻模块，并嵌入Yahoo电子邮箱的首页，到现在，上亿的消费者都可以看到并使用这种产品。我喜欢提及这个故事，因为它很好地说明了我们产品团队的及时反应能力，也证明了在用户使用行为数据中蕴含着很多很多极具价值的潜在模式。”

“即时通信：我们对雅虎通（Instant Messenger）的使用情况进行了分析，以了解激励用量的关键因素是什么。结果发现，最重要的因素是让用户扩大他们的‘好友列表’，至少增加5个新的好友。据此Yahoo精心设计了相应的营销活动，鼓励用户增加好友列表中的好友数，从而显著激励了雅虎通的用量。”

“Yahoo首页的搜索框：一个简单的例子就是我们发现，在Yahoo的首页上，把搜索框放在居中的位置（而不是以前的左侧）将提高用户的用量。这样一方面可以促进用户的积极使用，对Yahoo来说也没有成本支出。这个结果的发现过程也很有趣，我们首先发现Netscape浏览器的用户比IE的用户更多地使用了搜索功能，进一步探查发现两个浏览器在视觉上的唯一区别就是：二者中的搜索框位置不同！搜索框在Netscape浏览器中是居中放置，而在IE中则是靠近左侧。很不明显的差别，但却很重要。一般谁会想到呢？”



2、什么是数据挖掘？

关于什么是数据挖掘，很多学者和专家给出了不同的定义，以下我们列出几种常见的说法：

“简单地说，数据挖掘是从大量数据中提取或‘挖掘’知识。该术语实际上有点用词不当。数据挖掘应当更正确地命名为‘从数据中挖掘知识’，不幸的是它有点长。许多人把数据挖掘视为另一个常用的术语‘数据库中知识发现’或KDD的同义词。而另一些人只是把数据挖掘视为数据库中知识发现过程的一个基本步骤。” ——《数据挖掘：概念与技术》（J. Han and M. Kamber）

“数据挖掘就是对观测到的数据集（经常是很庞大的）进行分析，目的是发现未知的关系和以数据拥有者可以理解并对其有价值的新颖方式来总结数据。”——《数据挖掘原理》（David Hand, et al）

“运用基于计算机的方法，包括新技术，从而在数据中获得有用知识的整个过程，就叫做数据挖掘。”——《数据挖掘－－概念、模型、方法和算法》（Mehmed Kantardzic）

“数据挖掘，简单地说，就是从一个数据库中自动地发现相关模式。”——《构建面向CRM的数据挖掘应用》（Alex Berson, et al）

“数据挖掘(DM)是从大型数据库中将隐藏的预测信息抽取出来的过程。”——《数据挖掘：机遇与挑战》（John Wang）

而作为数据挖掘领域的华人第一人，韩家炜教授在《数据挖掘：概念与技术》的教学幻灯片中，给出一个更清晰的定义：“数据挖掘，就是从大型数据库中抽取有意义的（非平凡的，隐含的，以前未知的并且是有潜在价值的）信息或模式的过程。”

这里我们可以看到数据挖掘具有以下几个特点：

l 基于大量数据：并非说小数据量上就不可以进行挖掘，实际上大多数数据挖掘的算法都可以在小数据量上运行并得到结果。但是，一方面过小的数据量完全可以通过人工分析来总结规律，另一方面来说，小数据量常常无法反映出真实世界中的普遍特性。

l 非平凡性：所谓非平凡，指的是挖掘出来的知识应该是不简单的，绝不能是类似某著名体育评论员所说的“经过我的计算，我发现了一个有趣的现象，到本场比赛结束为止，这届世界杯的进球数和失球数是一样的。非常的巧合！”那种知识。这点看起来勿庸赘言，但是很多不懂业务知识的数据挖掘新手却常常犯这种错误。

l 隐含性：数据挖掘是要发现深藏在数据内部的知识，而不是那些直接浮现在数据表面的信息。常用的BI工具，例如报表和OLAP，完全可以让用户找出这些信息。

l 新奇性：挖掘出来的知识应该是以前未知的，否则只不过是验证了业务专家的经验而已。只有全新的知识，才可以帮助企业获得进一步的洞察力。

l 价值性：挖掘的结果必须能给企业带来直接的或间接的效益。有人说数据挖掘只是“屠龙之技”，看起来神乎其神，却什么用处也没有。这只是一种误解，不可否认的是在一些数据挖掘项目中，或者因为缺乏明确的业务目标，或者因为数据质量的不足，或者因为人们对改变业务流程的抵制，或者因为挖掘人员的经验不足，都会导致效果不佳甚至完全没有效果。但大量的成功案例也在证明，数据挖掘的确可以变成提升效益的利器。

“数据挖掘”这个术语是在什么时候被大家普遍接受的，已经难以考证，大约在上世纪90年代开始兴起。其中还有一段趣话。在科研界，最初一直沿用“数据库中的知识发现”（即KDD，Knowledge Discovery in Database）。在第一届KDD国际会议中，委员会曾经展开讨论，是继续沿用KDD，还是改名为Data Mining（数据挖掘）？最后大家决定投票表决，采纳票数多的一方的选择。投票结果颇有戏剧性，一共14名委员，其中7位投票赞成KDD，另7位赞成Data Mining。最后一位元老提出“数据挖掘这个术语过于含糊，做科研应该要有知识”，于是在科研界便继续沿用KDD这个术语。而在商用领域，因为“数据库中的知识发现”显得过于冗长，就普遍采用了更加通俗简单的术语——“数据挖掘”。

严格地说，数据挖掘并不是一个全新的领域，它颇有点“新瓶装旧酒”的意味。组成数据挖掘的三大支柱包括统计学、机器学习和数据库等领域内的研究成果，其它还包含了可视化、信息科学等内容。数据挖掘纳入了统计学中的回归分析、判别分析、聚类分析以及置信区间等技术，机器学习中的决策树、神经网络等技术，数据库中的关联分析、序列分析等技术。
本文的讨论也很精彩，浏览讨论>>


JavaEye推荐



]]> Wed, 02 Jul 2008 23:35:35 +0800 http://xiebh.javaeye.com/blog/210839 http://xiebh.javaeye.com/blog/210839 数据挖掘应用 xiebh 作者: xiebh  链接：http://xiebh.javaeye.com/blog/210708  发表时间: 2008年07月02日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

　数据挖掘解决的典型商业问题
　需要强调的是，数据挖掘技术从一开始就是面向应用的。目前，在很多领域，数据挖掘(data mining)都是一个很时髦的词，尤其是在如银行、电信、保险、交通、零售（如超级市场）等商业领域。数据挖掘所能解决的典型商业问题包括：数据库营销（Database Marketing）、客户群体划分（Customer Segmentation & Classification）、背景分析（Profile Analysis）、交叉销售（Cross-selling）等市场分析行为，以及客户流失性分析(Churn Analysis)、客户信用记分(Credit Scoring)、欺诈发现(Fraud Detection)等等。
　　数据挖掘在市场营销的应用
　　数据挖掘技术在企业市场营销中得到了比较普遍的应用，它是以市场营销学的市场细分原理为基础，其基本假定是“消费者过去的行为是其今后消费倾向的最好说明”。
　　通过收集、加工和处理涉及消费者消费行为的大量信息，确定特定消费群体或个体的兴趣、消费习惯、消费倾向和消费需求，进而推断出相应消费群体或个体下一步的消费行为，然后以此为基础，对所识别出来的消费群体进行特定内容的定向营销，这与传统的不区分消费者对象特征的大规模营销手段相比，大大节省了营销成本，提高了营销效果，从而为企业带来更多的利润。
　　商业消费信息来自市场中的各种渠道。例如，每当我们用信用卡消费时，商业企业就可以在信用卡结算过程收集商业消费信息，记录下我们进行消费的时间、地点、感兴趣的商品或服务、愿意接收的价格水平和支付能力等数据；当我们在申办信用卡、办理汽车驾驶执照、填写商品保修单等其他需要填写表格的场合时，我们的个人信息就存入了相应的业务数据库；企业除了自行收集相关业务信息之外，甚至可以从其他公司或机构购买此类信息为自己所用。
　　这些来自各种渠道的数据信息被组合，应用超级计算机、并行处理、神经元网络、模型化算法和其他信息处理技术手段进行处理，从中得到商家用于向特定消费群体或个体进行定向营销的决策信息。这种数据信息是如何应用的呢？举一个简单的例子，当银行通过对业务数据进行挖掘后，发现一个银行帐户持有者突然要求申请双人联合帐户时，并且确认该消费者是第一次申请联合帐户，银行会推断该用户可能要结婚了，它就会向该用户定向推销用于购买房屋、支付子女学费等长期投资业务，银行甚至可能将该信息卖给专营婚庆商品和服务的公司。数据挖掘构筑竞争优势。
　　在市场经济比较发达的国家和地区，许多公司都开始在原有信息系统的基础上通过数据挖掘对业务信息进行深加工，以构筑自己的竞争优势，扩大自己的营业额。美国运通公司(American Express)有一个用于记录信用卡业务的数据库，数据量达到54亿字符，并仍在随着业务进展不断更新。运通公司通过对这些数据进行挖掘，制定了“关联结算(Relation ship Billing)优惠”的促销策略，即如果一个顾客在一个商店用运通卡购买一套时装，那么在同一个商店再买一双鞋，就可以得到比较大的折扣，这样既可以增加商店的销售量，也可以增加运通卡在该商店的使用率。再如，居住在伦敦的持卡消费者如果最近刚刚乘英国航空公司的航班去过巴黎，那么他可能会得到一个周末前往纽约的机票打折优惠卡。
　　基于数据挖掘的营销，常常可以向消费者发出与其以前的消费行为相关的推销材料。卡夫(Kraft)食品公司建立了一个拥有3000万客户资料的数据库，数据库是通过收集对公司发出的优惠券等其他促销手段作出积极反应的客户和销售记录而建立起来的，卡夫公司通过数据挖掘了解特定客户的兴趣和口味，并以此为基础向他们发送特定产品的优惠券，并为他们推荐符合客户口味和健康状况的卡夫产品食谱。美国的读者文摘(Reader's Digest)出版公司运行着一个积累了40年的业务数据库，其中容纳有遍布全球的一亿多个订户的资料，数据库每天24小时连续运行，保证数据不断得到实时的更新，正是基于对客户资料数据库进行数据挖掘的优势，使读者文摘出版公司能够从通俗杂志扩展到专业杂志、书刊和声像制品的出版和发行业务，极大地扩展了自己的业务。
　　基于数据挖掘的营销对我国当前的市场竞争中也很具有启发意义，我们经常可以看到繁华商业街上一些厂商对来往行人不分对象地散发大量商品宣传广告，其结果是不需要的人随手丢弃资料，而需要的人并不一定能够得到。如果搞家电维修服务的公司向在商店中刚刚购买家电的消费者邮寄维修服务广告，卖特效药品的厂商向医院特定门诊就医的病人邮寄广告，肯定会比漫无目的的营销效果要好得多。
　　成功案例
　　电话收费和管理办法
　　加拿大BC省电话公司要求加拿大Simon Fraser大学KDD研究组根据其拥有的十多年的客户数据，总结、分析并提出新的电话收费和管理办法，制定既有利于公司又有利于客户的优惠政策。
　　 竞技运动中的数据挖掘
　　美国著名的国家篮球队NBA的教练，利用IBM公司提供的数据挖掘工具临场决定替换队员。想象你是NBA的教练，你靠什么带领你的球队取得胜利呢？当然，最容易想到的是全场紧逼、交叉扯动和快速抢断等具体的战术和技术。但是今天，NBA的教练又有了他们的新式武器：数据挖掘。大约20个NBA球队使用了IBM公司开发的数据挖掘应用软件Advanced Scout系统来优化他们的战术组合。例如Scout就因为研究了魔术队队员不同的布阵安排，在与迈阿密热队的比赛中找到了获胜的机会。
　　----系统分析显示魔术队先发阵容中的两个后卫安佛尼.哈德卫(Anfernee Hardaway)和伯兰.绍(Brian Shaw)在前两场中被评为－17分,这意味着他俩在场上，本队输掉的分数比得到的分数多17分。然而，当哈德卫与替补后卫达利尔.阿姆斯创(Darrell Armstrong)组合时，魔术队得分为正14分。
　　----在下一场中，魔术队增加了阿姆斯创的上场时间。此着果然见效：阿姆斯创得了21分，哈德卫得了42分，魔术队以88比79获胜。魔术队在第四场让阿姆斯创进入先发阵容，再一次打败了热队。在第五场比赛中，这个靠数据挖掘支持的阵容没能拖住热队，但Advanced Scout毕竟帮助了魔术队赢得了打满5场，直到最后才决出胜负的机会。
　　----Advanced Scout是一个数据分析工具，教练可以用便携式电脑在家里或在路上挖掘存储在NBA中心的服务器上的数据。每一场比赛的事件都被统计分类，按得分、助攻、失误等等。时间标记让教练非常容易地通过搜索NBA比赛的录像来理解统计发现的含义。例如：教练通过Advanced Scout发现本队的球员在与对方一个球星对抗时有犯规纪录，他可以在对方球星与这个队员“头碰头”的瞬间分解双方接触的动作，进而设计合理的防守策略。
　　----Advanced Scout的开发人，因德帕尔.布罕德瑞，开发该应用时他正在IBM的ThomasJ.Watson研究中心当研究员，他演示了一个技术新手应该如何使用数据挖掘。布罕德瑞说：“教练们可以完全没有统计学的培训，但他们可以利用数据挖掘制定策略”。与此同时，另一个正式的体育联盟，国家曲棍球联盟，正在开发自己的数据挖掘应用NHL－ICE，联盟与IBM建立了一个技术型的合资公司，去年11月推出一个电子实时的比赛计分和统计系统。在原理上是一个与Advanced Scout相似的数据挖掘应用，可以让教练、广播员、新闻记者及球迷挖掘NHL的统计。当他们访问NHL的Web站点时，球迷能够使用该系统循环看联盟的比赛，同时广播员和新闻记者可以挖掘统计数据，找花边新闻为他们的实况评述添油加醋。
　　----当然，所有系统都有其局限性。所以不要期望这样的数据挖掘可以帮助一支球队找到赢得足球世界杯的策略。
　　数据挖掘技术在商业银行中的应用
　　数据挖掘技术在美国银行金融领域应用广泛。金融事务需要搜集和处理大量数据，对这些数据进行分析，发现其数据模式及特征，然后可能发现某个客户、消费群体或组织的金融和商业兴趣，并可观察金融市场的变化趋势。商业银行业务的利润和风险是共存的。为了保证最大的利润和最小的风险，必须对帐户进行科学的分析和归类，并进行信用评估。Mellon银行使用Intelligent Agent数据挖掘软件提高销售和定价金融产品的精确度，如家庭普通贷款。零售信贷客户主要有两类，一类很少使用信贷限额（低循环者），另一类能够保持较高的未清余额（高循环者）。每一类都代表着销售的挑战。低循环者代表缺省和支出注销费用的危险性较低，但会带来极少的净收入或负收入，因为他们的服务费用几乎与高循环者的相同。银行常常为他们提供项目，鼓励他们更多地使用信贷限额或找到交叉销售高利润产品的机会。高循环者由高和中等危险元件构成。高危险分段具有支付缺省和注销费用的潜力。对于中等危险分段，销售项目的重点是留住可获利的客户并争取能带来相同利润的新客户。但根据新观点，用户的行为会随时间而变化。分析客户整个生命周期的费用和收入就可以看出谁是最具创利潜能的。Mellon银行认为“根据市场的某一部分进行定制”能够发现最终用户并将市场定位于这些用户。但是，要这么做就必须了解关于最终用户特点的信息。数据挖掘工具为Mellon银行提供了获取此类信息的途径。Mellon银行销售部在先期数据挖掘项目上使用Intelligence Agent寻找信息，主要目的是确定现有Mellon用户购买特定附加产品：家庭普通信贷限额的倾向，利用该工具可生成用于检测的模型。据银行官员称：Intelligence Agent可帮助用户增强其商业智能，如交往、分类或回归分析，依赖这些能力，可对那些有较高倾向购买银行产品、服务产品和服务的客户进行有目的的推销。该官员认为，该软件可反馈用于分析和决策的高质量信息，然后将信息输入产品的算法。Intelligence Agent还有可定制能力。
　　美国Firstar银行使用Marksman数据挖掘工具，根据客户的消费模式预测何时为客户提供何种产品。Firstar银行市场调查和数据库营销部经理发现：公共数据库中存储着关于每位消费者的大量信息，关键是要透彻分析消费者投入到新产品中的原因，在数据库中找到一种模式，从而能够为每种新产品找到最合适的消费者。Marksman能读取800到1000个变量并且给它们赋值，根据消费者是否有家庭财产贷款、赊帐卡、存款证或其它储蓄、投资产品，将它们分成若干组，然后使用数据挖掘工具预测何时向每位消费者提供哪种产品。预测准客户的需要是美国商业银行的竞争优势。
　因特网筛选
　　最近，还有不少DMKD产品用来筛选因特网上的新闻，保护用户不受无聊电子邮件和商业推销的干扰，很受欢迎。
本文的讨论也很精彩，浏览讨论>>


JavaEye推荐



]]> Wed, 02 Jul 2008 17:07:34 +0800 http://xiebh.javaeye.com/blog/210708 http://xiebh.javaeye.com/blog/210708 转载：与李大维的聊天：关于围绕Facebook的创业机会 xiebh 作者: xiebh  链接：http://xiebh.javaeye.com/blog/210111  发表时间: 2008年07月01日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

http://zhanglu.net/home/blog/2008/06/30/70/
在周六北京SNS开发者聚会上，听了很多精彩的演讲，与李大维（David Li）的聊天更是受益良多，记录如下（完全凭心记，也加上个人理解）。

1、李大维是谁？Facebook黑客，就是在Facebook平台上开发APP（Application）的人。目前运营着6个APP，其中有2 个有上百万用户（还没到千万级？）的安装量。团队在10人以下，主要开发者就是2人，然后是负责维护运营APP的。松散型，团队分布在美国、中国大陆、台湾（？）。李是目前这个领域的高手。

2、两个APP，其中一个是送花的应用（Growing Gifts）。赢利模式是广告。在美国有十几种广告联盟，不限于Google Adsence。

3、在美国有1-2家专门投资这一领域的VC，但并不看好风险投资的作用。因为，其一，如果这个应用(APP)证明是赚钱的话，风险资本投进来并不能让它更赚钱（更流行）；反之，如果APP不赚钱（也就是安装量不大），钱投进来也没有作用。这有点像一个奇特的创意产业，在“应用流行-通过广告联盟赚钱”之间是一种几何关系，而且这个产业也不太容易被并购/上市/退出，在内容-渠道之间，交易成本也极小—谁见过还有创业领域像这样的，呵呵。

4、中国的机会。对于平台（校内、Myspace、51.com），这是一个巨大的机会。拿传统软件平台厂商做比较，你要吸引第三方开发商，需要一家家去谈，别人也不一定会做，难成规模；而开放平台，开放一种接口或协议，让大量的中小创业者加入进来，节省了交易成本，不用每家去谈；而那些成功的应用，也会经受市场的考验。给平台带来大量的流量，挖掘出更深层的社会关系。

开放平台其实是一种千载难逢的商业模式，会成为未来的主流。平台需要做的，说得白一点，就是考虑好怎样和开发者分钱。而对于开发者而言，其实就是一次巨大的创业机会，特别是对草根创业者，你初通一下简单的脚本语言，想一个社交平台的好创意，如果它流行了，你就成功了。

5、Facebook本身，对中国的威胁或者说机会有多大。目前，Facebook APP基本没有面对中文用户的（群体太小），我私下感觉Facebook这样的网站不大可能进入中国主流互联网市场，这和Google还不一样，搜索是一种比社交更加基础化的应用，你会用得到。除了商业需求（阿里巴巴），中国人有需求去到Facebook里社交的，真是看不出来。如果不需要这种关系，什么 APP都是没用的。

6、那么剩下来，就是中国自己的Facebook。现在流行的统一平台是Open Social，具体会怎么样，只能等着看一场好戏了。有一种观点是，虽然Open Social是一个开放组织的标准，而Facebook是一家商业公司，但是Open Social能够实现的，还远远不是Facebook所实现的一种平台开放。个人感觉，Discuz的UCHome可能会和Open Social形成一种两者并立的模式，前者是长尾、草根、垂直的游戏，后者是大公司、平台的游戏。这个是很自然的，在广告联盟平台之间，也有这种分野。

7、剩下还有一个Facebook，就是手机上的Facebook。中国移动已经在准备做这样的SNS，目前正在找CEO。
本文的讨论也很精彩，浏览讨论>>


JavaEye推荐



]]> Tue, 01 Jul 2008 12:23:32 +0800 http://xiebh.javaeye.com/blog/210111 http://xiebh.javaeye.com/blog/210111 转载：程序员喝酒的计算机文化 xiebh 作者: xiebh  链接：http://xiebh.javaeye.com/blog/208643  发表时间: 2008年06月27日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

大家喝的是啤酒。这时你入座了。

你给自己倒了杯可乐，这叫低配置。

你给自已倒了杯啤酒，这叫标准配置。

你给自己倒了杯茶水，这茶的颜色还跟啤酒一样，这叫木马。

你给自己倒了杯可乐，还滴了几滴醋，不仅颜色跟啤酒一样，而且不冒热气还有泡泡，这叫超级木马。

你的同事给你倒了杯白酒，这叫推荐配置。

人到齐了，酒席开始了。

你先一个人喝了一小口，这叫单元测试。

你跟旁边的人说哥们咱们随意，这叫交叉测试。

但是他说不行，这杯要干了，这叫压力测试。

于是你说那就大家一起来吧，这叫内部测试。

这个时候boss向全场举杯了，这叫集成测试。

菜过三巡，你就不跟他们客气了。

你向对面的人敬酒，这叫p2p.

你向对面的人敬酒，他回敬你，你又再敬他……，这叫tcp.

你向一桌人挨个敬酒，这叫令牌环。

你说只要是兄弟就干了这杯，这叫广播。

可是你的女上司听了不高兴了：只有兄弟么，罚酒三杯。这叫炸弹。

可是你的女下属听了不高兴了：我喝一口，你喝一杯，这叫恶意攻击。

有一个人过来向这桌敬酒，你说不行你先过了我这关，这叫防火墙。

你的小弟们过来敬你酒，这叫一对多。

你是boss，所有人过来敬你酒，这叫服务器。

酒是一样的，可是喝法是不同的。

你喝了一杯，boss喝了一口，这叫c#。

你喝了一杯，mm喝了一口，这叫vb。

你喝了一杯，你大哥喝了半杯，这叫c++。

你喝了半杯，你小弟喝了一杯，这叫汇编。

你喝了一杯，你的搭档也喝了一杯，这叫c。

酒是一样的，可是喝酒的人是不同的。

你越喝脸越红，这叫资源释放。

你越喝脸越白，这叫资源独占。

你已经醉了，却说我还能喝，叫做虚拟内存。

你明明能喝，却说我已经醉了，叫做资源保留。

你喝一段时间就上厕所，这叫cache。

酒过三巡，你也该活动活动了。

你一桌一桌的走，这叫轮巡。

你突然看到某一桌的漂亮mm，走了过去，这叫激活事件。

你去了坐下来就不打算走了，这叫死循环。

你的老大举杯邀你过去，你只好过去，这叫优先级。

你向一桌敬酒，他们说不行不行我们都喝白的，于是你也喝白的，这叫本地化。

你向boss敬酒，可是boss被围了起来，你只能站在外圈，这叫队列。

你终于到了内圈，小心翼翼的向前一步，这叫访问临界区。

你拍着boss的肩膀说哥们咱们喝一杯，这叫越界。

你不知喝了几圈了，只会说两个字，干了，这叫udp。

可是还有人拿着酒瓶跑过来说，刚才都没跟你喝，这叫丢包。

喝酒喝到最后的结果都一样

你突然跑向厕所，这叫捕获异常错误。

你在厕所吐了，反而觉得状态不错，这叫释放内存。

你在台面上吐了，觉得很惭愧，这叫时实错误。

你在boss面前吐了，觉得很害怕，这叫灾难性错误。

你吐到了boss身上，只能索性晕倒了，这叫Shut Down。
本文的讨论也很精彩，浏览讨论>>


JavaEye推荐



]]> Fri, 27 Jun 2008 14:35:41 +0800 http://xiebh.javaeye.com/blog/208643 http://xiebh.javaeye.com/blog/208643 生活小常识 xiebh 作者: xiebh  链接：http://xiebh.javaeye.com/blog/208430  发表时间: 2008年06月27日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

生梨化痰,葱姜去寒,萝卜消胀气,番茄养容颜,大蒜仰菌,枸杞养肝,绿豆解毒,莲藕解忧愁,苹果养分高,祛火吃香蕉,核桃利肺,杨梅祛暑热,冬瓜利尿,胡椒驱寒气,韭菜暖膝腰,菠萝健胃,红枣补脾,苦瓜明目,山查抗衰老,芝麻润肤发,海带淤结消,芹菜降血压,猕猴桃仰癌。
本文的讨论也很精彩，浏览讨论>>


JavaEye推荐



]]> Fri, 27 Jun 2008 08:21:05 +0800 http://xiebh.javaeye.com/blog/208430 http://xiebh.javaeye.com/blog/208430 健康工作50年 xiebh 作者: xiebh  链接：http://xiebh.javaeye.com/blog/208163  发表时间: 2008年06月26日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

前两天看了CCTV-2中[健康之路]饮食——人之命脉节目，感受颇深，再加上最近一段时间身体不太舒服，看完之后更是有好多感想。最重要一点就是：

聪明的人投资健康！
明白的人储蓄健康！
普通的人忽视健康！
糊涂的人透支健康！


背景资料
赵霖 教授，解放军总医院营养科研究员，博士生导师，中央保健委员会预防保健会诊专家。他自幼受到良好的传统医学教育，通晓中医食疗理论，并结合现代营养学知识，在慢性病的治疗当中，运用饮食调理收到良好效果。他曾参加“相约健康社区行”，全国健康教育巡讲活动，被国家卫生部聘为“健康教育首席专家”。


早年间，我们中国人是吃饱求生存。现如今，咱们老百姓追求的是好吃求口味。光好吃哪儿能行，咱得想办法吃好了还得求健康，民以食为天，吃饭乃人生头等大事，饮食者人之命脉也。

今天我所讲的第一讲内容是预防胜于治疗，饮食者，人之命脉也。这个饮食者人之命脉也这句话，不是我想出来的，是咱们明代伟大的中国医药学家《本草纲目》的作者李时珍的一句话，所以我想通过这个讲座，来阐述他这句话非常深刻的内涵。与其救疗于有病之后，不如摄养于无疾之前，我们古代有这样一句话，就是与其你是得了病才治，不如去想办法预防疾病。

人生在世不光要学习谋生的知识，还要学习养生的知识，因为养生的知识是为了我们生命的本身健康长寿的需要，那么我们国人的健康状况到底如何呢。

刚解放的时候1949年，我们国家当时居民的平均年龄只有36岁，但是去年5月18号世界卫生组织公布的最新的统计结果，我们中国通过短短的改革开放这个历史时期，我们在人均平均预期寿命方面，我们就进入了世界第二梯队，而我们国家的香港特区已经排名世界第二，而我们国家目前男性的平均预期寿命71岁，女性平均预期寿命74岁，我们已经逼近了发达国家。但是我们还存在着一定的差距，我们这个差距在什么地方呢，就是我们现在男性的平均健康年龄只有63岁，女性的平均健康年龄只有65岁，也就是说我们还有这么长的一段时间，八九年的时间干什么呢，我们是带病生存的。

带病生存意味着什么，它意味着即使生命存在，但生活质量是无法保证的，不光个人要受罪，儿女多受累，花掉大笔医药费，还会因此丢掉很多生活的乐趣，所以我们期望长寿，更强调健康，那么在影响健康的诸多因素当中，什么是最重要的呢。

而世界卫生组织在这个报告中，非常明确的强调指出，饮食因素是我们居民健康的非常重要的一个因素，所以我的讲座的副题，我就用了李时珍的这句话，叫饮食者人之命脉也。

我们要想能够做到预防疾病胜于治疗的这样一个目标，我们就必须要在饮食上要下工夫，那么随着我们整个社会经济的发展，人类的疾病模式产生了很多很多变化，2002年咱们国家做了一个全国的膳食调查，我们发现我们国家现在糖尿病、高血压、高血脂，就这些所谓慢性非传染性疾病增长的速度都特别快，也就是说我们叫生活方式病，你看糖尿病在中国咱们叫富贵病，在日本叫生活方式病，在美国叫富裕综合症，那么这些病怎么去治呢，其实我觉得有一个特简单的方法，就是记住六个字，管住嘴，迈开腿，你管不住嘴在那傻吃，你迈不开腿在那懒惰，你这些病都得得。

生活方式不健康导致文明病登陆中国，那么什么是文明病，文明病又叫五病综合征，就是以肥胖为核心，高血压、高血脂、心脑血管病、糖尿病并存，而这些疾病的泛滥，不良饮食是罪魁祸首，赵霖教授大声疾呼文明人痛快的吞进了文明病，用自己的牙齿在制造坟墓。晶体中国青少年的体质在下降。

2000年8月，我看到一本杂志，就是英国医学杂志中文版，里面登了一篇文章，这个文章的题目是曾经消瘦的巨人，如今肥胖患病率成倍增长，指的是谁啊，指的就是中国，所以从1985年到2005年，我们的调查发现，我们7岁到18岁的儿童和青少年，他们的肥胖率竟然翻了28岁，所以在去年4月23号，中共中央政治局专门要召开会议，讨论加强青少年的体育工作。胖墩儿惊动了党中央，为什么呢，因为从1985年到2005年四次调查都发现，我们中国青少年的身体素质出现了一个什么状况呢，用我们很有名的一些专家的话说就是外强中干，虽然身高体重增加了，但是与前一代人相比健康素质全面下降，所以这个是非常值得我们警惕的。

新生儿现在20%肥胖，前两年我们医院产科生下俩孩子，一个10斤，一个12斤，一检查这俩孩子都是先天性糖尿病，后来我就跑到产科去问这孩子他妈，我说您怀孕时候吃什么了，这女同志说现在都一个孩子，都是重点保护，想吃什么吃什么，她说我天天吃样洋快餐，同时这个人还特别能吃，一吃葡萄吃一斤，吃西瓜吃半个，就这么傻吃，等生下孩子以后吃傻了，所以这些问题大家都应该感觉到，就是说这个吃不是一个我们可以忽视的事情，你说这个孩子生下来先天性糖尿病，你说这当妈的怎么弄啊。

1997年世界卫生组织发布一个报告指出，沙发土豆文化这种不健康的生活方式，在威胁着人类健康，什么叫沙发土豆文化，就是坐在沙发上，吃着炸薯条看电视，所以美国就发现这个儿童一边看电视，一边吃这些东西，就可以使得肉类的消费，脂肪的消费，各方面的消费摄入量都大量的等等，所以这是一个非常不健康的生活方式。瑞典有一个非常著名的医生，讲过一段话，我觉得这段话很有道理，他说我们不能仅仅重视疾病，而首先应该高度重视生活方式的错误，因为生活方式健康了，疾病就会自动的消除。

这些研究都告诉我们，有些饭是不能胡吃的，所以忽视洋快餐的危害，我们付出的代价将是下一代的健康。我有张照片，就是我们北京夏季举行的儿童减肥夏令营的照片，您看这群小孩吃的脑满肠肥，垂头丧气，把整个孩子的这种快乐，他们的健康全都没有了。那么这个坎贝尔教授的中国健康调查报告，我读了这本书有一段我觉得很值得我们现在去参考，就是在20世纪的80年代他们对中国的农村做了详细的膳食调查的同时，他调查了农村妇女例假来的年龄，当时我们中国年轻的妇女例假初潮是17岁，而美国是11岁，为什么，就是饮食结构的差异，现在我们随着改革开放以后，我们饮食结构的西化，现在造成很多孩子性早熟，现在北京有一些三年级小孩就来例假，根据报纸上报道，天津市儿童医院有好多小孩妈妈带着去看病，为什么呢，五六岁就变声，或者乳房发育，或者出现生理性月经，医生就问你这个孩子吃过什么补品吗，没吃过，那你平时尽吃什么啊，就天天吃炸鸡，我去年见一个小孩到我这儿来看病，11岁，60公斤，走路摇摇晃晃，已经免体育课了，说这孩子两年以前就开始不吃菜了，天天吃炸鸡翅，一顿能吃十个，后来这个孩子来了以后，我们经过了认真分析，跟他谈，跟他爷爷奶奶谈，跟他爸爸妈妈谈，最后使得他们接受了这样一种观念，改变他的饮食结构，大概用了半年时间这个孩子才能得到一个初步的纠正，我现在有时候在北京看到这些肥胖的孩子我就想哭，我没有能力帮助他。我就觉得这个营养教育，把真实的东西告诉群众，是我们作为营养学家一个特别重要的责任。

生活好了，吃的多了，变胖了，想吃却不敢吃，想穿又穿不上，胖人烦恼多啊，胖不光让人行动不方便，穿衣受限，还将付出健康的代价，吃什么和怎么吃可不是小事，他将关系到家庭的幸福和民族的幸运，一定要引以为戒。我们到底吃多少肉合适？

前两年我接待一个电视台的编导到我那去采访，采访完了他说赵教授我有一个私人问题我想问问，我说你说吧，他说我们家那孩子现在都快成肉食动物了，天天三顿都得吃肉，到底这人吃多少肉才合适，我没有正面回答他，我说您数数您有多少颗牙，他数了半天他告诉我说他有32颗牙，大家知道如果我们现在去做这个考古发掘，我们发现这个恐龙的化石，我们第一步判断这个恐龙是草食恐龙还是肉食恐龙，那根据什么呢，我们就根据牙齿，咱们人前边八颗牙包括门牙，我们叫切齿，是切蔬菜和水果的纤维用的，咱们后边两边这20颗牙叫槽牙，我们学名叫臼齿，是磨谷物和都类用的，您就长了这四颗虎牙是吃肉用的，您吃那么多肉干吗啊，因为人是杂食动物，你这个牙的结构是从我们进化产生的，所以根据这个4除上32这么一个比例，就是说你的饮食里有1/8是肉就足够了。

资料显示，从1997年到2002年，中国居民的十大类食物当中谷类和豆类消费都在不断下降，油脂、肉类、蛋类、禽类、白糖的消费全面增加，而与此同时，我国居民各种代谢性疾病发病率显著上升，在享受美味的时候怎样最多限度的规避患病的风险呢。

我国在很长一段时间内处在吃饱求生存状态，我们小时候都用粮票，我们每个月鸡蛋、肉都是配给的，我记得那时候我妈说给你五毛钱，甚至于两毛钱买点肉回来，所以在很长一段时间内，我们处在一个吃饱求生存的这么一个饮食结构的状态。随着经济的发展，现在我们处在什么状态呢，我们叫好吃求口味，现在说今儿你要请客，先琢磨哪儿好吃上哪儿去，所以很多人现在是口味第一，生命第二，甭管健康不健康，好吃再说，那么我们应该追求的是什么目标呢，我们应该追求的就是吃好求健康，也就是说我选择食物我把这个食物吃好以后，我目的是什么呢，要使得我健康，当然你吃好求健康也需要和我们的口味来结合，就是说一个最好的结果是什么呢，我们又有很好的烹饪，又获得很好的口味，同时这个食物又是健康的。

中华民族已经繁衍了五千多年，我前两天到河南新郑去了一趟，他们现在正在准备黄帝祭祖的典礼，每年都要做的，那么我们一说咱们就是炎黄子孙，炎帝是谁呢就是神农，实际上我们中华民族我们的农耕文明延续了五千年，所以这种伟大的农耕文明他造就了我们中华文明传统的饮食文化。

国以民为本，民以食为天。人类为了自身的生存，把获取食物变为头等大事，为人们奉为三皇之一的神农，所以受到世世代代的崇拜，是因为传说他教给人们种植粮食，传播耕种技术，历代帝王之所以把社稷比作国家，因为“社”是突然之神，“稷”是五谷之神，没有了土地和五谷江山不保，国将不国，经考古证实生活在黄河流域和长江流域原始部落的人们已经步入了农耕文明。

所以我们到欧洲就特别有体会，欧洲的饮食是什么呢，是游牧民族的饮食文化的延续，他肉吃的特别多，咱们中国是农耕文明文化的延续，所以咱们就形成了我们中华民族非常独特的传统的饮食结构。咱们中国有主食、副食之分，欧洲和美国没有主副食之分，西餐只有主菜，我们大概65%的热量都来自五谷杂粮，所以中国人认为得谷者昌，失谷者亡，食五谷治百病。这就造就了我们这个饮食的第一个特点。

第二个非常重要的特点是什么呢，就是咱们中华民族非常重视蔬菜的作用，你看前些年美国就发现什么呢，临床很多妇女怀孕以后生的孩子都是先天性脊柱裂，神经管畸形，原因就是怀孕的妈妈在怀孕过程中缺乏叶酸，而叶酸在什么地方呢，叶酸就在绿色的蔬菜里面，所以她怀孕的时候不吃菜，她当然就得不到叶酸的供应，所以美国最后没有办法，在面粉里强化叶酸，而我们中国大概一个人一天要吃500克蔬菜，根据我们了解的情况，德国是80克，英国是83克，荷兰100克，美国102—103克，法国120克，作为地中海的饮食代表意大利也只有230克，希腊是最好的，也只有270克，所以中国人这个蔬菜吃的多，品种多，在我们饮食中是非常重要的，所以我们中国人讲食不可无绿，咱们南京地区有一句口头禅，老百姓经常说，叫三天不吃青，俩眼冒金星。

萝卜青菜各有所爱，要想健康就要吃菜，我们中国人有一句古话，杂食者美食也，广食者营养也，也就是说当您选择的食物越丰富，就越能实现真正的美食与营养，所以菜篮子的颜色越多越好，那么肉与蔬菜相比，谁更有营养呢。

现在有一种错误认识，就认为吃肉才有营养，我最近到一个小学我去看，这些孩子们加班上课，家长全都在外面等着接孩子，旁边有一个小贩推过来一个车，这车里边是炸鸡腿、烤鸡翅，好多家长都给孩子买这东西吃，好象觉得这孩子加班了非得吃这个才能补一补，实际上是非常错误的，你这时候给孩子吃俩西红柿也比吃这东西强啊，因为西红柿有很强的抗氧化功能，吃根黄瓜，给他去去火，清醒清醒脑筋，回家还能继续学习，吃这个脑子都糊涂了。所以现在好多人认为，吃肉才有营养是非常错误的一种饮食。

第三个特点是什么呢，就是我们中国人非常重视豆类，我们那个豆子古代叫菽，我们很多同志现在学英文，一学这个豆，黄豆大豆叫Soyabean，这个字怎么来的，就是从叔这个音译过来的，所以咱们中国人就养成了一个什么饮食习惯呢，可一日无肉，不可一日无豆。爷爷奶奶给咱们做饭，经常要熬豆粥，吃豆包。

现代营养学研究发现，豆类含有丰富的蛋白质、维生素和微量元素，一份豆腐提供的钙和一杯牛奶的涵盖量基本是一致，常吃豆类好处多多。降低胆固醇，有益肠道健康，改善体质，预防骨质疏松，减肥与美容，常吃豆类不仅能吃出健康的体魄，还能吃出好的心情。

第四个方面就是我们中国人，古代的中国的先贤，我们从中亚引进了小麦，但是我们拒绝了面包，我们始终坚持了低温烹饪的原则，我们无论是蒸馒头、焖米饭、熬粥、煮饺子、下面条，偶然全是在水环境里，这个水环境是多少度呢，一百度，现在我们做过实验，高压锅也只有103度，所以它就非常有效的避免了高温烹饪造成的食品安全问题，现在为什么洋快餐有问题呢，炸薯条里边含有非常高的丙烯酰胺，也就是说含碳水化合物丰富的食物如果超过120度烹饪，它就会自然的产生一个天然的副产品，就是丙烯酰胺，而丙烯酰胺动物实验证明它是一个可以诱发癌症的一个成分。

让我们记住先人给子孙后代留下的饮食要诀，得谷者昌，失谷者亡，食五谷治百病。三天不吃青，两眼冒金星，食不可无绿，可一日无肉，不可一日无豆，青菜豆腐保平安，坚持低温烹饪原则，远离油炸烧烤。传统饮食结构是中华民族几千年生活实践和食疗保健经验积淀的结晶，我们有什么理由不去尊重和继承呢。

在抗击非典过程中我有一个经历，我觉得是非常有意思的一个经历，就是说我当时曾经多次在电视台做节目，2003年4月26号我在中央教育台，教育台是在复兴门，我下楼之后我就发现整个长安街人行道上就没人，路上连车都非常少，我从小我就住北京，我从来没见过这么一个阵势，所以我当时特别深刻的感觉到，可怕的不是非典，可怕的是恐慌，所以我在之后5月6号那次做节目，主持人报了山东一例输入病例，为什么非典闹在广东，不闹在山东啊，山东大家知道，山东是孔孟之乡，是中华民族文化的摇篮，山东人有一个非常突出的饮食习惯，他喜欢吃大葱大蒜，这大葱大蒜是什么就是地里长出来的青霉素，同时山东人在春天还有一个饮食习惯，就是要吃小豆腐，大家都吃，只不过有点区别，有钱的人用豆腐，没钱的用豆腐渣和地里的各种野菜混起来吃，包括蒲公英，大蓟小蓟，这是刺菜，还有苦菜、荠菜，荠菜大家知道，中医有一句话叫春食荠菜胜仙丹，把这些东西混合在一起吃，要吃一个月左右，所以我觉得山东人为什么只有一例输入病例，他不得非典呢，我觉得和他们这种健康的传统饮食是有密切联系的。那么这里我们给大家念一段唐代孙思邈的话，孙思邈怎么说呢，他说关中土地，俗好俭吝，厨膳肴馐，不过菹酱而已，就是我们陕西的关中平原一带，这一带的民俗非常的勤俭，而且节省，所以在厨房里做的这些东西，菜肴是比较简单的，当然它里边说的有豆酱，其人少病而寿，但是陕西关中一带的人民群众，他疾病发病很少而且长寿，江南领表，就是广东，其处饶足，这个地方非常富饶，海陆鲑肴，无所不备，水里的海鲜，陆地上的各种动植物全有，无所不备，但是结果是什么呢，土俗多疾而人早夭，就是当地的民众多病，而且寿命比较短，早夭，所以这段话我觉得非常深刻的描述了，不同地区他的不同的饮食结构，对人的健康的影响。

中国的传统饮食以谷物为主，搭配豆类，有丰富的蔬菜，适当的水果，并且全都使用低温烹饪，形成了这样一套饮食结构，而正是这样一种传统的饮食结构，保证了我们这个民族五千年的繁衍，从古至今，我国民间还流传着许多养生方面的古语：“欲得小儿安，须带三分饥和寒”。

中华民族的古代有一个育儿的古训，叫“欲得小儿安，须带三分饥和寒”，就是带孩子绝对不能捂孩子，绝对不能撑孩子，为什么呢，因为如果孩子顿顿都吃撑，吃完之后为了消化这些食物，这个身上的血液就要长时间的留在胃肠道来帮助消化，这么一种结果就造成大脑缺血，大脑一缺血，这血是干什么的，是携带着氧啊，大脑就缺氧了，缺氧以后就影响脑细胞发育，就降低智商了。所以你们现在可以看到好多胖孩子都傻乎乎的，就是这个道理。由于这个大脑缺氧，他就造成什么呢，造成纤维芽细胞生长因子大量的增殖，就使得大脑的血管壁细胞增殖，血管就变窄，又产生恶性循环，就血流量减少，这样严重影响供氧，当然智力就下降，所以要想孩子聪明，绝对不能让孩子吃得太饱，就要记住欲得小儿安，须带三分饥和寒这个道理。

我们还有一句话叫做“所食愈多心愈塞年愈损，所食愈少心愈开年愈益”。就是吃的越多，就没心眼了，全塞住了，最后还减少寿命，吃得越少心眼越多，他聪明，同时寿命还延长，所以这些道理大家都是要牢记的，现在日本的研究发现，老年痴呆的病人都是在年轻的时候经常饱食，而且肉类消费量很大的人，他老了就容易得老年痴呆症，所以最后我们还要强调的，就是坚持传统膳食结构，是健身强国之本。所以我在下一集里，我要讲到我们十大平衡的时候，我会详细的论述这个膳食结构，我们的传统膳食结构的构成，以及它对我们健康发挥得作用。所以我们中医有一句话叫有胃气则生，无胃气则死，胃气者知饥病，所以凡病要三分治七分养，因为脾胃是我们人的后天之本，你只要把脾胃保护好了，你就不会丧失健康了。我们有一句话叫要想身体棒就得嘴头壮，什么时候你要说我天天不觉得饿了，这个毛病就大了，所以一定要保证我们的肠胃健康和正常。

古代有一个人去学中医，去了以后就拜这老师，这老师收了徒弟以后什么都不教他，叫他笼火，让他管一个火炉，然后那个年轻人就天天在他们家笼火，白天是欢火，晚上是关火，笼了一年这炉子没灭，这一年之后这老中医说行了，你已经过关了，我正式要收你是徒弟，而且教你中医，这学生就问为什么呀，这老师就说你现在白天是欢火，白天往火里加好多原料，火就特欢，晚上呢你把它份住一夜都不灭，那么年轻人就像欢火，你多吃点没事儿，老年人就是封火，老年人必须得节食，你才能够百年不熄。
本文的讨论也很精彩，浏览讨论>>


JavaEye推荐



]]> Thu, 26 Jun 2008 11:24:26 +0800 http://xiebh.javaeye.com/blog/208163 http://xiebh.javaeye.com/blog/208163 [转帖]算法之美 xiebh 作者: xiebh  链接：http://xiebh.javaeye.com/blog/208084  发表时间: 2008年06月26日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

原文在这里;

http://www.douban.com/review/1325850/

里面说的是这本书
http://www.amazon.com/o/ASIN/0073523402/102-9052822-5114543?SubscriptionId=1100889MK2XY9PSTV5G2

引用
这是本很新的书，06年末发行，07年才慢慢出现于人们的视野。我在08年初得知这本书，那会我还很奇怪：都什么年月了，怎么还有人写算法教材——这么“经典”的工作，不是上个世纪就被人做完了吗。

　　
　　读了这本Algorithms，我才知道：这才是我心中的算法书，我等待这样一本书已经很多年了。它的确当得起这个名字。
　　
　　书的三位作者：Sanjoy Dasgupta, Papadimitriou, Umesh Vazirani。
　　
　　其中，Umesh堪称计算机理论界的第二名师（第一名师是他自己的导师Manuel Blum），他带过的学生们犹如一个理论计算机科学新生代的全明星队。另一个作者Papadimitriou可算是理论界的第二名笔（第一非Knuth莫属），他的书Computational Complexity和Combinatorial optimization堪称理论计算机科学最好读的专业书，他业余还写了本小说"Turing"。第三个作者Dasgupta是个算法方向的研究者，他最年轻，本身就是Umesh的学生，相比前面二位也没什么噱头——可他注定要因这本Algorithms而被载入计算机科学的史册。
　　
　　在这本书之前，算法的经典教材首推CLRS的算法导论。算法导论让人印象深刻的，是它内容的全面翔实，还有它一千两百页的厚度。
　　
　　而见到这本Algorithms时，你会震惊于它的薄。我从亚马逊收到这本书时，还以为拿错了包裹。
　　
　　可读过之后，你就会折服于它的美。
　　
　　这是一本可以给人带来巨大阅读乐趣的专业书籍。作者娓娓道来，又惜墨如金。用极精炼的语言，为我们指明了一条通向那些美丽算法的线索。我要由衷地说：这本书不仅仅是一些结果的集合，更是一段美好的旅程。我对书中涉及的内容已然熟悉，但读过之后仍感收获良多，对算法这门学问又多了些认识。真的是，写书当如是。
　　
　　
　　对我来说，算法的教与学有两个困难的地方：
　　
　　其一，我们学习了那些经典的算法，除了赞叹一下设计的巧思，但总难免问上一句：怎么想到的？对学生来说，这可能是最费解、也最让人窝火的地方。我们下再多的功夫去记忆书上的算法、去分析这些算法的效率，却终究不能理喻得到这些算法的过程。心理盘算着：给我一个新问题，让我设计个算法出来，我能行吗？答案是：不知道。
　　
　　可这偏偏又是极重要的，无论作研究还是实际工作，一个计算机专业人士最重要的能力，就是解决问题——解决那些不断从理论模型、或者从实际应用中冒出来的新问题。
　　
　　其二，算法作为一门学问，有两条正交的线索。一个是算法处理的对象：数、矩阵、集合、串(strings)、排列 (permutations)、图(graphs)、表达式(formula)、分布(distributions)，等等。另一个是算法的设计思想：贪婪、分治、动态规划、线性规划、局部搜索(local search)，等等。这两条线索几乎是相互独立的：同一个离散对象，例如图，稍有不同的问题，例如single-source shortest path和all-pair shortest path，就可以用到不同的设计思想，如贪婪和动态规划；而完全不同的离散对象上的问题，例如排序和整数乘法，也许就会用到相同的思想，例如分治。
　　
　　两条线索交织在一起，该如何表述。对学生而言，不同离散对象的差别是直观的——我们已经惯于在一章里面完全讲排序、而在另一章里面完全讲图论算法；可是对算法而言，设计思想的差别是根本的，因为这是从问题的结构来的：不同离散对象上面定义的问题，可以展现出类似的结构，而这结构特征，就是支持一类算法的根本，也是我们设计算法的依据。
　　
　　
　　坦率的说，之前还没有哪一本算法书很好的解决这两个困难，就连算法导论在这两个问题上也都做得不好。传统的算法书，大多注重内容 (content)的收录，但却忽视思维过程的展示(exposition)，因此我们学习了经典的算法，却费解于得到算法的过程；而且算法教材对于内容的编排多是枚举式的(enumerative)，这多少是受了the art of computer programming的影响——可那是本工具书而不是教材，因此我们一提到算法课，就想起了排序、哈希、最短路径……这些题目(topics)，却没有一个统一的线索在心中。
　　
　　这本Algorithms，在短短的篇幅内，做到了。
　　
　　三位作者可谓野心勃勃，几乎是胆大妄为。他们对传统算法教学思路的颠覆和背叛可谓前所未有。刚拿到目录的时候，我就替他们捏了一把汗，觉得这哪里像一本“正经”的算法书。可读下来，却不由得佩服——算法书早该这么写了。
　　
　　他们并没有要全面的收录各种各样的算法，他们做的事情是理清了一条算法这门学问的线索。因此填鸭式的内容灌输不是这本书的目的；对结构的精心安排，对问题的数学结构的剖析、从而推出一个算法的过程的讲解，都体现除了这本书真正的用心：它要让学生获得最大程度的启发，要训练学生独立解决问题的能力。
　　
　　我觉得这才是教育真正的目的，也是算法课应该追求的目标。
　　
　　
　　说完了种种溢美之词，也来补充一下这本书的不足。这样一本精炼的算法书，为了它道理的清晰、为了它的美，必然会放弃一点对面面俱到的追求。如果我用这本书来教一门算法课的话，我会增加一点以下的内容：
　　
　　1. 数据结构。
　　这本书对数据结构没有单独的章节，都是在某个数据结构被一个算法用到的时候讲一下，例如priority queue之于Dijkstra's algorithm。这种做法体现了作者的观点：这门课完全就是关于algorithms，数据结构对于算法而言就只是个工具。如果同一个系还能开出一门很强的data structures课，这么做当然很好，各有侧重。但若是我来上课，肯定会提一下数据结构的一些重要思想，例如hashing，和他们的数学背景。因为对于一些实际问题，数据结构已不再是个工具，可能就是问题本身。
　　
　　2. 几个没有被此书涉及到的算法设计和分析的工具：对手论证(adversarial argument)，matroid，平摊分析(amortized analysis)。
　　
　　3. 书中每个算法问题目前最好的上下界(upper bounds, lower bounds)。
　　对于一本书而言，让它记录这些不太现实，因为除非上下界已经紧了，也许出版的第二天就会有更好的上界或下界（其实这事已经发生了，书最结尾 historical notes提了一句整数乘法的fastest known algorithm，结果现在这个结果已经被刷新了）。但老师上课的时候，应该跟学生们讲一下这个内容，让学生心里有这个“上下界”和"open problem"的概念，也晓得算法不是死知识，而是正在发生中的事。
　　
　　4. 讲一点比贪婪、动态规划等等更加“现代”的算法设计的思想，例如spectral analysis, metric embedding, rapid mixing of markov chain等等。
　　也提一点当下的实际问题（例如google或豆瓣想解决的问题）面临的一些新的考虑，例如非经典的现实的计算模型：考虑内外存的I/O模型，面对海量数据输入的streaming model，海量数据的sub-linear algorithms等等。这些现实模型上的算法需要重新设计去面对新的考量。
　　我理解Algorithms这本书没有收录这些内容的原因。越是新的东西老的越快，没有人希望自己的书很快过时。但上课不妨出一些这样的case studies，时髦的东西学生肯定会很感兴趣，这些新东西的粗糙也可以锻炼学生实际解决问题的能力。
　　
　　5. 除了这本Algorithms作为教材，补充读物可以在CLRS算法导论和Kleinberg和Tardos的算法设计（这也是本顶新的书）之间选择一本。我个人推荐后者。


后来又去看了这个作者对算法导论的评价，里面有段也说的挺好的：

http://www.douban.com/review/1319527/


引用
对于算法的伪码描述，倒不必太仔细了。不能指望在算法课上学习编程，算法本来就是很纯粹的数学对象，它的设计思想完全依托于背后的数学结构，它运作的机制以及它的美，也都来自它的数学，可是书上那些模仿C和Pascal的语句，让算法的数学之美沦为一段机械代码。读者辛苦的把自己的思维变成机器，读懂了这些代码，但并不会直接带来对算法本身的领悟。就像一个人懂得了打牌的游戏规则，但并不意味着他就会打牌了，因为他可能依旧不通晓牌理。对算法的学习也要从问题本身的数学结构入手，理解解决此种结构问题的算法它的设计思想，掌握分析具有各种结构特征的算法的数学工具，学习怎样发现问题的结构并从中推出问题的下界（lower bound）。这些才是学习算法的根本。


《算法之美》电子版：http://beust.com/algorithms.pdf
本文的讨论也很精彩，浏览讨论>>


JavaEye推荐



]]> Thu, 26 Jun 2008 07:51:07 +0800 http://xiebh.javaeye.com/blog/208084 http://xiebh.javaeye.com/blog/208084 一个专业数学网站 xiebh 作者: xiebh  链接：http://xiebh.javaeye.com/blog/207416  发表时间: 2008年06月24日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

包括许多数学书籍：
http://www.elmo.net.cn/
本文的讨论也很精彩，浏览讨论>>


JavaEye推荐



]]> Tue, 24 Jun 2008 12:08:20 +0800 http://xiebh.javaeye.com/blog/207416 http://xiebh.javaeye.com/blog/207416 算法导论笔记------------------ 算法在计算机中的作用 xiebh 作者: xiebh  链接：http://xiebh.javaeye.com/blog/205196  发表时间: 2008年06月18日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

今天看了《算法导论》第一章，现把主要内容做以记录。
  1. 首先，算法的定义，
    引用
    简单说， 所谓算法（algorithm）就是定义良好的 计算过程，它取一个或一组作为输入，并产生出一个或者一组作为输出。所以，算法就是一系列的计算步骤，用来将输入数据转换成输出结果。
    自己的理解，算法就是IPO模型，有输入、处理、输出。
  3. 一个算法对所有的输入，都能输出正确的结果并停止，则称其为正确。
  4. 算法可以解决的问题：
    • DNA问题；
    • Internet环境下海量信息情况下，如何快速发现找到自己的信息 ，比如Google的PageRank算法，这使我联想到，电子商务中在海量商品中“个性化推荐”推荐商品；
    • 电子商务中制约其发展的瓶颈之一：安全问题，公钥加密、数字证书、数字签名等问题，他们的基础就是数值算法和数论理论。这让我联想到《应用密码学》。
    • 在制造业中的如何分配稀有资源，使得其作用发挥最大化。此类问题都可以归为线性规划问题。即在满足某些条件下（线性条件下），如何使得目标函数取得最大值或者最小值，看来运筹学是个好东西，自己一定要把理论和实际结合起来，加深理论的理解，并且可以计算机来实现。好赖给本科生上来两学期运筹学的课，基本的东西还是了解的。
    • 给定一幅道路交通图，上面标注了任意相邻交叉路口之间的距离，问题是如何找出任意两个交叉路口之间的最短距离，想必大家都知道，此问题可以运用图论中的最短路径的方法来求。Dijkstra或者Washall-floyd算法。

      • 还有一些，不一一列举。
  5. 许多算法都有两个共同的特征：
    6. 1）有狠毒候选的解决方案，其中大部分都不是我们所需要的。找到真正需要的解决方案往往不是一件容易的事。
    2）有着实际的应用。比如最短路径问题，可以应用到物流公司等等其他场合。

对于程序人员来说有必要研究算法？
作者的观点：尽管 对于某些应用来说，在应用层上没有什么明显的算法方面的要求，比如web开发，但大多数问题对算法还是有一定程度要求的。例如旅游网站提供一种服务，它用于确定如何从一个地方旅行至另外一个地方，所以它可能依赖于计算机硬件、GUI、广域网等，除此之外，它还需要为某些操作设计算法，如寻找路由（最短路径）、显示地图、插入地址等。

此外，即使某些应用对算法没有直接的要求 ，其实也间接的依赖于一些算法。
总之，作者的观点：
引用
是否拥有扎实的算法知识和技术基础，是区分真正熟练的程序员与新手的一项重要特征。利用当代的计算技术，无需了解很多算法方面的东西，也可以完成一些任务。但是，有了良好算法基础和背景的话，可以做的事就要多得多了。

本文的讨论也很精彩，浏览讨论>>


JavaEye推荐



]]> Wed, 18 Jun 2008 15:59:12 +0800 http://xiebh.javaeye.com/blog/205196 http://xiebh.javaeye.com/blog/205196 Java不适做主要编程教学语言（转） xiebh 作者: xiebh  链接：http://xiebh.javaeye.com/blog/205165  发表时间: 2008年06月18日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

最近有一篇文章，说两位退休的美国大学教授上书反对将Java作为编程教学语言，对此我表示高度认同。对于Java，我并不反感，而且相信它在工业应用中的地位不可取代，但是，我一直反对将Java作为主要的编程教学语言，因为教学语言承担着与生产语言不同的任务，它必须能够帮助学生奠定坚实的技术基础，塑造核心技术能力。在这方面，Java不能够胜任。

　　1990年代中期以前，美国的计算机编程入门教育以Pascal为主。我的一位美国程序员朋友至今还怀念他与Pascal为伴的高中年代。到了 1990年代中后期，由于ANSI C语言“纠正”了早期C语言的一些不适合编程教学的问题，因此成为很多美国高中和大学编程入门课的教学语言。1998年，美国指导编程教学的一个协会推荐将C++作为入门教学语言，在当时引起很大的反响，认为是编程教育方面的一个重要进步。但遗憾的是，C++非常复杂，而当时C++语言的教育体系又非常不成熟，因此很多地方的教学方法不得当，把学生迅速拖入无边无际的语言细节当中，引起了学生痛苦的抱怨。大约经过两三年不成功的实践之后，在本世纪初，美国计算机教育界普遍接受Java作为编程入门语言。此后在很短的时间里，Java迅速成为美国高中和大学里的首选编程教学语言，老师教得轻松，学生学得甜蜜，所以这个局面一直持续到现在。

　　而在中国，BASIC语言及其变体一直到1990年代中期都还是“算法语言”课程的主要教学内容，充分折射出当时中国计算机教学与工业应用之间的脱节。只是到了1990年代后期，C语言才确立了在中国工科计算机编程入门教育中的主流地位。到现在为止，大部分工科学生都“必修”“C程序设计语言” 这门课程。不过事实上，根据我的了解，这门课程的总体教学质量相当糟糕，大部分学生可以说是满怀希望而来，两手空空而去。在这种情况下，中国高校计算机编程入门教育已经开始悄悄向Java过渡了。据我所知，有一些名校已经开始将Java设为编程入门课程，并且认为这是与国际接轨进步标志。

　　在我的朋友圈子里，大多数真正的一线开发者和技术领导者，对于将Java作为入门教学语言的“发展方向”都持质疑态度。他们中很多人目前主要的工作都集中在Java上，因此这种态度并非来自所谓语言宗教情绪，而是来自他们招聘和实际工作中的感受。他们发现，只学习Java、C#、VB等“现代” 编程语言的学生，精于拿来主义，长于整合和快速开发，思维活跃，生产效率高，让他们来做直截了当的、有章可循的、非研究性和非创新性的工作比较合适，但是基础不扎实，对计算机系统的理解薄弱，处理细节和矛盾的能力不足，一旦他们熟悉的套路用不上，则缺少自主分析问题、解决问题的知识、能力和经验。

　　今天看到两位教授的“上书”，才知道原来他们也有同感。只不过这两位教授说的更直白，直接反对将Java作为入门编程语言，而是冒天下之大不韪，公然号召开历史倒车，要求退回到C、C++、Lisp和Ada去。

　　我是支持两位教授的。我认为，Java、C#、VB和其它虚拟机之上的语言都不适合作为专业程序员的入门教学语言。在中国还非常缺乏具有创新和独立解决问题的高水平程序员的局面下，我们应该认真做好的事情是努力提高C/C++的教学质量，而不是图快活转向Java。

　　教学语言的选择是至关重要的事情。作为大多数学生第一种需要认真学习理解的编程语言，教学语言将会成为他们中间很多人的“编程母语”，深深地烙印在学生的思维方式中。这个编程母语要帮助学生破除计算机和软件的神秘感，建立对于程序的基本认识和对计算机模型的最初理解。在后续专业基础课和专业课程的学习中，这门编程语言应该作为主要工具贯穿始终，帮助学生认识计算机系统，掌握算法与数据结构技能，熟悉操作系统概念，理解编译原理知识，理解软件抽象及软件设计的基本思想，完成一定量的课程及课外项目实践，建立正确的软件开发实践习惯。不但如此，这种教学语言必须是工业界的主流语言，否则学生学非所用，学习动力无法保证。

　　按照这个标准来衡量，Java适合于作为主要的编程教学语言吗？我不这么认为。首先，我承认Java在教学上有一些优势，比如其开发环境和工具支持非常成熟，有助于培养学生正确的编程习惯；Java是当今第一工业主流语言，标准类库非常全面，可以迅速地开发具有实际用途的程序，有助于激发和保持学生的兴趣；而在数据结构、算法、编译原理的教学方面，Java也毫不落于下风，在软件抽象设计（面向对象）方面，Java还有着明显的优势；特别是在并行编程的教学方面，Java 1.5 concurrency包提供的优势是压倒性的。尽管有如上这些优势，但Java作为教学语言存在着一个致命的缺陷，即它是一个虚拟机语言，这一点就足以把它从教学语言的名单上去掉。
作为一个虚拟机语言，Java对开发者隔绝了下层的真实系统，从而构造了一个近乎完美的环境，在这个环境里，世界上只有一种机器，一个操作系统，内存是无限的，所有的机器都具有相同的字节顺序和一致的类型约定，为了设计的优美而牺牲速度永远是正义行为，从反射到运行时自动加载，从完备的容器类到统一字符编码，一大堆漂亮的功能都可以不费吹灰之力唾手而得。要是这个世界上每台计算机都是一个Java机器，每项编程任务都可以在这样一个近乎完美的环境中开发，那毫无以为，Java是最合适的编程教学语言。但是事实上呢？这样一个完美的环境是Java力量的源泉，但这却不是真实的世界。在真实世界里，我们可能面对非常原始的环境，苛刻的运行时限制，复杂多变的系统环境，令人窒息的细节魔鬼，要对付这些东西，需要开发者具有在应对复杂性，自己构造环境，在诸多限制条件下寻找解决方案的能力。而这种能力，被无数人无数次地证明是软件开发、特别是软件创新的核心能力。把Java作为教学语言，恰恰会导致这种核心能力的缺失。除此之外，如果耐心观察的话，不难发现，几乎在任何软件领域里的创新性成果都首先是由C/C++语言实现的，原因很简单，Java是站在 C/C++基础之上的，只有C/C++先把大路趟开，Java才能够顺势而上。

　　相反，尽管C/C++语言作为教学语言有很多的不足，比如不同环境下开发模式差异大，细节繁多，开发效率低，容易犯错，测试和调试困难，学习者难以保持动力，等等，但是这些问题都可以解决。而C/C++的关键优点，是能够让学习者在真实的计算机抽象上、在大量的细节和矛盾中学会思考，学会解决问题，学会了解真实的系统，知轻重，明生死，从而建立核心能力。掌握了C/C++语言，再去学习和理解Java、C#、Python、Ruby和其它语言，就比较容易达到更高的境界。反之，如果习惯了舒舒服服躺在完美世界里当阔少，那就很难有勇气面对真实的世界。当然，很多开发者认为，现在更重要的能力是理解业务、整合现有资源的能力，而不是处理底层细节的技术。这种说法放在个人身上没有问题，但是不能成为整个编程教育的指导思想。我们需要各个层面上的人才，精通业务和设计的架构师固然很重要，但能够在底层作出创新成果的编程高手实际上更为稀缺和珍贵，很多时候也能够创造更大的价值。而且，更重要的是，一个精通系统知识的开发者在往上走的时候不会遇到大的障碍，而一个只知道拼装组合的“高级设计师”，往往连往下看的勇气都没有。

　　Java的另外一个问题，是其所倡导的繁琐设计风格，一个对象套一个对象，一个对象叠一个对象，概念之间彼此横七竖八地互相依赖，人为制造出一大堆貌似精美、实则累赘的所谓设计。这个问题我已经批评过多次，并且相信这股歪风一定会最终被人们抛弃，Java最终会归于质朴。但是在这一天到来之前， Java对于初学者来说，很可能蒙住他们的双眼，使他们看不到软件设计中最可贵的简单性和优美的统一，体会不到数据和程序的统一。在这一点上，C表现的非常好，而C++如果教学得体，可以做的更好。

　　当然，这并不是为现在的C/C++教学辩护。恰恰相反，从我了解的情况来看，目前普通高校的C/C++教学质量非常令人担忧。学生学不会，而且越学越没有兴趣，老师则感到教起来很棘手，迫于现实情况往往选择敷衍了事。反而是教Java，无论如何学生还能学到一点东西，对就业也有直接的帮助。至于学生的核心能力确实，发展后劲不足等问题，就让他们在现实工作中自己解决吧。坦率地说，这种想法也很有道理。不过，从教学角度来说，我认为老师们还是应该积极考虑如何提高C/C++的教学质量。毕竟学生阶段是十分宝贵的，基础不在这个时期夯实，将来想弥补，就算不是完全不可能，也将付出十倍的代价。本着对学生职业生涯的负责态度，还是应该帮助学生达到这个阶段应该达到的目标。在两位教授的公开信里，也充分表达出这个意思。

　　我赞成的编程教育过程，应当是以C/C++（基本上是C）为主线，贯穿起算法、数据结构、系统原理、编译和数据处理、软件设计和组件技术等关键知识领域，让学生能够从根本上理解现代软件系统的原理和构造，并通过有效的练习建立正确的软件设计观念和良好的工程实践习惯。在这个基础上，无论将来是深入学习C++，还是进入Java的繁荣世界，或者拥抱Python、Ruby，甚至于走向Web开发，都会心领神会，势如破竹。
本文的讨论也很精彩，浏览讨论>>


JavaEye推荐



]]> Wed, 18 Jun 2008 15:19:54 +0800 http://xiebh.javaeye.com/blog/205165 http://xiebh.javaeye.com/blog/205165 一个关注socialweb的blog xiebh 作者: xiebh  链接：http://xiebh.javaeye.com/blog/202204  发表时间: 2008年06月11日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

http://www.klogs.org/blog/
本文的讨论也很精彩，浏览讨论>>


JavaEye推荐



]]> Wed, 11 Jun 2008 16:14:48 +0800 http://xiebh.javaeye.com/blog/202204 http://xiebh.javaeye.com/blog/202204 XML and Java: Developing Web Applications, Second xiebh 作者: xiebh  链接：http://xiebh.javaeye.com/blog/200580  发表时间: 2008年06月05日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

XML and Java: Developing Web Applications, Second Edition：
http://book.javanb.com/xml-and-java-developing-web-applications-2nd/index.html
本文的讨论也很精彩，浏览讨论>>


JavaEye推荐



]]> Thu, 05 Jun 2008 16:48:55 +0800 http://xiebh.javaeye.com/blog/200580 http://xiebh.javaeye.com/blog/200580 丘成桐在台湾交通大学演讲：《我研究数学的经验》 xiebh 作者: xiebh  链接：http://xiebh.javaeye.com/blog/200466  发表时间: 2008年06月05日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

1997年6月9日于
新竹交通大学应用数学系

主持人林松山致辞：
今天我们非常高兴能够请到丘成桐院士来演讲，不是讲深奥的数学而是讲怎么去做深奥的数学，好的数学。这讲题是"我研究数学的经验"，是丘院士研究数学的经验，我们欢迎丘院士。

今天林松山叫我讲关于应用数学的问题，我想一想，讲做学问的经验也好。因为我来台湾也差不多五年了，我想很多研究人员做研究的方法并不见得是最好，尤其是我觉得很多年轻人员为什么在国外能够念的好？这是很值得思考的。 所以，我想讲讲我自己的经验，或是我对数学的看法，让大家参考一下。

我想第一讲是最重要的当然是要有热忱，最主要的就是求真的精神，是始终要培养的。我们做学问是为了求真，无论是对自然界的了解或是从数学方面来讲，我们有不同的观念，可是真跟美就数学来讲是最重要的。追求真跟美的热忱很重要，因为我们整个做学问的路上要碰到很多不同的困难，假如我们没有热忱的话，就没有办法继续下去。所以追求学问的最崇高目标，无过于真跟美，追求的目标无误，热情才不会熄减。我们非想办法培养自己对追求学问的热忱不可。几天我在去看我父亲的遗作，其中有屈原：

路漫漫其修远兮，余将上下而求索。

做学问的路很长很远，我们一定要看得很远，因此我们要上下去求索，要想尽办法去求真。怎么去找真跟美，能够始终不断的坚持下去，这是成功的一个很重要因素，如果没有热忱的话，就永远达不到做大学问的地步。我们再举一个国外的例子，在一个有组织的系统里，我们的竞争很厉害，尤其在物理方面或其它实验科学方面的研究，真是分秒必争；有一个题目刚好出来的时候，大家晓得其他人也会做这个问题，很多post doctor 或者是faculty 聚在一起往往工作到深夜，甚至整个晚上不睡觉。这上面当然有一个竞争性在里面，就是希望达到一个目标，比人家快了一点；可是另一方面也是因为求真的热忱很大，刺激着我们使我们不肯放松。否则的话，很多有tenure 的faculty，没有必要这样拼命，可是很多faculty 还是愿
意这样子作，我想热忱很重要。我们要晓得，作研究的路是很远的，我们要在中间低潮的时候还能够坚持做下去。很多作研究的人，他往往觉得若不在中心的地方，他不敢去做。有些人去到过最好的地方，他也不敢去碰难的题目。这有很多不同的原因，等一下我们再慢慢谈，可是一个最要紧的我想是基本的功夫要做好。基本功夫没做好往往会出现上述问题。中学的时候，大学的时候或者在研究院作研究生的时候，很多基本功夫都要培养，很多学生在年轻的时候不将基本功夫做好，以后做研究就很吃力。

交通大学着重应用数学，可是我们晓得应用数学主要的工具是从纯数学来的；很多的学生人认为既然是应用数学就不用学纯数学或者是应用物理就不必学基本的物理，这是很大的错误。很多基本的功夫非在作学生的时候学不可，为什么呢？我们要做习题，并且要大量的去做，这是学习基本功夫的必要过程。我想很多现在毕了业拿了博士学位的人看一本书的时候不再去做习题。遇到一些比较复杂计算的时候往往不愿意去算，可是很多基本的想法就是要从计算里面领会得来的。我们所做的命题，最后的时候可能留下很简单很漂亮的结果，可是中间往往要花大量的计算我们才晓得这结果是怎么得到的。做好的研究不是一朝一夕得来的，往往做了一百次，九十九次是错的，最后一次是成功的。但成功的时候，我只跟你讲成功的结果，不会跟你讲九十九次失败的经验。错误的经验往往是很好笑的，因为经常犯很明显的错误，要在做完的时候才知道。可是当讲给人家听的时候很少会跟人家讲错误的那部分，其实做错误的结果让你眼睛明亮，它帮你忙，让你向前走。其实你能做错的结果，已经是很不错的了，因为很多初学的人连怎么进去做这个题目都不能够做到。譬如来讲，你给我一个化学上的问题，我从什么地方开始做我都不晓得，因为我没有这基本的功夫，我根本不晓得要从什么地方开始。

一个好的数学家至少要能够掌握两门以上很基本的功夫。基本功夫不是一朝一夕学来的。譬如讲，有代数的方法、有分析的方法、有几何的方法等种种不同的方法，我们在中学的时候就开始学。有些人喜欢几何，觉得代数没有什么意思不想学，或者是学代数的人不想学几何，各种想法都有，可是最后我们发现真的做研究的时候全部都要用到。有人说我只做一个特殊的题目就永远只去做这方面的题目，结果连这方面的问题也不见得做得好。因为数学的发展是不停地在改变，不断地在改变。自然界能够提供给我们的问题，不会因为你是几何学家就继续不断的提供几何方面的问题，而往往是与几何结合在一起的问题。到了题目来的时候，要用到其它工具，我没办法去了解，我就比其他人吃亏了。例如，很重要的一门"群表示理论"，一般来讲很多地方不教这门课，可是在应用科学或者理论科学要用到，"群表示理论"在物理也要用到。有些好的数学家可以很技巧地运用"群表示理论"分析很多问题。我们可能没有这些办法，这就是因为我们基本功夫没有做好的缘故。我想"群表示理论"大概是进了研究院或者大学后半期的时候学的。中国数学家在这方面的训练不够，因此不如国外学者，可见有些基本学科一定要学好，同时要很早就学。我们学数学的不单是要学数学上的基本功夫，在物理上的基本功夫也要学，这是在大学时就要学的。力学、电磁学我们都要有一定的了解，因为物理跟数学这几十年来的发展越来越接近，很多问题是从物理上提供的。我们假如对这些基本的观念完全不认得的话，我们看到题目就比不上其他懂得这方面的数学家，能够很快的融会贯通。到了这个年代，很多的数学的问题往往是从其他的学问如理论物理、应用数学或其它的科学里来的，他们甚至提供intuition和方法。我们想了很久的一些问题，往往因此得到了解决，假使我们从来都不接触其他科学的话，就完全落伍了。举个例子来讲，代数几何学家这二十年来已有长远的发展。可是到了这几年来用古典的方法或者纤维丛的方法，都没有办法解决的问题，结果从理论物理帮助我们看到以前看不到的可能。由于本身知识的局限，很多代数几何学家遇到这个困难的时候没有办法接受这些专家的看法，遇到理论物理就不敢去碰它。可是物理提供了，解决了我们基本问题的方向，代数几何学又觉得很难为情， 因为他们没有办法去了解，所以这是一个很困扰的问题. 假使你不肯学物理学上的基本功夫，你就很难接受这个新的挑战。记得我看过一本书, 序言里讲作者很感谢代数学家Albert，他为什么感激他呢？他说Albert教我代数，使得我坐下来的时候，看代数问题不会恐慌，使我能够坐下来好好地对待代数上的问题。就是讲我们基本功夫能不能做到如此，我坐下来，看到几何问题或应用数学的问题，可不可以坐下来就想个办法来对付他，我想这是很重要的。我们往往看到问题，坐下来的时候，恐慌的不晓得怎么办，因此就算了，我想大家都有这个经验。你做基本功夫一定要做到你看一个题目，明明是unknown、 unsolved的问题，你还是可以坐下来，然后花工夫去解决它。即使你不能够解决它，可是你至少晓得怎样去想办法，同时不会恐慌、放弃，我想这是最重要的。往往我们因为基本功夫没做好，当一个深的题目或看法出现的时候，我们就拒绝去接受，认为这些题目不重要，这是去解释自己为什么不能够去做某一个问题的时候最自然的方法。训练基本功夫要在研究生、大学生或中学