|
|
|
数据资源的开发与利用包含两个层面的含义。首先，数据应当得到有效的组织和管理，才能通过系统化的应用服务于组织的管理和决策；其次，对数据资源的利用存在一个由浅入深、由单一到综合的提升过程。
|
|
|
|
从信息系统对决策支持的程度可以划分为事务处理、分析处理和商务智能三个层次，应用的层次越高，对数据管理和集成性的要求也越高。事务处理围绕组织的基本业务自动化，对数据和信息进行加工和处理，在管理中，它能够回答“发生了什么”的问题。
|
|
|
|
分析处理围绕组织的分析和控制功能，对数据和信息进行回溯、分维、切片和what-if分析，从而回答“为何会发生”的问题。商务智能围绕组织的经营策略和竞争优势，对数据和信息进行挖掘及整理，以求获得支持决策的知识，从而回答“将会发生什么”的问题。这三个应用层次是围绕着对数据资源的开发、管理和利用而逐渐提升的。
|
|
|
|
|
|
如前所述，分析处理是数据资源开发与利用的第二个层次。在这个层次上，人们要求信息系统具有对多方面数据进行综合分析的能力，这就要求建立一个面向分析的、集成存储大量历史数据的新型数据管理机制，这一机制就是数据仓库（Data WareHouse，DW）、决策支持系统（DSS）和联机分析应用数据源的结构化数据环境，其特征在于面向主题、集成性、稳定性和时变性。
|
|
|
|
按功能结构划分，数据仓库系统至少应该包含数据获取、数据存储、数据访问三个关键部分。整个数据仓库系统是一个包含四个层次的体系结构。
|
|
|
|
|
|
数据挖掘是通过挖掘数据仓库中存储的大量数据，从中发现有意义的新的关联模式和趋势的过程。从商业的角度定义，数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。
|
|
|
|
面向管理决策的数据挖掘和商务智能（Business Intelligence，BI）的应用建立在数据资源高度集成的基础上，利用新型的海量数据分析方法，在数据资源中寻找潜在的、有助于管理决策的规律和知识。在人工智能领域，通常把数据挖掘又称为数据库中的知识发现（Knowledge Discovery in Database，KDD）。
|
|
|
|
数据挖掘方法一般都是基于机器学习、模式识别和统计方法的。通过对这些方法的综合和集成，来完成在海量数据中对潜在知识的挖掘工作。数据挖掘的基本目标是和描述。一般来说，可以根据知识类型将数据挖掘划分为以下几类。
|
|
|
|
（1）概念描述（归纳或简约）。包括对概念的识别和比较，它通过对数据进行一般化汇总或将可能矛盾的数据的特征进行说明，寻求对一个数据子集简约的描述。例如，销售经理把顾客的购买数据按年龄分组，观察每组顾客的购买频次和平均消费额。
|
|
|
|
（2）关联规则。发现数据之间的关联性、相关性和因果关系，从而进一步得出不同信息之间潜在的逻辑规律，为业务运作提供参考和决策支持。例如，某大型超市在利用数据挖掘方法对商品进行关联分析后，发现一部分滞销商品居然是消费额最高的25%的客户的购买对象。于是为了能够使得效益最大化，该超市仍然继续供应这些滞销商品，而不是简单地撤下这些商品。
|
|
|
|
（3）分类和预测。对数据按类进行划分，挖掘出每类数据的描述和模型，根据已有信息和模式，来预测未来或未知的属性值。
|
|
|
|
（4）聚类。将数据按照某种标准进行汇总，形成新的类。聚类和分类不同，在分类中，数据事先是给出类标记的，然后选择分类算法对这些类进行划分，是一种监督学习的方式；而聚类则是将数据集合按特定属性测度的相似性进行聚合，并没有事先给定类别，是一种非监督学习的方式。
|
|
|
|
（5）时间序列数据分析。这是统计方法的直接应用，主要包括趋势和偏差分析、用户定义的模式匹配分析及周期数据分析。
|
|
|
|
|
|
由于数据挖掘能带来显著的经济效益，它在电子商务中（特别是金融业、零售业和电信业）应用也越来越广泛。
|
|
|
|
在金融领域，管理者可以通过对客户偿还能力以及信用的分析，进行分类，评出等级。从而可减少放贷的麻木性，提高资金的使用效率。同时还可发现在偿还中起决定作用的主导因素，从而制定相应的金融政策。更值得一提的是，通过对数据的分析还可发现洗黑钱以及其他的犯罪活动。
|
|
|
|
在零售业，数据挖掘可有助于识别顾客购买行为，发现顾客购买模式和趋势，改进服务质量，取得更好的顾客保持力和满意程度，提高货品销量比率，设计更好的货品运输与分销策略，减少商业成本。
|
|
|
|
电信业已经迅速地从单纯的提供市话和长话服务演变为综合电信服务，如语音、传真、寻呼、移动电话、图像、电子邮件、计算机和Web数据传输以及其他的数据通信服务。电信、计算机网络、因特网和各种其他方式的通信和计算的融合是目前的大势所趋。而且随着许多国家对电信业的开放和新型计算与通信技术的发展，电信市场正在迅速扩张并越发竞争激烈。因此，利用数据挖掘技术来帮助理解商业行为、确定电信模式、捕捉盗用行为、更好地利用资源和提高服务质量是非常有必要的。分析人员可以对呼叫源、呼叫目标、呼叫量和每天使用模式等信息进行分析，还可以通过挖掘进行盗用模式分析和异常模式识别，从而可尽早发现盗用，为公司减少损失。
|
|
|
|
|
|
（1）找到潜在客户。在对Web的客户访问信息的挖掘中，利用分类技术可以在因特网上找到未来的潜在客户。使用者可以先对已经存在的访问者根据其行为进行分类，并依此分析老客户的一些公共属性，决定他们分类的关键属性及相互间关系。对于一个新的访问者，通过在Web上的分类发现，识别出这个客户与已经分类的老客户的一些公共的描述，从而对这个新客户进行正确的分类。然后从它的分类判断这个新客户是有利可图的客户群还是无利可图的客户群，决定是否要把这个新客户作为潜在的客户来对待。客户的类型确定后，可以对客户动态地展示Web页面，页面的内容取决于客户与销售商提供的产品和服务之间的关联。若为潜在客户，就可以向这个客户展示一些特殊的、个性化的页面内容。
|
|
|
|
（2）实现客户驻留。在电子商务中，传统客户与销售商之间的空间距离已经不存在，在因特网上，每一个销售商对于客户来说都是一样的，那么使客户在自己的销售站点上驻留更长的时间，对销售商来说则是一个挑战。为了使客户在自己的网站上驻留更长的时间，就应该全面掌握客户的浏览行为，知道客户的兴趣及需求所在，并根据需求动态地向客户做页面推荐，调整Web页面，提供特有的一些商品信息和广告，以使客户满意，从而延长客户在网站上驻留的时间。
|
|
|
|
（3）改进站点的设计。数据挖掘技术可提高站点的效率，Web设计者不再完全依靠专家的定性指导来设计网站，而是根据访问者的信息特征来修改和设计网站结构和外观。站点上页面内容的安排和连接就如超级市场中物品的货架摆布一样，把具有一定支持度和信任度的相关联的物品摆放在一起有助于销售。网站尽可能做到让客户轻易地访问到想访问的页面，给客户留下好的印象，增加下次访问的概率。
|
|
|
|
（4）进行市场预测。通过Web数据挖掘，企业可以分析顾客的将来行为，容易评测市场投资回报率，得到可靠的市场反馈信息。不仅大大降低公司的运营成本，而且便于经营决策的制定。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
（1）准备数据。进行数据挖掘的时候，一般并不是对原始的数据进行挖掘，而是先要对数据作一些预处理，包括合并数据，将多个文件或多个数据库中的数据进行合并处理；选择数据，提取出适合分析的数据集合；数据清洗、过滤，剔除一些无关记录，将文件、图形、图像及多媒体等文件转换成可便于数据挖掘的格式等。
|
|
|
|
（2）发现模式。根据不同的挖掘目标，可以相应采用不同的挖掘方法，得到有意义的数据模式。数据挖掘的方法有很多种，主要包括3大类：统计分析、知识发现、其他可视化方法。统计分析方法主要用于检查数据中的数据规律，然后利用统计模型和数学模型来解释这些规律，通常使用的统计方法有线性分析、非线性分析、线性回归、因子分析，单变量曲线和双变量统计以及时间序列分析等。知识发现方法源于人工智能和机器学习，利用数据搜寻过程，得到一个有意义的数据模式，从中可以发现规律。可视化方法可以给出多变量的图形分析，同时显示多变量间的关系，有助于分析以前挖掘的数据，进一步增强数据挖掘能力。
|
|
|
|
（3）分析、解释模式。通过技术手段，对得到的模式进行数据分析，得出有意义的结论。常用的技术手段有：①关联规则，揭示数据之间的内在的联系，发现用户与站点各页面的访问关系。②分类，给出类的公共属性描述，并将新的记录分配到预先定义好的类中去或分类新的项。③聚类，分类的逆过程，按照“类内相似性最大，类间相似性最小”的原则，对数据进行类的聚集，多指客户群体聚类和Web网页聚类。客户群体聚类将具有相似浏览模式的用户分在一组，而Web网页聚类提供有针对性的网络服务应用。④序列模式，侧重于挖掘出数据的前后时间顺序关系，分析是否存在一定趋势，以预测未来的访问模式。⑤路径分析，可以发现一个Web站点中最经常被访问的路径。
|
|
|
|
|
|
|
|
数据挖掘的基本问题就在于数据的数量和维数，数据结构显得非常复杂，数据分析变量即是在数据挖掘技术应用中产生的，选择合适的分析变量，将提高数据挖掘的效率，特别适用于电子商务中大量商品以及用户信息的处理。
|
|
|
|
针对这一问题，完全可以用分类的方法，分析出不同信息的属性以及出现频率进而抽象出变量，运用到所选模型中，进行分析。
|
|
|
|
|
|
数据抽取的目的是对数据进行浓缩，给出它的紧凑描述，如求和值、平均值、方差值等统计值，或者用直方图、饼状图等图形方式表示，更主要的是从数据泛化的角度来讨论数据总结。数据泛化是一种把最原始、最基本的信息数据从低层次抽象到高层次上的过程。可采用多维数据分析方法和面向属性的归纳方法。
|
|
|
|
在电子商务活动中，采用维数据分析方法进行数据抽取，他针对的是电子商务活动中的客户数据仓库。在数据分析中经常要用到诸如求和、总计、平均、最大、最小等汇集操作，这类操作的计算量特别大，可把汇集操作结果预先计算并存储起来，以便用于决策支持系统。
|
|
|
|
|
|
数据是海量的，那么数据中就会隐含一定的变化趋势，在电子商务中对数据趋势的预测尤为重要，特别是对客户信息以及商品信息合理的预测，有利于企业有效的决策，获得更多地利润。但如何对这一趋势做出合理的预测，现在还没有统一标准可寻，而且在进行数据挖掘过程中大量数据形成文本后格式的非标准化，也给数据的有效挖掘带来了困难。
|
|
|
|
针对这一问题，可以在电子商务中应用聚类分析的方法，把具有相似浏览模式的用户集中起来，对其进行详细的分析，从而提供更适合、更令用户满意的服务。聚类分析方法的优势在于便于用户在查看日志时对商品及客户信息有全面及清晰的掌控，便于开发和执行未来的市场战略，包括自动给一个特定的顾客聚类发送销售邮件，为一个顾客聚类动态地改变一个特殊的站点等，这无论对客户和销售商来说都很有意义。
|
|
|
|
|
|
数据模型包括概念数据模型、逻辑数据模型、物理模型。数据挖掘的模型目前也有多种，包括采集模型、处理模型及其他模型，但无论哪种模型都不是很成熟存在缺陷，对数据模型不同采用不同的方式应用。可能产生不同的结果，甚至差异很大，因此这就涉及数据可靠性的问题。数据的可靠性对于电子商务来说尤为重要作用。
|
|
|
|
针对这一问题，我们要保障数据在挖掘过程中的可靠性，保证它的准确性与实时性，进而使其在最后的结果中的准确度达到最高，同时在应用模型过程中要尽量全面的分析问题，避免片面，而且分析结果要由多人进行评价，从而最大限度地保证数据的可靠性。
|
|
|
|
|
|
大量的数据存在着私有性与安全性的问题，特别是电子商务中的各种信息，这就给数据挖掘造成了一定的阻碍，如何解决这一问题成了技术在应用中的关键。
|
|
|
|
为此相关人员在进行数据挖掘过程中一定要遵守职业道德，保障信息的机密性。
|
|
|
|
|
|
数据挖掘结果具有不确定性的特征，因为挖掘的目的不同所以最后挖掘的结果自然也会千差万别，因此这就需要我们与所要挖掘的目的相结合，做出合理判断，得出企业所需要的信息，便于企业的决策选择。进而达到提高企业经济效益，获得更多利润的目的。
|
|
|
|
数据挖掘可以发现一些潜在的用户，对于电子商务来说是一个不可或缺的技术支持，数据挖掘的成功要求使用者对期望解决问题的领域有深刻的了解，数据挖掘技术在一定程度上解决了电子商务信息不能有效利用的问题，但它在运用过程中出现的问题也亟待人们去解决。相信数据挖掘技术的改进将推进电子商务的深入发展。
|
|
|
|
|
|
|
|
电子商务产生的数据具备异构、不确定性、无结构或半结构、动态性和海量性等特点，复杂程度已远远超出了人类目前已有的分析能力。基于Web的数据挖掘与传统的数据挖掘有许多不同之处。Web数据挖掘主要包括三种数据挖掘任务。
|
|
|
|
（1）对Web内容的挖掘。互联网电子商务数据呈指数形式飞速增长，然而当用户面对整个因特网的海量数据时，却感觉很难找到对自己有用的商业数据。例如：当买方在互联网寻找适合自己的商品和服务、比较商品价格和交易条件时，需要尽可能搜集此商品的相关Web页面，即以商品作为Web页面聚类或者分类的依据，以此提高电子商务交易过程尤其是前期交易过程的效率。总的来说为方便客户，应该为他们提供一步到位的查询解决方案，Web页面的自动聚分类方法有助于压缩搜索空间，加快检索速度，提高查询精度，帮助客户快速找到相关信息。
|
|
|
|
（2）对Web结构的挖掘。Web页面是半结构化的，在Web页面不仅有各种内容信息，而且存在特定的结构标记，其中最重要的标记就是超链接。Web页面所包含的知识不仅存在于各个页面的内容中，也存在于页面之间的相互链接中。对于电子商务而言，一个重要的问题是要找到对某个商业主题可以当作核心信息源的一些网站和网页。通过对Web电子商务进行数据挖掘时理解和利用超文本链接结构，可以此核心信息源为基础，优化供应链和虚拟企业产生和运作的效率，有助于网络电子商务社区的发现和利用。
|
|
|
|
（3）对Web访问的挖掘。对Web访问的挖掘是目前研究最深入的Web数据挖掘技术。在Internet电子商务中，电子时空下推拉互动的双向交互信息被记录在Web服务器的日志文件中。Web日志一般可分为访问日志、代理日志和引用日志。
|
|
|
|
对于拓扑结构已知的特定商务站点，尽管用户在不同时期可能有不同的浏览模式，但就长期而言用户行为是有一定的规律及趋势的。通过分析Web日志文件，可以发现其中蕴涵的相似客户群体、相关Web重要页面和有关客户访问模式。以频繁访问路径和相关Web重要页面为依据优化商务站点结构，实现网站自适应；以客户分类为依据为客户提供个性化服务（如电子商品推荐系统），以挖掘销售数据发现交易关联性为依据提高营销活动效率和强化广告宣传效应。这里部分理论是以市场营销学的市场细分原理为基础，基本假定是“消费者过去的行为是其今后消费倾向的最好说明”。
|
|
|
|
|
|
Web挖掘指使用数据挖掘技术在WWW数据中发现潜在的、有用的模式或信息。Web挖掘研究覆盖了多个研究领域，包括数据库技术、信息获取技术、统计学、人工智能中的机器学习和神经网络等。Web挖掘可以在很多方面发挥作用，如对搜索引擎的结构进行挖掘，确定权威页面，Web文档分类，Web log挖掘，智能查询，建立MetaWeb数据仓库等。一般对Web数据挖掘做如下定义：Web数据挖掘是指Web从文档结构和使用的集合C中发现隐含的模式P。如果将C看作输入，P看作输出，那么Web挖掘的过程就是从输入到输出的一个映射，与传统数据和数据仓库相比，Web上的信息是非结构化或半结构化的、动态的、并且是容易造成混淆的，所以很难直接以Web网页上的数据进行数据挖掘，而必须经过必要的数据处理。
|
|
|
|
（1）查找资源。任务是从目标Web文档中得到数据，值得注意的是有时信息资源不仅限于在线Web文档，还包括电子邮件、电子文档、新闻组，或者网站的日志数据甚至是通过Web形成的交易数据库中的数据。信息选择和预处理任务是从取得的Web资源中剔除无用信息和将信息进行必要的整理。例如从Web文档中自动去除广告连接、去除多余格式标记、自动识别段落或者字段并将数据组织成规整的逻辑形式甚至是关系表。
|
|
|
|
（2）模式发现。自动进行模式发现，可以在同一个站点内部或在多个站点之间进行。
|
|
|
|
（3）模式分析。验证、解释上一步骤产生的模式。可以是机器自动完成，也可以是与分析人员进行交互来完成。
|
|
|
|
|
|
在Web挖掘中有一个很重要的步骤就是要为挖掘算法找到合适的数据。以一个图书网站为例，在Web使用模式数据挖掘中，数据的来源主要有以下3个方面。
|
|
|
|
（1）服务器端数据的收集（Server Level Collection）。
|
|
|
|
可以从Web服务器、代理服务器的Web log文件中收集数据，此部分信息是最简单和最方便的数据来源，它记录了每一次网页请求信息。启动Web服务器的日志记录功能后，每当浏览者通过浏览器请求一个网页时，这个请求被记录在访问日志中。代理服务器就把所记录的信息保存在文本文件中，通常以“.txt”或“.log”作为文件的扩展名。Web日志文件是由一条条记录组成，一条记录就记录了购书者对Web页面的一次访问。
|
|
|
|
另外，Web服务器还可以存储其他的Web使用信息，比如Cookie，以及购书者提交的查询数据。Cookie是由服务器产生的，用于记录购书者的状态或者访问路径。由于涉及到购书者的隐私问题，使用Cookie需要客户的配合。
|
|
|
|
（2）包监测技术（packet sniffing technology）。辅之以监视所有到达服务器的数据，提取其中的HTTP请求信息。此部分数据主要来自购书者的点击流（Click stream），用于考察购书者的行为表现。
|
|
|
|
网络底层信息监听过滤指监听整个网络的所有信息流量，并根据信息源主机、目标主机、服务协议端口等信息过滤掉不关心的垃圾数据，然后进行进一步的处理，如关键字的搜索等，最终将购书者感兴趣的数据发送到给定的数据接受程序，存储到数据库中进行分析统计。
|
|
|
|
（3）后台数据库里的原有数据。后台数据库存储了购书者、图书和订单这三个方面信息，主要有3个数据表构成：第1个是User（用户信息数据表），它用来存放登录的用户信息；第2个是Book（图书数据表），用来记录图书的基本信息；第3个是Orders（订单数据表），用来存放购买者在网上所下的订单情况。按照Web数据挖掘技术，将后台数据库与网络日志预处理后得到的数据相匹配建立数据挖掘库，即购书者特征数据仓库，将收集到的数据进行分门别类。依照此原理便可以将分布在不同功能模块中的信息抽取出来，然后清洗数据。
|
|
|
|
数据挖掘阶段。我们把以上信息转化为多维数据模型中的星型模式来表示如下，我们将用户的一次订书看作一个事务T，采集到的多个订书记录T组成事务数据库D，它由N个二维数组组成，数组的行集为所有BBS登录记录样本的集合，列集为特征集，事务的唯一标识符为SrcIP。Web数据挖掘技术实现的总体流程如下。
|
|
|
|
（1）确立目标样本，即由用户选择目标文本，作为提取用户的特征信息。
|
|
|
|
（2）提取特征信息，即根据目标样本的词频分布，从统计词典中提取出挖掘目标的特征向量并计算出相应的权值。
|
|
|
|
（3）网络信息获取，即先利用搜索引擎站点选择待采集站点，再利用Robot程序采集静态Web页面，最后获取被访问站点网络数据库中的动态信息，生成WWW资源索引库。
|
|
|
|
（4）信息特征匹配，即提取索引库中的源信息的特征向量，并与目标样本的特征向量进行匹配，将符合阈值条件的信息返回给用户。
|
|
|
|
Web数据挖掘还有待进一步的研究，尤其是近来对Web内容挖掘方面集中在信息集成，如建立基于Web的知识库或基于Web的数据仓库的研究上，但这种访求同样存在很多的问题。但建立一个基于Web数据仓库的数据挖掘系统仍是一种值得研究的方法。
|
|
|
|
|
|
（1）Web页面聚分类应用研究。页面聚分类挖掘结果在电子商务各环节的应用问题；以Web内容挖掘为主结合Web结构挖掘和Web使用挖掘的多智能集成算法的Web页面聚分类模型的研究；如何改进文本聚分类挖掘算法以适合电子商务Web页面聚分类。
|
|
|
|
（2）客户群聚分类应用研究。客户聚分类在电子商务各环节的应用问题，研究对营销机制的影响；以Web访问挖掘为主的多智能集成算法的聚分类模型；电子商务推荐系统的研制与开发。
|
|
|
|
（3）客户频繁访问路径挖掘应用研究。以客户频繁访问路径挖掘结果为基础分析用户访问站点的规律、改进网站的组织结构及其性能，实现网站自适应；客户频繁访问路径挖掘算法。
|
|
|
|
（4）交易关联性挖掘应用研究。以交易关联性挖掘结果为基础研究对企业决策管理、协同商务管理、政府监管等方面的应用问题，研究影响识别交易关联性的关键或主要数据特征；基于多智能算法的交易关联性挖掘模型。
|
|
|
|
（5）异常客户与异常交易检测应用研究。异常监测在电子商务中的基本应用框架，异常交易或者电子欺诈所具备的数据特征，异常交易或电子欺诈的识别算法。
|
|
|
|
（6）互联网下供应链关系挖掘研究。主要研究电子供应链和虚拟企业形成效率等的关系，电子供应链关系挖掘的基本模型、算法和应用，如何解释和应用电子供应链挖掘结果以有效地优化电子商务供应链。
|
|
|
|
（7）电子商务数据挖掘的解释问题。电子商务数据挖掘涉及管理学、经济学、计算机科学、智能科学、数学等多领域、跨学科的理论知识，因此需研究Web数据挖掘结果的管理理论解释问题和经济理论解释问题中模型的建立机制、步骤和对挖掘结果和解释理论本身的互动影响；主要涉及管理学和经济学理论的选择；解释的立场问题；挖掘所获得新知识对解释理论本身的修正问题。
|
|
|
|
（8）商务数据挖掘过程改进。商务数据挖掘须启动过程改进，当前国内外无成熟的商务数据挖掘的过程研究。研究商务数据挖掘或商务智能项目实施过程，定义企业在该领域的标准过程，研究如何通过企业过程的改进不断提高ERP等商业数据系统的应用价值。
|
|
|
|
（9）电子商务数据集特征识别。必须在Web挖掘算法的挖掘前、挖掘中、挖掘后各阶段充分考虑电子商务数据集所独有的、区别于一般数据集的特征；根据识别出的商务数据特征设计新的数据挖掘算法或对原数据挖掘算法进行改进和优化，即特征结合问题。
|
|
|
