金色的骷髅 发表于 2015-2-3 23:42:31

ASP网页设计用ASP完成近程抓取网页到当地数据库

Active Server Page技术为应用开发商提供了基于脚本的直观、快速、高效的应用开发手段,极大地提高了开发的效果。在讨论ASP的安全性问题之前,让我们来看看ASP是怎么工作的。数据|数据库|网页       接到一个义务是把中国名牌网站的某些内容添加到咱们的网站上,这些网站上有些页面是文章链接列表,点击链接会呈现文章的具体内容显示页,依据这个纪律,联合正则表达式,XMLHTTP手艺,Jscript办事端剧本,和ADO手艺,写了一个小法式,把这些内容抓取到了当地数据库。抓取上去,然后就数据库对数据库导数据就对照便利了。先创立一个Access数据库,布局以下

Id主动编号标识,主键oldID数字旧数据编码Title题目文本Content备注内容
  详细完成代码以下

<%@LANGUAGE="JSCRIPT" CODEPAGE="936"%>
<!-- METADATA NAME="Microsoft ActiveX Data Objects 2.5 Library"
TYPE="TypeLib" UUID="{00000205-0000-0010-8000-00AA006D2EA4}" -->
<%
 //翻开数据库
 try
 {
  var strConnectionString = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" + Server.MapPath("#db.mdb");
  var objConnection = Server.CreateObject("ADODB.Connection");
  objConnection.Open(strConnectionString);
 }
 catch(e)
 {
  Response.Write(e.description);
  Response.End();
 }
%>

<script language="jscript" runat="server">
//近程获得数据

function GetData()
{
 var xHttp = new ActiveXObject("microsoft.xmlhttp");
 xHttp.open("POST","http://www.chinamp.org/mppro2.php",false);
 xHttp.send();
 return(xHttp.responseText);
}

//使用正则表达式提取合适前提的链接

function GetLinks(str)
{
 var re = new RegExp("<a[^<>]+?\>((.|\n)*?)<\/a>", "gi");
 var a = str.match(re); //第一次搜刮 for(var i=0;i<a.length;i++)
 {
  var t1,t2;
  var temp;
  var r = /qy.php\?id=(\d+)/ig;

  if(!r.test(a))continue;
  temp = a.match(/qy.php\?id=(\d+)/ig);
  t1 = RegExp.$1;
  temp = a.match(/<font[^<>]+?color=\"#000000\"\>(.*?)<\/font>/ig);
  t2 = RegExp.$1;
  if(t1 == t2)continue;
  SaveArticle(t1,t2,GetContent(t1));
 }
}

//经由过程提取的链接获得ID,并经由过程这个ID取抓取响应的文章

function GetContent(id)
{
 var xHttp = new ActiveXObject("microsoft.xmlhttp");
 xHttp.open("POST","http://www.chinamp.org/qy.php?id=" + id,false);
 xHttp.send();
 var str = xHttp.responseText;
 var re = new RegExp("<span[^<>]+?style=\"font-size:10\.8pt\">(.*?)<\/span>", "gi");
 var a = str.match(re);
 return(RegExp.$1);
}

//入库

function SaveArticle(oldID,Title,Content)
{
 var oRst = Server.CreateObject("ADODB.Recordset");
 var sQuery;
 sQuery = "SELECT oldID,Title,Content FROM Articles"
 oRst.Open(sQuery,objConnection,adOpenStatic,adLockPessimistic);
 oRst.AddNew();
 oRst("oldID") = oldID;
 oRst("Title") = Title;
 oRst("Content") = Content;
 oRst.Update();
 oRst.Close();
 Response.Write(Title + "抓取胜利" + "<br>");
}

</script>
<HTML>
<HEAD>
<TITLE> 抓取文章</TITLE>
<meta http-equiv="Content-Type" content="text/html; charset=gb2312"></HEAD>
<BODY>
<%=GetLinks(GetData())%>
</BODY>

</HTML>

  下一步就是,把这个Access的数据库的内容导入到办事器的数据库里了,然而还有一些器材,就是本来的文章是分类的,所以导入的时分还到手工分类,由于在剖析链接的时分正则表达式原本写就很费事,但还算严谨,假如把分类也用正则表达式解析的话,会很费事,由于分类是包括在<td>外面的,而谁人页的<td>标签又良多,要想定位分类文字地点的<td>会很费事,即使写出来,法式也会得到天真性,变得难以保护,所以如今只做到了这一步。
</p>缺点:安全性不是太差了,还行,只要你充分利用系统自带的工具;唯一缺点就是执行效率慢,如何进行网站优化以后,效果会比较好。

爱飞 发表于 2015-2-4 06:06:52

在平时的学习过程中要注意现学现用,注重运用,在掌握了一定的基础知识后,我们可以尝试做一些网页,也许在开始的时候我们可能会遇到很多问题,比如说如何很好的构建基本框架。

兰色精灵 发表于 2015-2-7 09:57:33

ASP主要是用好六个对象,其实最主要的是用好其中两个:response和request,就可以随心所欲地控制网页变换和响应用户动作了。

小妖女 发表于 2015-2-21 14:10:55

ASP主要是用好六个对象,其实最主要的是用好其中两个:response和request,就可以随心所欲地控制网页变换和响应用户动作了。

海妖 发表于 2015-3-2 00:13:15

ASP(ActiveServerPages)是Microsfot公司1996年11月推出的WEB应用程序开发技术,它既不是一种程序语言,也不是一种开发工具,而是一种技术框架,不须使用微软的产品就能编写它的代码,能产生和执行动态、交互式、高效率的站占服务器的应用程序。

深爱那片海 发表于 2015-3-6 04:03:49

ASP的语言不仅仅只是命令格式差不多,而是包含在<%%>之内的命令完全就是VB语法。虽然ASP也是做为单独的一个技术来提出的,但他就是完全继承了VB所有的功能。

再现理想 发表于 2015-3-11 08:17:46

最近在学asp,不要问我为什么不直接学.net,因为公司网站是asp做的所以有这个需要,卖了本书asp入门到精通,对里面的六大内置对象老是记不住,还有很多属性和方法看的头晕。

变相怪杰 发表于 2015-3-13 12:07:44

Request:从字面上讲就是“请求”,因此这个是处理客户端提交的东东的,例如Resuest.Form,Request.QueryString,或者干脆Request("变量名")

分手快乐 发表于 2015-3-17 11:10:54

我们必须明确一个大方向,不要只是停留在因为学而去学,我们应有方向应有目标.

飘灵儿 发表于 2015-3-19 02:30:23

ASP.Net和ASP的最大区别在于编程思维的转换,而不仅仅在于功能的增强。ASP使用VBS/JS这样的脚本语言混合html来编程,而那些脚本语言属于弱类型、面向结构的编程语言,而非面向对象,这就明显产生以下几个问题:

金色的骷髅 发表于 2015-3-27 00:10:51

如何学好ASP,以前也有人问过,把回答给你转过来看看能否对你有帮助:

飘飘悠悠 发表于 2015-4-11 18:51:11

虽然ASP也有很多网络教程。但是这些都不系统。都是半路出家,只是从一个例子告诉你怎么用。不会深入讨论,更不会将没有出现在例子里的方法都一一列举出来。

因胸联盟 发表于 2015-4-16 03:10:08

如何学好ASP,以前也有人问过,把回答给你转过来看看能否对你有帮助:

活着的死人 发表于 2015-4-26 17:10:36

交流是必要的,不管是生活还是学习我们都要试着去交流,通过交流我们可以学到很多我们自己本身所没有的知识,可以分享别人的经验甚至经历。

仓酷云 发表于 2015-4-27 14:55:26

跟学别的语言一样,先掌握变量,流程控制语句(就是ifwhileselect)等,函数/过程,数组

简单生活 发表于 2015-5-1 21:09:17

不能只是将它停留在纸上谈兵的程度上。

小女巫 发表于 2015-5-4 11:40:09

学习是为了用的,是为了让你的程序产生价值,把握住这个原则会比较轻松点。除此之外,课外时间一定要多参加一些社会实践活动,来锻炼自己的能力。

莫相离 发表于 2015-6-12 19:01:24

Response:从字面上讲是“响应”,因此这个是服务端向客户端发送东西的,例如Response.Write

只想知道 发表于 2015-7-6 01:26:03

完全不知道到底自己学的是什么。最后,除了教程里面说的几个例子,还是什么都不会。

乐观 发表于 2015-7-20 14:58:23

封装性使得代码逻辑清晰,易于管理,并且应用到ASP.Net上就可以使业务逻辑和Html页面分离,这样无论页面原型如何改变,业务逻辑代码都不必做任何改动;继承性和多态性使得代码的可重用性大大提高。
页: [1] 2
查看完整版本: ASP网页设计用ASP完成近程抓取网页到当地数据库