ASP网页设计用ASP完成近程抓取网页到当地数据库
Active Server Page技术为应用开发商提供了基于脚本的直观、快速、高效的应用开发手段,极大地提高了开发的效果。在讨论ASP的安全性问题之前,让我们来看看ASP是怎么工作的。数据|数据库|网页 接到一个义务是把中国名牌网站的某些内容添加到咱们的网站上,这些网站上有些页面是文章链接列表,点击链接会呈现文章的具体内容显示页,依据这个纪律,联合正则表达式,XMLHTTP手艺,Jscript办事端剧本,和ADO手艺,写了一个小法式,把这些内容抓取到了当地数据库。抓取上去,然后就数据库对数据库导数据就对照便利了。先创立一个Access数据库,布局以下Id主动编号标识,主键oldID数字旧数据编码Title题目文本Content备注内容
详细完成代码以下
<%@LANGUAGE="JSCRIPT" CODEPAGE="936"%>
<!-- METADATA NAME="Microsoft ActiveX Data Objects 2.5 Library"
TYPE="TypeLib" UUID="{00000205-0000-0010-8000-00AA006D2EA4}" -->
<%
//翻开数据库
try
{
var strConnectionString = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" + Server.MapPath("#db.mdb");
var objConnection = Server.CreateObject("ADODB.Connection");
objConnection.Open(strConnectionString);
}
catch(e)
{
Response.Write(e.description);
Response.End();
}
%>
<script language="jscript" runat="server">
//近程获得数据
function GetData()
{
var xHttp = new ActiveXObject("microsoft.xmlhttp");
xHttp.open("POST","http://www.chinamp.org/mppro2.php",false);
xHttp.send();
return(xHttp.responseText);
}
//使用正则表达式提取合适前提的链接
function GetLinks(str)
{
var re = new RegExp("<a[^<>]+?\>((.|\n)*?)<\/a>", "gi");
var a = str.match(re); //第一次搜刮 for(var i=0;i<a.length;i++)
{
var t1,t2;
var temp;
var r = /qy.php\?id=(\d+)/ig;
if(!r.test(a))continue;
temp = a.match(/qy.php\?id=(\d+)/ig);
t1 = RegExp.$1;
temp = a.match(/<font[^<>]+?color=\"#000000\"\>(.*?)<\/font>/ig);
t2 = RegExp.$1;
if(t1 == t2)continue;
SaveArticle(t1,t2,GetContent(t1));
}
}
//经由过程提取的链接获得ID,并经由过程这个ID取抓取响应的文章
function GetContent(id)
{
var xHttp = new ActiveXObject("microsoft.xmlhttp");
xHttp.open("POST","http://www.chinamp.org/qy.php?id=" + id,false);
xHttp.send();
var str = xHttp.responseText;
var re = new RegExp("<span[^<>]+?style=\"font-size:10\.8pt\">(.*?)<\/span>", "gi");
var a = str.match(re);
return(RegExp.$1);
}
//入库
function SaveArticle(oldID,Title,Content)
{
var oRst = Server.CreateObject("ADODB.Recordset");
var sQuery;
sQuery = "SELECT oldID,Title,Content FROM Articles"
oRst.Open(sQuery,objConnection,adOpenStatic,adLockPessimistic);
oRst.AddNew();
oRst("oldID") = oldID;
oRst("Title") = Title;
oRst("Content") = Content;
oRst.Update();
oRst.Close();
Response.Write(Title + "抓取胜利" + "<br>");
}
</script>
<HTML>
<HEAD>
<TITLE> 抓取文章</TITLE>
<meta http-equiv="Content-Type" content="text/html; charset=gb2312"></HEAD>
<BODY>
<%=GetLinks(GetData())%>
</BODY>
</HTML>
下一步就是,把这个Access的数据库的内容导入到办事器的数据库里了,然而还有一些器材,就是本来的文章是分类的,所以导入的时分还到手工分类,由于在剖析链接的时分正则表达式原本写就很费事,但还算严谨,假如把分类也用正则表达式解析的话,会很费事,由于分类是包括在<td>外面的,而谁人页的<td>标签又良多,要想定位分类文字地点的<td>会很费事,即使写出来,法式也会得到天真性,变得难以保护,所以如今只做到了这一步。
</p>缺点:安全性不是太差了,还行,只要你充分利用系统自带的工具;唯一缺点就是执行效率慢,如何进行网站优化以后,效果会比较好。 在平时的学习过程中要注意现学现用,注重运用,在掌握了一定的基础知识后,我们可以尝试做一些网页,也许在开始的时候我们可能会遇到很多问题,比如说如何很好的构建基本框架。 ASP主要是用好六个对象,其实最主要的是用好其中两个:response和request,就可以随心所欲地控制网页变换和响应用户动作了。 ASP主要是用好六个对象,其实最主要的是用好其中两个:response和request,就可以随心所欲地控制网页变换和响应用户动作了。 ASP(ActiveServerPages)是Microsfot公司1996年11月推出的WEB应用程序开发技术,它既不是一种程序语言,也不是一种开发工具,而是一种技术框架,不须使用微软的产品就能编写它的代码,能产生和执行动态、交互式、高效率的站占服务器的应用程序。 ASP的语言不仅仅只是命令格式差不多,而是包含在<%%>之内的命令完全就是VB语法。虽然ASP也是做为单独的一个技术来提出的,但他就是完全继承了VB所有的功能。 最近在学asp,不要问我为什么不直接学.net,因为公司网站是asp做的所以有这个需要,卖了本书asp入门到精通,对里面的六大内置对象老是记不住,还有很多属性和方法看的头晕。 Request:从字面上讲就是“请求”,因此这个是处理客户端提交的东东的,例如Resuest.Form,Request.QueryString,或者干脆Request("变量名") 我们必须明确一个大方向,不要只是停留在因为学而去学,我们应有方向应有目标. ASP.Net和ASP的最大区别在于编程思维的转换,而不仅仅在于功能的增强。ASP使用VBS/JS这样的脚本语言混合html来编程,而那些脚本语言属于弱类型、面向结构的编程语言,而非面向对象,这就明显产生以下几个问题: 如何学好ASP,以前也有人问过,把回答给你转过来看看能否对你有帮助: 虽然ASP也有很多网络教程。但是这些都不系统。都是半路出家,只是从一个例子告诉你怎么用。不会深入讨论,更不会将没有出现在例子里的方法都一一列举出来。 如何学好ASP,以前也有人问过,把回答给你转过来看看能否对你有帮助: 交流是必要的,不管是生活还是学习我们都要试着去交流,通过交流我们可以学到很多我们自己本身所没有的知识,可以分享别人的经验甚至经历。 跟学别的语言一样,先掌握变量,流程控制语句(就是ifwhileselect)等,函数/过程,数组 不能只是将它停留在纸上谈兵的程度上。 学习是为了用的,是为了让你的程序产生价值,把握住这个原则会比较轻松点。除此之外,课外时间一定要多参加一些社会实践活动,来锻炼自己的能力。 Response:从字面上讲是“响应”,因此这个是服务端向客户端发送东西的,例如Response.Write 完全不知道到底自己学的是什么。最后,除了教程里面说的几个例子,还是什么都不会。 封装性使得代码逻辑清晰,易于管理,并且应用到ASP.Net上就可以使业务逻辑和Html页面分离,这样无论页面原型如何改变,业务逻辑代码都不必做任何改动;继承性和多态性使得代码的可重用性大大提高。
页:
[1]
2