此搜索引擎適于在一個中等規模的局域網中使用，由于找到的網頁存在數據庫中，不僅可以索靜態的HTML頁面，可以搜索php、asp等動態頁面。對于一個擁有5萬個網頁的系統(使用PII-400作為服務器)，搜索響應時間在2-10秒左右，完全可以滿足要求，由于Java、MySQL、PHP都是跨平臺的軟件，所以此搜索引擎不僅可以工作在Windows服務器上，而且也可以工作在Linux等其他系統中。

一、建立搜索引擎需要的數據庫和數據表。

首先建立數據庫：

c:\mysql\bin\＞ mysqladmin -uroot -pmypasswd create Spider

然后建立數據庫中的表結構

c:\mysql\bin\＞ mysql -uroot -pmypasswd Spider ＜ Spider.mysql

其中Spider.mysql為一個文本文件，其內容如下：

CREATE TABLE link (

Id int(10) unsigned NOT NULL auto_increment,

Url varchar(120) NOT NULL,

Class tinyint(3) unsigned NOT NULL default 0 ,

IsSearchLink tinyint(3) unsigned default 0,

PRIMARY KEY (Url),

UNIQUE Id (Id),

KEY Url (Url),

KEY Class (Class)

);

# 本局域網的初始主頁地址，搜索蜘蛛從此網址開始搜索所有其他網頁

INSERT INTO link VALUES( '1', 'HTTP://102.211.69.1/', '0', '0');

# 數據表 webpagelocal 用來存放下載的所有的網頁

CREATE TABLE webpagelocal (

Id int(10) unsigned NOT NULL auto_increment,

Url varchar(120) NOT NULL,

Content text NOT NULL,

PRIMARY KEY (Url),

UNIQUE Id (Id),

KEY Url (Url)

);

# 數據表 webpagefindfast

# 用MakeFast.php從表webpagelocal中提取512字節的檢索信息存放其中

CREATE TABLE webpagefindfast (

Id int(10) unsigned NOT NULL,

Url varchar(120) NOT NULL,

Title varchar(64),

Content blob,

PRIMARY KEY (Url),

KEY Url (Url),

KEY Title (Title)

);

二、以下為搜索網頁和下載網頁至本地數據庫的Java程序LinkToDB.java，它也是此搜索引擎的核心和基礎

/***************************** LinkToDB.java ***********************************

*

* 對URL中的http鏈接進行分析,將相對路徑轉換為絕對路徑，排序方式輸出結果到數據庫

*

* 如果分析得到的URL是Link表中唯一的，就將其內容下載到表 WebPageLocal 中。

*

********************************************************************************

/

import java.io.*;

import java.util.*;

import java.net.*;

import java.lang.String;

import java.sql.*;

import java.text.*;

class Counter {

private int i = 1;

int read() { return i; }

void increment() { i ; }

}

public class LinkToDB {

String UrlHost = "";

String UrlFile = "";

String UrlPath = "";

static String StartWith = null;

boolean outsideTag = true; //判斷是否在標記之中

static char[] buffer = new char[4096]; // 緩沖區:用于保存從 URL 讀的數據

InputStreamReader read = null;

BufferedReader reader = null;

URLConnection uc = null;

private URL url = null;

private StreamTokenizer st;

private TreeMap counts = new TreeMap();//以排序方式保存找到的鏈接

LinkToDB(String myurl,String StartOnly){

try {

StartWith = StartOnly;

if(StartOnly!=null) { if(!myurl.startsWith(StartOnly)) return; }//只搜索此網站

url = new URL(myurl);

UrlHost = url.getHost();

UrlHost = UrlHost.toUpperCase();

UrlFile = url.getFile();

int v=UrlFile.lastIndexOf("/");

if(v!=-1) UrlPath = UrlFile.substring(0,v);

System.out.println("分析文件：" myurl);

int uclength=200000;

int ucError=0;

try{

uc = url.openConnection();

uc.setUseCaches(false);

uc.connect();

}

catch(IOException io) { ucError=1; System.out.println("打不開待分析網頁:" myu

rl); }

if(ucError!=1){

uclength = uc.getContentLength();

if (uclength＜200000) {

try{ read = new InputStreamReader(url.openStream()); }

catch(IOException io) {System.out.println("流打開錯誤:" myurl);}

}

else System.out.println("文件太大，不分析");

}

if(read!=null){

reader=new BufferedReader(read);

if(reader!=null){

st = new StreamTokenizer(reader);

st.resetSyntax(); // 重置語法表

st.wordChars(0,255); // 令牌范圍為全部字符

st.ordinaryChar('＜'); // HTML標記兩邊的分割符

st.ordinaryChar('＞');

}

}

}

catch(MalformedURLException e){ System.out.println("Malformed URL String!");}

}

void cleanup() {

try { read.close(); }

catch(IOException e) { System.out.println("流關閉錯誤"); }

}

void countWords() {

try {

while(st.nextToken()!=StreamTokenizer.TT_EOF) {

String s0="";

String s_NoCase="";

switch(st.ttype) {

case '＜': //入標記字段

outsideTag=false;

continue; //countWords();

case '＞': //出標記字段

outsideTag=true;

continue; //countWords();

case StreamTokenizer.TT_EOL: s0 = new String("EOL"); break;

case StreamTokenizer.TT_WORD: if(!outsideTag) s0 = st.sval; /*已經是字符

串*/ break;

default: s0 = "";// s0 = String.valueOf[1]{ //以這些開始的都是超級鏈接

int HREF_POS = -1;

if(s0.startsWith("FRAME ")||s0.startsWith("IFRAME ")) {

HREF_POS = s0.indexOf("SRC=");

s0 = s0.substring(HREF_POS 4).trim();

s_NoCase=s_NoCase.substring(HREF_POS 4).trim();

}

else {

HREF_POS=s0.indexOf("HREF=");

s0=s0.substring(HREF_POS 5).trim();

s_NoCase=s_NoCase.substring(HREF_POS 5).trim();

}

if(HREF_POS!=-1) {

if(s0.startsWith("\""))

{s0=s0.substring(1);s_NoCase=s_NoCase.substring(1);}

int QUOTE=s0.indexOf("\"");

if(QUOTE!=-1)

{s0=s0.substring(0,QUOTE).trim();s_NoCase=s_NoCase.substring(0,QUOTE).trim

();}

int SPACE=s0.indexOf(" ");

if(SPACE!=-1)

{s0=s0.substring(0,SPACE).trim();s_NoCase=s_NoCase.substring(0,SPACE).trim

();}

if(s0.endsWith("\""))

{s0=s0.substring(0,s0.length()-1);s_NoCase=s_NoCase.substring(0,s_NoCase.l

ength()-1);}

if(s0.indexOf("'")!=-1||s0.indexOf("JAVASCRIPT:")!=-1||s0.indexOf("..")!=-1

)

{s0="";s_NoCase="";} //有這些符號，認為非合法鏈接；兩點表示上一目錄，而我

只想向下級查找

if ( !s0.startsWith("FTP://") &&//以下后綴或前綴通常非網頁格式

!s0.startsWith("FTP://") &&

!s0.startsWith("MAILTO:") &&

!s0.endsWith(".SWF") &&

!s0.startsWith("../")) //因../表示上一目錄，通常只需考慮本級和下N級目錄

s=s0;

if (!s.startsWith("HTTP://")&&!s.equals("")) {s=UrlHost UrlPath "/" s;s_No

Case=UrlHost UrlPath "/" s_NoCase;}

else if(s.startsWith("/")) {s=UrlHost s;s_NoCase=UrlHost s_NoCase;}

if(s.startsWith("HTTP://")) {s=s.substring(7);s_NoCase=s_NoCase.substring(

7);}

int JinHao=s.indexOf("#"); //如果含有"#"號，表示有效的鏈接是此前的部分

if(JinHao!=-1) {s=s.substring(0,JinHao).trim();s_NoCase=s_NoCase.substring(

0,JinHao).trim();}

int H=-1; //以下將/./轉換為/

for(int m=0;m＜4;m ){

H=s.indexOf("/./");

if(H!=-1) {s=s.substring(0,H) s.substring(H 2);s_NoCase=s_NoCase.substring

(0,H) s_NoCase.substring(H 2);}

}

int TwoXG=-1; //以下將//轉換為/

for(int m=0;m＜5;m ){

TwoXG=s.indexOf("//");

if(TwoXG!=-1) {s=s.substring(0,TwoXG) s.substring(TwoXG 1);s_NoCase=s_NoCa

se.substring(0,TwoXG) s_NoCase.substring(TwoXG 1);}

}

int OneXG=s.indexOf("/");

if(OneXG==-1) {s=s "/";s_NoCase ="/";} //將xx.xx.xx.xxx轉換為xx.xx.xx.xxx/的

標準形式

總結

以上是生活随笔為你收集整理的java搜索引擎mysql_用Java MySQL PHP轻松构建跨平台的搜索引擎的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。