컴바이블

ApplicationWorkbenchAdvisor 에서 Workbench.initialize() 메소드를 아래와 같이 오버라이드 한다.

이올린에 북마크하기

SELECT name,phon,add FROM user GROUP BY name,phon,add HAVING count(*)>1 ;

이올린에 북마크하기

연락 안되던 후배가 파일을 보냈길래..ㅎㅎ;

반가운 마음에 클릭....

했을때는 이미 늦었다. ㅡㅡ..바이러스 였던것이다.

치료법은 다음과 같다.

photo19.zip

MSN 받은 파일 폴더에 가서 저 파일을 지운다.

시작 > 실행 > regedit 를 실행시켜서 레지스트리 편집기를 띄우고,

편집 > 찾기 에서 poolmc 로 검색하면, poolmc.exe 가 찾아지는데, 이놈을 역시 지운다.

C:\WINDOWS\system32 폴더로 가서,

도구 > 폴더옵션 > 보기 > 보호된 운영체제 파일 숨기기 를 체크해제 하고,

그 아래쪽에 숨김 파일 및 폴더 를 체크해제하여 보이도록 한다.

그리고 나면 폴더안에 poolmc.dll 파일이 보인다.

이놈을 지우면 되는데, 이놈이 안지워질 경우에는 안전모드로 재부팅해서 지우면 된다.

끝.

이올린에 북마크하기(0) 이올린에 추천하기(0)

2년 전에 등록 신청한 것인데, 소문대로 오래 걸리긴 하는구나...

특허등록증10-0794705 선택적스플라이.pdf

이올린에 북마크하기

public void testRegex() {
    String text = "<PROTEIN> PEPT1 </PROTEIN> and
                   <PROTEIN> PEPT2 </PROTEIN> is primarily
                   responsible for the renal reabsorption
                   of peptides and peptidomimetics";

    String regex = "<PROTEIN>([ \\w]+)</PROTEIN>";

   
    Pattern p = Pattern.compile(regex);

    Matcher m = p.matcher(text);   

    while(m.find()) {

        System.out.println(m.group(1));

    }

}

위의 메소드는 console에 아래와 같은 결과를 출력한다.

이올린에 북마크하기

Download and hadoop building

 $ cd /usr/local/
 $ wget http://ftp.apache-kr.org/lucene/hadoop/hadoop-$version.tar.gz
 $ tar zxvf hadoop-$version.tar.gz
 $ cd hadoop-$version
 $ ant package

hadoop-env.sh 편집

 $ vi ./conf/hadoop-env.sh

아래와 같이 JAVA_HOME 경로, slaves 설정 파일 경로를 편집합니다. HADOOP_HOME은 실제로 hadoop이 설치된 경로를 설정합니다. 아래의 경우에는 /home/nutch로 가정했습니다.

 export JAVA_HOME=/usr/java/jdk_$version
 export HADOOP_HOME=/home/nutch
 export HADOOP_SLAVES=${HADOOP_HOME}/conf/slaves
 export HADOOP_LOG_DIR=${HADOOP_HOME}/logs

hadoop-site.xml 편집

 $ vi conf/hadoop-site.xml

<configuration>

<property>
  <name>fs.default.name</name>
  <value>마스터서버:9000</value>
  <description>
    The name of the default file system. Either the literal string
    "local" or a host:port for NDFS.
  </description>
</property>

<property>
  <name>mapred.job.tracker</name>
  <value>마스터서버:9001</value>
  <description>
    The host and port that the MapReduce job tracker runs at. If
    "local", then jobs are run in-process as a single map and
    reduce task.
  </description>
</property>

<property>
  <name>mapred.map.tasks</name>
  <value>2</value>
  <description>
    define mapred.map tasks to be number of slave hosts
  </description>
</property>

<property>
  <name>mapred.reduce.tasks</name>
  <value>2</value>
  <description>
    define mapred.reduce tasks to be number of slave hosts
  </description>
</property>

<property>
  <name>dfs.name.dir</name>
  <value>/home/nutch/filesystem/name</value>
</property>

<property>
  <name>dfs.data.dir</name>
  <value>/home/nutch/filesystem/data</value>
</property>

<property>
  <name>mapred.system.dir</name>
  <value>/home/nutch/filesystem/mapreduce/system</value>
</property>

<property>
  <name>mapred.local.dir</name>
  <value>/home/nutch/filesystem/mapreduce/local</value>
</property>

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>

</configuration>

master node

$ vi /etc/sysconfig/iptables

 -A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 9000 -j ACCEPT
 -A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 9001 -j ACCEPT
 -A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 50010 -j ACCEPT
 -A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 50030 -j ACCEPT
 -A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 50040 -j ACCEPT
 -A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 50050 -j ACCEPT
 -A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 50060 -j ACCEPT
 -A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 50070 -j ACCEPT

$ /etc/init.d/iptables restart

slave node

$ vi /etc/sysconfig/iptables

 -A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 50010 -j ACCEPT
 -A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 50040 -j ACCEPT
 -A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 50050 -j ACCEPT
 -A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 50060 -j ACCEPT

$ /etc/init.d/iptables restart

ssh key 생성

ssh key를 scp를 이용해 각 slave 노드로 복사 (먼저 복사될 파일 시스템이 각 slave노드에 존재해야 한다.

$ scp ~/.ssh/authorized_keys who@server2:~/.ssh/authorized_keys 

! 인증키가 없을 경우(~/.ssh/authorized_keys 파일이 없을 경우)
ssh-keygen으로 공개키를 만들면 된다(버전마다 다를 수 있으며 아래는 한 예임)

$ ssh-keygen -t rsa $ cp rsa.pub authorized_keys 

! scp 설치시 no route to host라고 나오는 경우: 방화벽 때문에 안되는 것임
임시로 방화벽을 무력화하고 복사할 수 있다.

$ /etc/init.d/iptables stop

설정 파일 편집

master node의 slaves 파일 편집. 한줄에 노드이름 하나씩

 $ cd /home/nutch/search/conf
 $ vi slaves
 slave노드(IP가능)

hadoop-site.xml 파일 편집. mapred.map.tasks, mapred.reduce.tasks 두 가지 항목은 각 slave 노드에서도 수정해 줘야 함

 ser1> vi hadoop-site.xml
 mapred.map.tasks : 4
 mapred.reduce.tasks : 2
 dfs.replication : 2

Namenode 포맷

먼저 master 와 모든 slave노드에 hadoop-site.xml 파일에서 설정한 dir 를 생성해 놓아야 한다.(위의 설정에서는 /home/nutch/filesystem/ )
실행 전에 conf/hadoop-env.sh가 실행되면서 $JAVA_HOME등의 값이 변하므로 Java 디렉토리가 맞지 않아서 실행이 안되면, /etc/profile말고, hadoop/conf/hadoop-env.sh에서 수정해야 함

$ ./bin/hadoop namenode -format

데몬 실행

$ ./bin/start-all.sh

마스터와 슬레이브의 모든 데몬을 한꺼번에 실행

master-slave config test

$ ./bin/slaves.sh uptime

실행 후 콘솔 창에 각 노드의 데몬이 잘 올라왔는지 보고 각 서버의 로그 확인

관련링크 :
http://lucene.apache.org/hadoop/docs/current/quickstart.html
http://www.hadoop.co.kr/
http://www.joinc.co.kr/modules/moniwiki/wiki.php/JCvs/Search/Document/nutch/Hadoop

이올린에 북마크하기