[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]
Re: RES: [shell-script] Tratar um arquivo de log
|
From: |
Lynn karllo |
|
Subject: |
Re: RES: [shell-script] Tratar um arquivo de log |
|
Date: |
Sat, 21 Sep 2002 00:40:03 -0300 (ART) |
O Marcelino me deu uma grande ajuda para fazer um pre
tratamento da log do firewall.
Porem cada dia que passo acho que estou me
complicando mais.
Geraldo Chatel,
O problema que eu estou encontrando é que a
log que é gerada pelo firewall iptables não segue um
padrão para eu poder jogar direto com o syslog-ng em
uma tabela no mysql. O syslog-ng é uma ferramenta até
que melhor que o syslog para isso, só como não é um
padrão, entao as informações nao ficam de acordo nos
campos da tabela.
Pensei em fazer um pre-tratamento da log,
deixando em um arquivo só o que eu gostaria que fosse
para a tabela, eu consegui isso com ajuda do
Marcelino, contudo eu estou com um problema que é o
seguinte: não sei como posso fazer um loop com o
script para que enquanto esteja sendo gravadas as
informaçòes,ele gere o arquivo pre-tratado e depois
mande para o banco, sem que seja feito manualmente
esse processo.
Não sei se vc entendeu minha jogada que eu estou
querendo fazer ?
Se tiver alguma idéia melhor eu sou todo ouvido.
Eu estou dependendo disso para terminar de
desenvolver
meu projeto final sobre análise de log do Firewall
Iptables.
Lynn
--- Geraldo Chatel <address@hidden>
escreveu:
<HR>
<html><body>
<tt>
<BR>
Lynn,<BR>
<BR>
Peco a voce desculpas pela demora em responder ao
seu<BR>
email. So agora o estou lendo.<BR>
Vejo que vc ja esta caminhando para uma solucao com
a<BR>
ajuda do Marcelino.<BR>
<BR>
Caso queira tentar ...<BR>
<BR>
Eu trocaria o espaco entre os "campos" por
CTRL+M,<BR>
faria um grep das informacoes que me interessam e
dava<BR>
uma arrumada<BR>
<BR>
No ksh o codigo ficaria assim:<BR>
<BR>
cat seu_log|tr " "
"<CTRL>+m"|grep -e RES -e ... -e<BR>
... | paste -d"|" - - - - | tr "="
"|" |cut -d"|"<BR>
-fx,y,z > arq_para_upload_delimitado_por_pipe<BR>
<BR>
obs:<BR>
- eh preciso garantir que os campos que vc deseja<BR>
esteja em todas as linhas. (<BR>
- eh apenas uma linha de comando.<BR>
- ao digitar o ctrl m o shell abrira o prompt<BR>
secundario.<BR>
- coloque no grep todos os campos que te
interessam.<BR>
- use no paste a mesma qtde de hifens qtos forem
as<BR>
opcoes do grep.<BR>
- coloque no cut as posicoes dos dados (2,4,6..)<BR>
- torca pra funcionar .... pois nao testei!!!<BR>
<BR>
Boa sorte e mais uma vez, desculpas.<BR>
Att,<BR>
Chatel.<BR>
<BR>
<BR>
--- Lynn <address@hidden>
escreveu: <BR>
<HR><BR>
<html><body><BR>
<BR>
<BR>
<tt><BR>
<BR><BR>
<BR><BR>
Geraldo,<BR><BR>
<BR><BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
Eu<BR>
tava querendo é jogar a log de acordo com os<BR>
paramentos que<BR><BR>
eu define em uma tabela mysql, como a log não segue
um<BR>
padrão, então<BR><BR>
queria fazer um pré tratamento dela, colocando no<BR>
padrão para que possa<BR><BR>
jogar na tabela de um banco no&nbsp;
mysql.<BR><BR>
<BR><BR>
<BR><BR>
<BR><BR>
Como pode ver nas três linhas&nbsp; de código
que<BR>
tirei na log, elas não<BR><BR>
segue um padrão.<BR><BR>
<BR><BR>
<BR><BR>
<BR><BR>
1º Após o OUT= não aparece o paramento
MAC=<BR><BR>
<BR><BR>
<BR><BR>
<BR><BR>
Sep&nbsp; 9 01:03:49 dark fp=ICMP a=ACCEPT IN=<BR>
OUT=ppp0 SRC=200.163.82.103<BR><BR>
DST=207.33.111.32 LEN=44 TOS=0x00 PREC=0x00 TTL=64<BR>
ID=15360 PROTO=TCP<BR><BR>
SPT=32768 DPT=80 WINDOW=5840 RES=0x00 SYN URGP=0
<BR><BR>
<BR><BR>
<BR><BR>
<BR><BR>
2º Já na linha abaixo já tem o MAC= logo apos o<BR>
OUT=<BR><BR>
<BR><BR>
<BR><BR>
<BR><BR>
Sep&nbsp; 9 01:03:58 dark fp=TCP:1 a=DROP IN=ppp0
OUT=<BR>
MAC= SRC=207.33.111.34<BR><BR>
DST=200.163.82.103 LEN=40 TOS=0x00 PREC=0x00
TTL=23<BR>
ID=59881 PROTO=TCP<BR><BR>
SPT=59285 DPT=79 WINDOW=1024 RES=0x00 SYN URGP=0
<BR><BR>
<BR><BR>
<BR><BR>
<BR><BR>
3º Como foi executado um ping para proprio
servidor,<BR>
alguns parametros<BR><BR>
são difirentes.<BR><BR>
<BR><BR>
<BR><BR>
<BR><BR>
Sep 10 02:00:41 dark fp=ICMP a=ACCEPT IN= OUT=lo<BR>
SRC=127.0.0.1<BR><BR>
DST=127.0.0.1 LEN=84 TOS=0x00 PREC=0x00 TTL=64 ID=0
DF<BR>
PROTO=ICMP TYPE=8<BR><BR>
CODE=0 ID=35073 SEQ=512<BR><BR>
<BR><BR>
<BR><BR>
<BR><BR>
Se eu pudesse fazer um tratamento disso colocando
em<BR>
arquivo separado os<BR><BR>
paramentros que estão em azul acima, acho que
ficaria<BR>
um padrão e<BR><BR>
ajudaria colocar na tabela do banco.<BR><BR>
<BR><BR>
<BR><BR>
<BR><BR>
<BR><BR>
<BR><BR>
Sep 9 01:03:49 dark fp=ICMP a=ACCEPT IN= OUT=ppp0<BR>
SRC=200.163.82.103<BR><BR>
DST=207.33.111.32 PROTO=TCP SPT=32768
DPT=80<BR><BR>
<BR><BR>
Sep 10 02:00:41 dark fp=ICMP a=ACCEPT IN= OUT=lo<BR>
SRC=127.0.0.1<BR><BR>
DST=127.0.0.1 PROTO=ICMP<BR><BR>
<BR><BR>
<BR><BR>
<BR><BR>
As informações necessaries que preciso são essas
em<BR>
azul, se tiver uma<BR><BR>
idéia de como fazer ou até melhor do que eu
pensei,<BR>
ajudaria muito.<BR><BR>
<BR><BR>
<BR><BR>
<BR><BR>
<BR><BR>
<BR><BR>
Ats,<BR><BR>
<BR><BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
Lynn Karllo<BR><BR>
<BR><BR>
-----Mensagem original-----<BR><BR>
De: Geraldo Chatel<BR>
[mailto:address@hidden] <BR><BR>
Enviada em: segunda-feira, 16 de setembro de 2002<BR>
21:03<BR><BR>
Para: address@hidden<BR><BR>
Assunto: Re: [shell-script] Tratar um arquivo de<BR>
log<BR><BR>
<BR><BR>
<BR><BR>
<BR><BR>
Qual o layout de saida que vc quer?<BR><BR>
<BR><BR>
--- Lynn karllo<BR>
&lt;address@hidden&gt;<BR><BR>
escreveu: <BR><BR>
&lt;HR&gt;<BR><BR>
&lt;html&gt;&lt;body&gt;<BR><BR>
<BR><BR>
<BR><BR>
&lt;tt&gt;<BR><BR>
&lt;BR&gt;<BR><BR>
Senhores,&lt;BR&gt;<BR><BR>
&lt;BR&gt;<BR><BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
Alguem poderia<BR>
me<BR><BR>
ajudar a tratar uma log do IPTABLES
?&lt;BR&gt;<BR><BR>
&lt;BR&gt;<BR><BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
To com<BR>
o<BR><BR>
seguinte problema, tenho uma log gerada pelo<BR>
firewall<BR><BR>
do IPTABLES e gostaria de fazer um pre
tratamento<BR><BR>
nela, extraindo só as informações do meu<BR><BR>
interesse.&lt;BR&gt;<BR><BR>
&lt;BR&gt;<BR><BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
Como<BR>
pode<BR><BR>
ser visto a log possui alguns paramentos com = a<BR>
qual<BR><BR>
posso me orientar a buscar os dados que eu
quero<BR><BR>
colocar em outro arquivo, porem não sei como
fazer<BR><BR>
isso em shell script, alguem poderia me ajudar<BR>
?&lt;BR&gt;<BR><BR>
&lt;BR&gt;<BR><BR>
Sep 9 01:03:49 dark fp=ICMP a=ACCEPT IN=
OUT=ppp0<BR><BR>
SRC=200.163.82.103 DST=207.33.111.32 LEN=44<BR>
TOS=0x00<BR><BR>
PREC=0x00 TTL=64 ID=15360 PROTO=TCP SPT=32768<BR>
DPT=80<BR><BR>
WINDOW=5840 RES=0x00 SYN URGP=0
&lt;BR&gt;<BR><BR>
&lt;BR&gt;<BR><BR>
Sep 9 01:03:50 dark fp=ICMP a=ACCEPT IN=
OUT=ppp0<BR><BR>
SRC=200.163.82.103 DST=207.33.111.32 LEN=40<BR>
TOS=0x00<BR><BR>
PREC=0x00 TTL=64 ID=41728 PROTO=TCP SPT=32768<BR>
DPT=80<BR><BR>
WINDOW=8760 RES=0x00 ACK URGP=0
&lt;BR&gt;<BR><BR>
&lt;BR&gt;<BR><BR>
Sep 9 01:03:51 dark fp=ICMP a=ACCEPT IN=
OUT=ppp0<BR><BR>
SRC=200.163.82.103 DST=207.33.111.32 LEN=40<BR>
TOS=0x00<BR><BR>
PREC&lt;BR&gt;<BR><BR>
&lt;BR&gt;<BR><BR>
Lynn&lt;BR&gt;<BR><BR>
&lt;BR&gt;<BR><BR>
&lt;BR&gt;<BR><BR>
&lt;BR&gt;<BR><BR>
Ats,&lt;BR&gt;<BR><BR>
&lt;BR&gt;<BR><BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
Lynn<BR><BR>
Karllo&lt;BR&gt;<BR><BR>
&lt;BR&gt;<BR><BR>
&lt;BR&gt;<BR><BR>
&lt;BR&gt;<BR><BR>
&lt;BR&gt;<BR><BR>
---------------------------------&lt;BR&gt;<BR><BR>
Yahoo! PageBuilder - O super editor para criação<BR>
de<BR><BR>
sites: é grátis, fácil e
rápido.&lt;BR&gt;<BR><BR>
&lt;BR&gt;<BR><BR>
[As partes desta mensagem que não continham
texto<BR><BR>
foram removidas]&lt;BR&gt;<BR><BR>
&lt;BR&gt;<BR><BR>
&lt;/tt&gt;<BR><BR>
<BR><BR>
<BR><BR>
&lt;br&gt;<BR><BR>
&lt;tt&gt;<BR><BR>
&lt;BR&gt;<BR><BR>
---------------------------------------------------------------------&lt;BR<BR><BR>
&gt;<BR><BR>
Esta lista não admite a abordagem de outras<BR>
liguagens<BR><BR>
de programação, como perl, C etc. Quem insistir em<BR>
não<BR><BR>
seguir esta regra será moderado sem prévio<BR>
aviso.&lt;BR&gt;<BR><BR>
---------------------------------------------------------------------&lt;BR<BR><BR>
&gt;<BR><BR>
Sair da lista:<BR><BR>
address@hidden&lt;BR&gt;<BR><BR>
---------------------------------------------------------------------&lt;BR<BR><BR>
&gt;<BR><BR>
Esta lista é moderada de acordo com o previsto em<BR>
&lt;a<BR><BR>
href=&quot;<a<BR>
href="<a
href="http://www.listasdiscussao.cjb.net";>http://www.listasdiscussao.cjb.net</a>"><a
href="http://www.listasdiscussao.cjb.net";>http://www.listasdiscussao.cjb.net</a></a>&quot;&gt;<a<BR>
href="<a
href="http://www.listasdiscussao.cjb";>http://www.listasdiscussao.cjb</a>"><a
href="http://www.listasdiscussao.cjb";>http://www.listasdiscussao.cjb</a></a><BR><BR>
.net&lt;/a&gt;&lt;BR&gt;<BR><BR>
---------------------------------------------------------------------&lt;BR<BR><BR>
&gt;<BR><BR>
&lt;/tt&gt;<BR><BR>
&lt;br&gt;<BR><BR>
<BR><BR>
&lt;br&gt;<BR><BR>
&lt;tt&gt;Seu uso do Yahoo! Grupos é sujeito
aos<BR>
&lt;a<BR><BR>
href=&quot;<a<BR>
href="<a
href="http://br.yahoo.com/info/utos.html";>http://br.yahoo.com/info/utos.html</a>"><a
href="http://br.yahoo.com/info/utos.html";>http://br.yahoo.com/info/utos.html</a></a>&quot;&gt;Termos<BR>
do<BR><BR>
Serviço
Yahoo!&lt;/a&gt;.&lt;/tt&gt;<BR><BR>
&lt;/br&gt;<BR><BR>
<BR><BR>
&lt;/body&gt;&lt;/html&gt;<BR><BR>
<BR><BR>
<BR><BR>
_______________________________________________________________________<BR><BR>
Yahoo! PageBuilder<BR><BR>
O super editor para criação de sites: é grátis,
fácil<BR>
e rápido.<BR><BR>
<a<BR>
href="<a
href="http://br.geocities.yahoo.com/v/pb.html";>http://br.geocities.yahoo.com/v/pb.html</a>"><a
href="http://br.geocities.yahoo.com/v/pb.html";>http://br.geocities.yahoo.com/v/pb.html</a></a><BR><BR>
<BR><BR>
<BR><BR>
---------------------------------------------------------------------<BR><BR>
Esta lista não admite a abordagem de outras
liguagens<BR>
de programação,<BR><BR>
como perl, C etc. Quem insistir em não seguir esta<BR>
regra será moderado<BR><BR>
sem prévio aviso.<BR><BR>
---------------------------------------------------------------------<BR><BR>
Sair da lista:<BR>
address@hidden<BR><BR>
---------------------------------------------------------------------<BR><BR>
Esta lista é moderada de acordo com o previsto
em<BR><BR>
<a<BR>
href="<a
href="http://www.listasdiscussao.cjb.net";>http://www.listasdiscussao.cjb.net</a>"><a
href="http://www.listasdiscussao.cjb.net";>http://www.listasdiscussao.cjb.net</a></a><BR><BR>
---------------------------------------------------------------------<BR><BR>
<BR><BR>
<BR><BR>
Seu uso do Yahoo! Grupos é sujeito aos
Termos<BR><BR>
&lt;<a<BR>
href="<a
href="http://br.yahoo.com/info/utos.html";>http://br.yahoo.com/info/utos.html</a>"><a
href="http://br.yahoo.com/info/utos.html";>http://br.yahoo.com/info/utos.html</a></a>&gt;&nbsp;<BR>
do Serviço Yahoo!. <BR><BR>
<BR><BR>
<BR><BR>
<BR><BR>
[As partes desta mensagem que não continham texto<BR>
foram removidas]<BR><BR>
<BR><BR>
</tt><BR>
<BR>
<BR>
<br><BR>
<tt><BR>
<BR><BR>
---------------------------------------------------------------------<BR><BR>
Esta lista não admite a abordagem de outras
liguagens<BR>
de programação, como perl, C etc. Quem insistir em
não<BR>
seguir esta regra será moderado sem prévio
aviso.<BR><BR>
---------------------------------------------------------------------<BR><BR>
Sair da lista:<BR>
address@hidden<BR><BR>
---------------------------------------------------------------------<BR><BR>
Esta lista é moderada de acordo com o previsto em
<a<BR>
href="<a
href="http://www.listasdiscussao.cjb.net";>http://www.listasdiscussao.cjb.net</a>"><a
href="http://www.listasdiscussao.cjb.net";>http://www.listasdiscussao.cjb.net</a></a><BR><BR>
---------------------------------------------------------------------<BR><BR>
</tt><BR>
<br><BR>
<BR>
<br><BR>
<tt>Seu uso do Yahoo! Grupos é sujeito aos
<a<BR>
href="<a
href="http://br.yahoo.com/info/utos.html";>http://br.yahoo.com/info/utos.html</a>">Termos
do<BR>
Serviço Yahoo!</a>.</tt><BR>
</br><BR>
<BR>
</body></html><BR>
<BR>
<BR>
_______________________________________________________________________<BR>
Yahoo! GeoCities<BR>
Tudo para criar o seu site: ferramentas fáceis de
usar, espaço de sobra e acessórios.<BR>
<a
href="http://br.geocities.yahoo.com/";>http://br.geocities.yahoo.com/</a><BR>
</tt>
<br>
<tt>
<BR>
---------------------------------------------------------------------<BR>
Esta lista não admite a abordagem de outras liguagens
de programação, como perl, C etc. Quem insistir em não
seguir esta regra será moderado sem prévio aviso.<BR>
---------------------------------------------------------------------<BR>
Sair da lista:
address@hidden<BR>
---------------------------------------------------------------------<BR>
Esta lista é moderada de acordo com o previsto em <a
href="http://www.listasdiscussao.cjb.net";>http://www.listasdiscussao.cjb.net</a><BR>
---------------------------------------------------------------------<BR>
</tt>
<br>
<br>
<tt>Seu uso do Yahoo! Grupos é sujeito aos <a
href="http://br.yahoo.com/info/utos.html";>Termos do
Serviço Yahoo!</a>.</tt>
</br>
</body></html>
=====
Ats,
Lynn Karllo
_______________________________________________________________________
Yahoo! GeoCities
Tudo para criar o seu site: ferramentas fáceis de usar, espaço de sobra e
acessórios.
http://br.geocities.yahoo.com/
- Performance, (continued)
- Re: [shell-script] Performance, aurelio, 2002/09/26
- Re: [shell-script] Performance, Tiago F Bianchini, 2002/09/26
- FTP, --| Samuel |--, 2002/09/26
- Message not available
- Re: [shell-script] FTP, Tiago F Bianchini, 2002/09/26
- Re: RES: [shell-script] Tratar um arquivo de log, Marcelino Silva, 2002/09/18
- Re: RES: [shell-script] Tratar um arquivo de log, Lynn karllo, 2002/09/18
- Re: RES: [shell-script] Tratar um arquivo de log, Geraldo Chatel, 2002/09/20
- Re: RES: [shell-script] Tratar um arquivo de log,
Lynn karllo <=
- Re: RES: [shell-script] Tratar um arquivo de log, Walter Maier Neto, 2002/09/28