shell-script-pt
[Top][All Lists]
Advanced

[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

Edição e ordenação por data em arquivos Log


From: ®i©
Subject: Edição e ordenação por data em arquivos Log
Date: Mon, 5 Dec 2011 15:25:56 -0200

Olá pessoal, Estou novamente solicitando e contando com a ajuda da
comunidade.

Quem puder ajudar será de bom grado.


A questão é o seguinte, ....

Tenho alguns arquivos de log do apache com datas concorrentes, e registro
de acessos também concorrentes, que tratam da mesma URL.

Preciso filtrar os acessos pela data/hora e editar as entradas,
acrescentando a nova composição da URL.

Quanto a edição das entradas está tranquilo, consigo fazer numa boa com o
vim ou sed, a questão é ordenar os logs pelo timestamp de requisição.

Os arquivos estão neste formato abaixo e, preciso ordenar os
seus conteúdos pela data subsequente ao IP:

2.81.235.146 - - [13/Nov/2011:06:21:27 -0200] "GET
/wp-content/themes/conjuve/img/icones/twitter.png HTTP/1.1" 404 493 "
http://cliquesaude.com.br/masturbacao-e-verdade-que-ela-faz-emagrecer-795.html";
"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)"
189.31.24.148 - - [13/Nov/2011:06:22:02 -0200] "GET
/wp-content/themes/conjuve/img/icones/twitter.png HTTP/1.1" 404 493 "
http://cliquesaude.com.br/primeira-vez-qual-a-melhor-posicao-para-nao-doer-756.html";
"Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0;
GTB7.2; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729;
MANM; .NET4.0C; .NET4.0E; MANM)"
66.249.72.218 - - [13/Nov/2011:06:22:12 -0200] "GET
/conjuve/sobre/conselheiros/governo-federal/roosevelt-filho HTTP/1.1" 200
5778 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +
http://www.google.com/bot.html)"
66.249.72.218 - - [13/Nov/2011:06:23:30 -0200] "GET
/conferencia/galeria-de-fotos/rio-grande-do-norte/smoothgallery_jd.gallery.js
HTTP/1.1" 200 4706 "
http://www.juventude.gov.br/conferencia/galeria-de-fotos/rio-grande-do-norte";
"Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.72.218 - - [13/Nov/2011:06:23:32 -0200] "GET
/conferencia/galeria-de-fotos/rio-grande-do-norte/smoothgallery_mootools.js
HTTP/1.1" 200 11532 "
http://www.juventude.gov.br/conferencia/galeria-de-fotos/rio-grande-do-norte";
"Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.72.218 - - [13/Nov/2011:06:23:34 -0200] "GET
/conferencia/galeria-de-fotos/tocantins/pedro-afonso-1/image_preview
HTTP/1.1" 200 50042 "
http://www.juventude.gov.br/conferencia/galeria-de-fotos/tocantins/pedro-afonso-1/view";
"Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.72.218 - - [13/Nov/2011:06:23:41 -0200] "GET
/conferencia/galeria-de-fotos/rio-grande-do-norte/natal/image_thumb
HTTP/1.1" 200 6997 "
http://www.juventude.gov.br/conferencia/galeria-de-fotos/rio-grande-do-norte";
"Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.72.218 - - [13/Nov/2011:06:23:42 -0200] "GET
/conferencia/galeria-de-fotos/rio-grande-do-norte/natal HTTP/1.1" 200 23123
"
http://www.juventude.gov.br/conferencia/galeria-de-fotos/rio-grande-do-norte";
"Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
79.116.72.135 - - [13/Nov/2011:06:23:48 -0200] "GET
/wp-content/themes/conjuve/img/icones/twitter.png HTTP/1.1" 404 493 "
http://hotfanmade.blogspot.com/2011/05/dev-night-sun-came-up.html";
"Opera/9.80 (Windows NT 5.1; U; en) Presto/2.9.168 Version/11.52"
87.250.253.242 - - [13/Nov/2011:06:23:49 -0200] "GET
/conjuve/noticias/2011/11/snj-participa-da-4a-conferencia-nacional-de-seguranca-alimentar-e-nutricional
HTTP/1.1" 200 5284 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +
http://yandex.com/bots)"
141.0.8.233 - - [13/Nov/2011:06:24:04 -0200] "GET
/wp-content/themes/conjuve/img/icones/twitter.png HTTP/1.1" 404 493 "
http://cliquesaude.com.br/depois-da-primeira-vez-se-eu-ficar-muito-tempo-sem-transar-vai-doer-762.html";
"Opera/9.80 (J2ME/MIDP; Opera Mini/6.1.25378/26.1098; U; pt) Presto/2.8.119
Version/10.54"
190.160.207.12 - - [13/Nov/2011:06:24:18 -0200] "GET
/wp-content/themes/conjuve/img/icones/twitter.png HTTP/1.1" 404 493 "
http://hotfanmade.blogspot.com/2011/06/selena-gomez-scene-outlaw.html";
"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/535.2 (KHTML, like Gecko)
Chrome/15.0.874.120 Safari/535.2"
27.2.222.7 - - [13/Nov/2011:06:24:54 -0200] "GET
/wp-content/themes/conjuve/img/icones/twitter.png HTTP/1.1" 404 493 "
http://cliquesaude.com.br/sangramento-apos-relacao-por-que-isso-acontece-747.html";
"Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.2 (KHTML, like Gecko)
Chrome/15.0.874.106 Safari/535.2"
79.116.72.135 - - [13/Nov/2011:06:25:01 -0200] "GET
/wp-content/themes/conjuve/img/icones/twitter.png HTTP/1.1" 404 493 "
http://hotfanmade.blogspot.com/"; "Opera/9.80 (Windows NT 5.1; U; en)
Presto/2.9.168 Version/11.52"
79.116.72.135 - - [13/Nov/2011:06:25:14 -0200] "GET
/wp-content/themes/conjuve/img/icones/twitter.png HTTP/1.1" 404 493 "
http://hotfanmade.blogspot.com/2011/10/demi-lovato-party.html"; "Opera/9.80
(Windows NT 5.1; U; en) Presto/2.9.168 Version/11.52"

Em conversa PVT com o MrBits, cheguei ao script abaixo com sua ajuda, mas
não me atende completamente, pois preciso que o arquivos permaneça no mesmo
formato original, e o timestamp da requisição está na 2ª coluna.

:(

segue script:
#awk '{print $4}' teste.log|tr -d '[/:'| while read a; do date -s $a +%s 2>
/dev/null; done|sort
63462928870864800
63462931237620000
63462931553239200
63462935276906400
63462935340064800
63462935403136800
63462935624061600
63462935655597600
63462935844986400
63462935876522400
63462937612212000
63462938053975200
63462939190048800
63462940673191200
63462941083418400


[As partes desta mensagem que não continham texto foram removidas]



reply via email to

[Prev in Thread] Current Thread [Next in Thread]