Re: Trabalhando com arquivos grandes

[rikekuda]

Na verdade preciso jogar o conteudo da linha no novo arquivo. Sabe 
como ?

--- Em address@hidden, Humberto Pereira 
<humberto.pereira@p...> escreveu
> Voce quer simplesmente criar o arquivo?
> 
>       awk -F: '{ system("touch " $2 ".log"); }' arquivo
> 
> []s
> Humberto Pereira
> 
> Tiago Barcellos Peczenyj wrote:
> > esqueci as notações do awk de cabeça, depois eu converto
> >  experimenta este cara:
> >  cut -d\: -f 2 arquivo | uniq > estados # de repente é mais 
facil fazer isto
> > na mão...
> >  for i in $(cat estados)
> > LOG="${i}.log"
> > do echo "criando $LOG"
> > grep ":${i}:" arquivo | cut -d\: -f1 > $LOG # veja 1
> > echo "feito, $(wc -l $LOG) linhas adicionadas!"
> > done
> > exit 0
> > 
> > 1) se vc usar awk, faria awk '/estado_que_vc_quer/{print $1}' 
mas esqueci
> > como dizer que o dois_pontos é o delimitador, no caso vc faria
> > awk '/'$i'/{print $1}' > $LOG
> > 2) acho que echo -n no "criando $LOG" fica mais bonito :)
> >  Era isso
> > Em 26/10/05, rikekuda <rikekuda@y...> escreveu:
> > 
> >>Como fazer com awk ?
> >>Preciso ler o arquivo grande e de acordo com o conteudo preciso
> >>gerar outros arquivos. Por exemplo :
> >>file.log
> >>ricardo:sp:sao paulo
> >>jose:rj:rio de janeiro
> >>pedro:rs:porto alegre
> >>
> >>Agora preciso pegar o valor da 2 coluna e gerar o arquivo sp.log,
> >>rj.log, etc...Como fazer isso no awk sem ter que ler o arquivo n
> >>vezes ?
> >>
> >>
> >>
> >>
> >>--- Em address@hidden, Tiago Barcellos Peczenyj
> >><tiago.peczenyj@g...> escreveu
> >>
> >>>AWK não faz isso de forma mais otimizada, sem estourar a ram ?
> >>>
> >>>Em 26/10/05, Rodrigo Monteiro <mrodrigox@g...> escreveu:
> >>>
> >>>>On 10/26/05, rikekuda <rikekuda@y...> wrote:
> >>>>
> >>>>>Fiz um shell script para ler um arquivo grande de +- 5Gb,
> >>
> >>porem nao
> >>
> >>>>>consigo executa-lo, pois ele começa a utilizar toda a memória
> >>
> >>RAM do
> >>
> >>>>>servidor de para por "No Space"
> >>>>>
> >>>>>Estou utilizando for i in `cat file.log` do.....
> >>>>
> >>>>Use o while
> >>>>
> >>>>while read LINHA ; do
> >>>>echo $LINHA
> >>>>#faz o que vc quiser aqui
> >>>>done < file.log
> >>>>
> >>>>Com isso creio que vc não irá estourar a ram/swap, porém deverá
> >>>>demorar um pouco para completar o laço do while.
> >>>>
> >>>>[]s
> >>>>
> >>>>
> >>>>
> >>>>>Alguma sugestao ?
> >>>>>
> >>>>>
> >>>>>
> >>>>>
> >>>>>
> >>>>>--------------------------------------------------------------
-
> >>
> >>------
> >>
> >>>>>Esta lista não admite a abordagem de outras liguagens de
> >>
> >>programação,
> >>
> >>>>como perl, C etc. Quem insistir em não seguir esta regra será
> >>
> >>moderado sem
> >>
> >>>>prévio aviso.
> >>>>
> >>>>>--------------------------------------------------------------
-
> >>
> >>------
> >>
> >>>>>Sair da lista: address@hidden
> >>>>>--------------------------------------------------------------
-
> >>
> >>------
> >>
> >>>>>Esta lista é moderada de acordo com o previsto em
> >>>>
> >>>>http://www.listas-discussao.cjb.net
> >>>>
> >>>>>--------------------------------------------------------------
-
> >>
> >>------
> >>
> >>>>>Links do Yahoo! Grupos
> >>>>>
> >>>>>
> >>>>>
> >>>>>
> >>>>>
> >>>>>
> >>>>>
> >>>>>
> >>>>
> >>>>
> >>>>--
> >>>>
> >>>>"Free as in Freedom, not free as in free beer"
> >>>>Rodrigo Monteiro
> >>>>mrodrigox@g...
> >>>>
> >>>>
> >>>>---------------------------------------------------------------
--
> >>
> >>----
> >>
> >>>>Esta lista não admite a abordagem de outras liguagens de
> >>
> >>programação, como
> >>
> >>>>perl, C etc. Quem insistir em não seguir esta regra será
> >>
> >>moderado sem prévio
> >>
> >>>>aviso.
> >>>>---------------------------------------------------------------
--
> >>
> >>----
> >>
> >>>>Sair da lista: address@hidden
> >>>>---------------------------------------------------------------
--
> >>
> >>----
> >>
> >>>>Esta lista é moderada de acordo com o previsto em
> >>>>http://www.listas-discussao.cjb.net
> >>>>---------------------------------------------------------------
--
> >>
> >>----
> >>
> >>>>
> >>>>
> >>>>*Yahoo! Grupos, um serviço oferecido por:*
> >>>>------------------------------
> >>>>*Links do Yahoo! Grupos*
> >>>>
> >>>>- Para visitar o site do seu grupo na web, acesse:
> >>>>http://br.groups.yahoo.com/group/shell-script/
> >>>>- Para sair deste grupo, envie um e-mail para:
> >>>>address@hidden<shell-script-
> >>
> >>address@hidden?
subject=Unsubscribe<http://address@hidden/?
subject=Unsubscribe>
> >>
> >>>>- O uso que você faz do Yahoo! Grupos está sujeito aos Termos
> >>
> >>do
> >>
> >>>>Serviço do Yahoo! <http://br.yahoo.com/info/utos.html>.
> >>>>
> >>>>
> >>>
> >>>
> >>>[As partes desta mensagem que não continham texto foram 
removidas]
> >>
> >>
> >>
> >>
> >>-----------------------------------------------------------------
----
> >>Esta lista não admite a abordagem de outras liguagens de 
programação, como
> >>perl, C etc. Quem insistir em não seguir esta regra será 
moderado sem prévio
> >>aviso.
> >>-----------------------------------------------------------------
----
> >>Sair da lista: address@hidden
> >>-----------------------------------------------------------------
----
> >>Esta lista é moderada de acordo com o previsto em
> >>http://www.listas-discussao.cjb.net
> >>-----------------------------------------------------------------
----
> >>
> >>
> >>
> >>  *Yahoo! Grupos, um serviço oferecido por:*
> >>------------------------------
> >>*Links do Yahoo! Grupos*
> >>
> >>   - Para visitar o site do seu grupo na web, acesse:
> >>   http://br.groups.yahoo.com/group/shell-script/
> >>   - Para sair deste grupo, envie um e-mail para:
> >>   address@hidden<shell-script-
address@hidden?subject=Unsubscribe>
> >>   - O uso que você faz do Yahoo! Grupos está sujeito aos Termos 
do
> >>   Serviço do Yahoo! <http://br.yahoo.com/info/utos.html>.
> >>
> >>
> > 
> > 
> > 
> > [As partes desta mensagem que não continham texto foram 
removidas]
> > 
> > 
> > 
> > -----------------------------------------------------------------
----
> > Esta lista não admite a abordagem de outras liguagens de 
programação, como perl, C etc. Quem insistir em não seguir esta 
regra será moderado sem prévio aviso.
> > -----------------------------------------------------------------
----
> > Sair da lista: address@hidden
> > -----------------------------------------------------------------
----
> > Esta lista é moderada de acordo com o previsto em 
http://www.listas-discussao.cjb.net
> > -----------------------------------------------------------------
----
> >  
> > Links do Yahoo! Grupos
> > 
> > 
> > 
> > 
> >  
> > 
> >