Re: [shell-script] shell em cluster

[Leslie Watter]

Peterson,

No teu caso, eu faria o seguinte:

rodaria o john the ripper (já que vc escolheu esse) pra gerar um buzilhão
de senhas em um arquivo.

faria um for PROC de 1 até n
onde n seria o numero de processos que vc vai duplicar

para cada processo PROC vc testa nele a linha do arquivo de senhas % proc
(ou seja, só aquelas cujo módulo =0 para o número do processo)

testa o resultado
se um dos processos encontrar a senha, vc pode matar todos os outros com um
pkill ou killall
e fazer um echo senha > senha-correta

e pronto....

assim vc consegue paralelizar em quantas máquinas quiser ... só usar um
arquivo unico pra cada máquina ...


[]s

LEslie
PS: a implementação fica como exercício :P


2013/4/15 Petterson Faria <address@hidden>

> Vamos trocar ideias.
>
> Testando os exemplos do coproc, no blog do Julio, estou pensando...
>
> Objetivo: Testar senha do arquuivo.rar
> Comando para testar: rar e -p${senha} arquivo.rar
> condição de saida: if [ $? -eq 0 ]
>
> Se eu crio um coproc que vai receber as senhas geradas pelo john the
> ripper, e executar o comando de teste, eu deveria criar um segundo coproc
> para validar o resultado do comando? Para não "perder tempo" validando
> dentro da thread que testa, correto?
> Valeria ter uma thread que executa e testa, ou uma para cada funcao?
> Criar logo umas 12 threads e passar na ordem? "for i in {1..12}"
>
> Dai eu pegaria o john the ripper, e mandaria ele gerar pra mim as senhas e
> ia jogando as saidas para as coproc processarem.
>
> Vou fazer um teste pequeno para abstrair melhor...
>
> Ao meu ver, para ganhar no processamento, eu deveria abrir uma thread pra
> cada senha, porque se o john retorna senhas mais rapidos que meu coproc
> testa o rar, eu teria um gargalo, correto?
>
> Para aumentar esse processamento para um cluster, ai sim talvez entre o SSH
> Cluster que o @Leslie citou...
>
> Não sei se eh o sono que eu cheguei da faculdade ou se devo ainda reler e
> refazer os exemplos do coproc..
>
> B
> om pra quem interessou no assunto/estudo, vamos lá.
>
> Boa noite pros amigos.
>
>
>
> --
> Atenciosamente,
> *Petterson Faria*
>
> "Há momentos em que a maior sabedoria, é parecer não saber nada" (Sun Tzu)
>
>
>
> 2013/4/15 Petterson Faria <address@hidden>
>
> > O estudo surgiu de uma necessidade, e como tudo tem jeito no shell pensei
> > em como fazer isso.
> > Eu estava tentando recuperar uma senha de um arquivo .rar usando o
> > programa www.cRARk.net
> > Dai vi uma opção de usar o john the ripper com shell pra quebrar.
> > Queria executar esse script mas distribuir no cluster para ganhar no
> > processamento.
> > Vou favoritar todos links passados, para ler com calma, que a coisa não é
> > tão simples.
> > Obrigado a todos pelas respostas.
> >
> >
> > --
> > Atenciosamente,
> > *Petterson Faria*
> >
> > "Há momentos em que a maior sabedoria, é parecer não saber nada" (Sun
> Tzu)
> >
> >
> >
> > 2013/4/15 Tiago Peczenyj <address@hidden>
> >
> >> **
> >>
> >>
> >> Se o objetivo é processar uma massa grande de dados é possivel usar
> hadoop
> >> + shell scripts
> >>
> >>
> >>
> http://blog.pfa-labs.com/2010/11/using-hadoop-streaming-and-bash-scripts.html
> >>
> >> MAS tudo é um grande depende. Existem muitas ferramentas nesse ramo,
> cada
> >> uma pode ser mais ou menos apropriada para um tipo de problema.
> >>
> >>
> >> 2013/4/15 Leslie Watter <address@hidden>
> >>
> >> > Peterson,
> >> >
> >> > Qual o teu objetivo com o script shell ??
> >> >
> >> > Processar uma massa de dados gigante ? Ai não sei se vale a pena usar
> o
> >> > shell pra fazer isso, uma vez que um programa em C/C++ +
> >> > openmpi/lanmpi/whatever pode ser muitas ordens de grandeza mais
> >> rápido...
> >> >
> >> > Executar o mesmo comando em várias máquinas ? (veja o clusterssh ---
> >> > http://sourceforge.net/projects/clusterssh/)
> >> >
> >> > []s
> >> >
> >> > LEslie
> >> >
> >> >
> >> > 2013/4/14 Petterson Faria <address@hidden>
> >> >
> >> > > **
> >> > >
> >> > >
> >> > > Eu procurei hoje sobre executar um script shell num cluster de
> >> > > processamento, entao vi que o "programa" deve suportar MPI para
> poder
> >> ser
> >> > > paralelizado e tal.
> >> > >
> >> > > Entao achei esse MPIShell:
> >> > > http://www.lrz.de/services/software/programmierung/mpish/
> >> > >
> >> > > Alguem aqui ja pesquisou ou usou algo parecido?
> >> > > Vi que o john the ripper suporta mpi, se eu rodar ele via shell, e
> meu
> >> > > shell for o bash padrao, entao ele não distribuiria o processamento?
> >> > >
> >> > > Não sei se fui claro quanto a duvida, mas resumindo, eu queria usar
> >> mais
> >> > de
> >> > > uma maquina para processar um script shell.
> >> > >
> >> > > --
> >> > > Atenciosamente,
> >> > > *Petterson Faria*
> >> > >
> >> > > "Há momentos em que a maior sabedoria, é parecer não saber nada"
> (Sun
> >> > Tzu)
> >> > >
> >> > > [As partes desta mensagem que não continham texto foram removidas]
> >> > >
> >> > >
> >> > >
> >> >
> >> >
> >> >
> >> > --
> >> > Leslie H. Watter
> >> >
> >> >
> >> > [As partes desta mensagem que não continham texto foram removidas]
> >> >
> >> >
> >> >
> >> > ------------------------------------
> >> >
> >> > ----------------------------------------------------------
> >> > Esta lista não admite a abordagem de outras liguagens de programação,
> >> como
> >> > perl, C etc. Quem insistir em não seguir esta regra será moderado sem
> >> > prévio aviso.
> >> > ----------------------------------------------------------
> >> > Sair da lista: address@hidden
> >>
> >> > ----------------------------------------------------------
> >> > Esta lista é moderada de acordo com o previsto em
> >> > http://www.listas-discussao.cjb.net
> >> > ----------------------------------------------------------
> >> > Servidor Newsgroup da lista: news.gmane.org
> >> > Grupo: gmane.org.user-groups.programming.shell.brazil
> >> >
> >> > Links do Yahoo! Grupos
> >> >
> >> >
> >> >
> >>
> >> --
> >> Tiago B. Peczenyj
> >> Linux User #405772
> >>
> >> http://about.me/peczenyj
> >>
> >>
> >> [As partes desta mensagem que não continham texto foram removidas]
> >>
> >>
> >>
> >
> >
>
>
> [As partes desta mensagem que não continham texto foram removidas]
>
>
>
> ------------------------------------
>
> ---------------------------------------------------------------------
> Esta lista não admite a abordagem de outras liguagens de programação, como
> perl, C etc. Quem insistir em não seguir esta regra será moderado sem
> prévio aviso.
> ---------------------------------------------------------------------
> Sair da lista: address@hidden
> ---------------------------------------------------------------------
> Esta lista é moderada de acordo com o previsto em
> http://www.listas-discussao.cjb.net
> ---------------------------------------------------------------------
> Servidor Newsgroup da lista: news.gmane.org
> Grupo: gmane.org.user-groups.programming.shell.brazil
>
> Links do Yahoo! Grupos
>
>
>


-- 
Leslie H. Watter


[As partes desta mensagem que não continham texto foram removidas]