Re: [shell-script] shell em cluster

[Petterson Faria]

eh eu vou fazer um teste com o coproc no fds.
eu vi uns scripts parecidos com esse, porém acho que o procedimento fica
aguardando um retorno do comando "unrar", com isso por MUITA performance.


--
Atenciosamente,
*Petterson Faria*

"Há momentos em que a maior sabedoria, é parecer não saber nada" (Sun Tzu)



2013/4/16 Alfredo Casanova <address@hidden>

> tem um script interessante aqui:
>
>
> https://daemoniolabs.wordpress.com/2012/07/30/quebrando-a-senha-de-arquivos-rar-por-brute-force/
>
>
> 2013/4/16 Alfredo Casanova <address@hidden>
>
> > e tem também o parallel
> > http://www.gnu.org/software/parallel/
> >
> >
> >
> >
> > 2013/4/16 Alfredo Casanova <address@hidden>
> >
> >> você pode usar o xargs pra paralelizar também
> >>
> >>
> >>
> >> 2013/4/16 Leslie Watter <address@hidden>
> >>
> >>> **
> >>>
> >>>
> >>> Peterson,
> >>>
> >>> No teu caso, eu faria o seguinte:
> >>>
> >>> rodaria o john the ripper (já que vc escolheu esse) pra gerar um
> buzilhão
> >>> de senhas em um arquivo.
> >>>
> >>> faria um for PROC de 1 até n
> >>> onde n seria o numero de processos que vc vai duplicar
> >>>
> >>> para cada processo PROC vc testa nele a linha do arquivo de senhas %
> proc
> >>> (ou seja, só aquelas cujo módulo =0 para o número do processo)
> >>>
> >>> testa o resultado
> >>> se um dos processos encontrar a senha, vc pode matar todos os outros
> com
> >>> um
> >>> pkill ou killall
> >>> e fazer um echo senha > senha-correta
> >>>
> >>> e pronto....
> >>>
> >>> assim vc consegue paralelizar em quantas máquinas quiser ... só usar um
> >>> arquivo unico pra cada máquina ...
> >>>
> >>> []s
> >>>
> >>> LEslie
> >>> PS: a implementação fica como exercício :P
> >>>
> >>>
> >>> 2013/4/15 Petterson Faria <address@hidden>
> >>>
> >>> > Vamos trocar ideias.
> >>> >
> >>> > Testando os exemplos do coproc, no blog do Julio, estou pensando...
> >>> >
> >>> > Objetivo: Testar senha do arquuivo.rar
> >>> > Comando para testar: rar e -p${senha} arquivo.rar
> >>> > condição de saida: if [ $? -eq 0 ]
> >>> >
> >>> > Se eu crio um coproc que vai receber as senhas geradas pelo john the
> >>> > ripper, e executar o comando de teste, eu deveria criar um segundo
> >>> coproc
> >>> > para validar o resultado do comando? Para não "perder tempo"
> validando
> >>> > dentro da thread que testa, correto?
> >>> > Valeria ter uma thread que executa e testa, ou uma para cada funcao?
> >>> > Criar logo umas 12 threads e passar na ordem? "for i in {1..12}"
> >>> >
> >>> > Dai eu pegaria o john the ripper, e mandaria ele gerar pra mim as
> >>> senhas e
> >>> > ia jogando as saidas para as coproc processarem.
> >>> >
> >>> > Vou fazer um teste pequeno para abstrair melhor...
> >>> >
> >>> > Ao meu ver, para ganhar no processamento, eu deveria abrir uma thread
> >>> pra
> >>> > cada senha, porque se o john retorna senhas mais rapidos que meu
> coproc
> >>> > testa o rar, eu teria um gargalo, correto?
> >>> >
> >>> > Para aumentar esse processamento para um cluster, ai sim talvez entre
> >>> o SSH
> >>> > Cluster que o @Leslie citou...
> >>> >
> >>> > Não sei se eh o sono que eu cheguei da faculdade ou se devo ainda
> >>> reler e
> >>> > refazer os exemplos do coproc..
> >>> >
> >>> > B
> >>> > om pra quem interessou no assunto/estudo, vamos lá.
> >>> >
> >>> > Boa noite pros amigos.
> >>> >
> >>> >
> >>> >
> >>> > --
> >>> > Atenciosamente,
> >>> > *Petterson Faria*
> >>> >
> >>> > "Há momentos em que a maior sabedoria, é parecer não saber nada" (Sun
> >>> Tzu)
> >>> >
> >>> >
> >>> >
> >>> > 2013/4/15 Petterson Faria <address@hidden>
> >>> >
> >>> > > O estudo surgiu de uma necessidade, e como tudo tem jeito no shell
> >>> pensei
> >>> > > em como fazer isso.
> >>> > > Eu estava tentando recuperar uma senha de um arquivo .rar usando o
> >>> > > programa www.cRARk.net
> >>> > > Dai vi uma opção de usar o john the ripper com shell pra quebrar.
> >>> > > Queria executar esse script mas distribuir no cluster para ganhar
> no
> >>> > > processamento.
> >>> > > Vou favoritar todos links passados, para ler com calma, que a coisa
> >>> não é
> >>> > > tão simples.
> >>> > > Obrigado a todos pelas respostas.
> >>> > >
> >>> > >
> >>> > > --
> >>> > > Atenciosamente,
> >>> > > *Petterson Faria*
> >>> > >
> >>> > > "Há momentos em que a maior sabedoria, é parecer não saber nada"
> (Sun
> >>> > Tzu)
> >>> > >
> >>> > >
> >>> > >
> >>> > > 2013/4/15 Tiago Peczenyj <address@hidden>
> >>> > >
> >>> > >> **
> >>> > >>
> >>> > >>
> >>> > >> Se o objetivo é processar uma massa grande de dados é possivel
> usar
> >>> > hadoop
> >>> > >> + shell scripts
> >>> > >>
> >>> > >>
> >>> > >>
> >>> >
> >>>
> http://blog.pfa-labs.com/2010/11/using-hadoop-streaming-and-bash-scripts.html
> >>> > >>
> >>> > >> MAS tudo é um grande depende. Existem muitas ferramentas nesse
> ramo,
> >>> > cada
> >>> > >> uma pode ser mais ou menos apropriada para um tipo de problema.
> >>> > >>
> >>> > >>
> >>> > >> 2013/4/15 Leslie Watter <address@hidden>
> >>> > >>
> >>> > >> > Peterson,
> >>> > >> >
> >>> > >> > Qual o teu objetivo com o script shell ??
> >>> > >> >
> >>> > >> > Processar uma massa de dados gigante ? Ai não sei se vale a pena
> >>> usar
> >>> > o
> >>> > >> > shell pra fazer isso, uma vez que um programa em C/C++ +
> >>> > >> > openmpi/lanmpi/whatever pode ser muitas ordens de grandeza mais
> >>> > >> rápido...
> >>> > >> >
> >>> > >> > Executar o mesmo comando em várias máquinas ? (veja o clusterssh
> >>> ---
> >>> > >> > http://sourceforge.net/projects/clusterssh/)
> >>> > >> >
> >>> > >> > []s
> >>> > >> >
> >>> > >> > LEslie
> >>> > >> >
> >>> > >> >
> >>> > >> > 2013/4/14 Petterson Faria <address@hidden>
> >>> > >> >
> >>> > >> > > **
> >>> > >> > >
> >>> > >> > >
> >>> > >> > > Eu procurei hoje sobre executar um script shell num cluster de
> >>> > >> > > processamento, entao vi que o "programa" deve suportar MPI
> para
> >>> > poder
> >>> > >> ser
> >>> > >> > > paralelizado e tal.
> >>> > >> > >
> >>> > >> > > Entao achei esse MPIShell:
> >>> > >> > > http://www.lrz.de/services/software/programmierung/mpish/
> >>> > >> > >
> >>> > >> > > Alguem aqui ja pesquisou ou usou algo parecido?
> >>> > >> > > Vi que o john the ripper suporta mpi, se eu rodar ele via
> >>> shell, e
> >>> > meu
> >>> > >> > > shell for o bash padrao, entao ele não distribuiria o
> >>> processamento?
> >>> > >> > >
> >>> > >> > > Não sei se fui claro quanto a duvida, mas resumindo, eu queria
> >>> usar
> >>> > >> mais
> >>> > >> > de
> >>> > >> > > uma maquina para processar um script shell.
> >>> > >> > >
> >>> > >> > > --
> >>> > >> > > Atenciosamente,
> >>> > >> > > *Petterson Faria*
> >>> > >> > >
> >>> > >> > > "Há momentos em que a maior sabedoria, é parecer não saber
> nada"
> >>> > (Sun
> >>> > >> > Tzu)
> >>> > >> > >
> >>> > >> > > [As partes desta mensagem que não continham texto foram
> >>> removidas]
> >>> > >> > >
> >>> > >> > >
> >>> > >> > >
> >>> > >> >
> >>> > >> >
> >>> > >> >
> >>> > >> > --
> >>> > >> > Leslie H. Watter
> >>> > >> >
> >>> > >> >
> >>> > >> > [As partes desta mensagem que não continham texto foram
> removidas]
> >>> > >> >
> >>> > >> >
> >>> > >> >
> >>> > >> > ------------------------------------
> >>> > >> >
> >>> > >> > ----------------------------------------------------------
> >>> > >> > Esta lista não admite a abordagem de outras liguagens de
> >>> programação,
> >>> > >> como
> >>> > >> > perl, C etc. Quem insistir em não seguir esta regra será
> moderado
> >>> sem
> >>> > >> > prévio aviso.
> >>> > >> > ----------------------------------------------------------
> >>> > >> > Sair da lista: address@hidden
> >>> > >>
> >>> > >> > ----------------------------------------------------------
> >>> > >> > Esta lista é moderada de acordo com o previsto em
> >>> > >> > http://www.listas-discussao.cjb.net
> >>> > >> > ----------------------------------------------------------
> >>> > >> > Servidor Newsgroup da lista: news.gmane.org
> >>> > >> > Grupo: gmane.org.user-groups.programming.shell.brazil
> >>> > >> >
> >>> > >> > Links do Yahoo! Grupos
> >>> > >> >
> >>> > >> >
> >>> > >> >
> >>> > >>
> >>> > >> --
> >>> > >> Tiago B. Peczenyj
> >>> > >> Linux User #405772
> >>> > >>
> >>> > >> http://about.me/peczenyj
> >>> > >>
> >>> > >>
> >>> > >> [As partes desta mensagem que não continham texto foram removidas]
> >>> > >>
> >>> > >>
> >>> > >>
> >>> > >
> >>> > >
> >>> >
> >>> >
> >>> > [As partes desta mensagem que não continham texto foram removidas]
> >>> >
> >>> >
> >>> >
> >>> > ------------------------------------
> >>> >
> >>> > ----------------------------------------------------------
> >>> > Esta lista não admite a abordagem de outras liguagens de programação,
> >>> como
> >>> > perl, C etc. Quem insistir em não seguir esta regra será moderado sem
> >>> > prévio aviso.
> >>> > ----------------------------------------------------------
> >>> > Sair da lista: address@hidden
> >>> > ----------------------------------------------------------
> >>> > Esta lista é moderada de acordo com o previsto em
> >>> > http://www.listas-discussao.cjb.net
> >>> > ----------------------------------------------------------
> >>> > Servidor Newsgroup da lista: news.gmane.org
> >>> > Grupo: gmane.org.user-groups.programming.shell.brazil
> >>> >
> >>> > Links do Yahoo! Grupos
> >>> >
> >>> >
> >>> >
> >>>
> >>> --
> >>> Leslie H. Watter
> >>>
> >>> [As partes desta mensagem que não continham texto foram removidas]
> >>>
> >>>
> >>>
> >>
> >>
> >>
> >> --
> >> []'s
> >> Alfredo Casanova
> >> Linux User #228230
> >> msn: address@hidden
> >> tel: +55 61 9655 9619
> >>
> >
> >
> >
> > --
> > []'s
> > Alfredo Casanova
> > Linux User #228230
> > msn: address@hidden
> > tel: +55 61 9655 9619
> >
>
>
>
> --
> []'s
> Alfredo Casanova
> Linux User #228230
> msn: address@hidden
> tel: +55 61 9655 9619
>
>
> [As partes desta mensagem que não continham texto foram removidas]
>
>
>
> ------------------------------------
>
> ---------------------------------------------------------------------
> Esta lista não admite a abordagem de outras liguagens de programação, como
> perl, C etc. Quem insistir em não seguir esta regra será moderado sem
> prévio aviso.
> ---------------------------------------------------------------------
> Sair da lista: address@hidden
> ---------------------------------------------------------------------
> Esta lista é moderada de acordo com o previsto em
> http://www.listas-discussao.cjb.net
> ---------------------------------------------------------------------
> Servidor Newsgroup da lista: news.gmane.org
> Grupo: gmane.org.user-groups.programming.shell.brazil
>
> Links do Yahoo! Grupos
>
>
>


[As partes desta mensagem que não continham texto foram removidas]