Tira Gosto

Shell em pedaços pequenos e gostosos

Em construção para sempre

Passando parâmetros com xargs

Existe um comando, cuja função primordial é construir listas de parâmetros e passá-la para a execução de outros programas ou instruções. Este comando é o xargs e deve ser usado da seguinte maneira:

    xargs [comando [argumento inicial]]

xargs combina o argumento inicial com os argumentos recebidos da entrada padrão, de forma a executar o comando especificado uma ou mais vezes.

Exemplo:

Vamos procurar em todos os arquivos abaixo de um determinado diretório uma cadeia de caracteres usando o comando find com a opção -type f para pesquisar somente os arquivos normais, desprezando diretórios, arquivos especiais, arquivos de ligações, etc, e vamos torná-la mais genérica recebendo o nome do diretório inicial e a cadeia a ser pesquisada como parâmetros. Para isso fazemos:

Na execução deste script procuramos, a partir do diretório definido na variável $1, todos os arquivos que continham a cadeia definida na variável $2.

Exatamente a mesma coisa poderia ser feito se a linha do programa fosse a seguinte:

    find $1 -type f -exec grep -l "$2" {} \;

O primeiro processo tem duas grandes desvantagens sobre o anterior:

• A primeira é bastante visível: o tempo de execução deste método é muito superior ao daquele, isso porque o grep será feito em cada arquivo que lhe for passado pelo find, um-a-um, ao passo que com o xargs, será passada toda, ou na pior das hipóteses, a maior parte possível, da lista de arquivos gerada pelo find;

• Dependendo da quantidade de arquivos encontrados que atendem ao find, poderemos ganhar aquela famosa e fatídica mensagem de erro Too many arguments indicando um estouro da pilha de execução do grep. Como foi dito no item anterior, se usarmos o xargs ele passará para o grep a maior quantidade de parâmetros possível, suficiente para não causar este erro, e caso necessário executará o grep mais de uma vez.

Aê pessoal do linux que usa o ls colorido que nem porta de tinturaria: nos exemplos a seguir que envolvem esta instrução, você devem usar a opção --color=none, senão existem grandes chances dos resultados não ocorrerem como o esperado.

Vamos agora analisar um exemplo que é mais ou menos o inverso deste que acabamos de ver. Desta vez, vamos fazer um script para remover todos os arquivos do diretório corrente, pertencentes a um determinado usuário.

A primeira idéia que surge é, como no caso anterior, usar um comando find, da seguinte maneira:

    find . -user cara -exec rm -f {} \;

Quase estaria certo, o problema é que desta forma você removeria não só os arquivos do cara no diretório corrente, mas também de todos os outros subdiretórios "pendurados" neste. Vejamos então como fazer:

    ls -l | grep " cara " | cut -c55- | xargs rm

Desta forma, o grep selecionou os arquivos que continham a cadeia cara no diretório corrente listado pelo ls -l. O comando cut pegou somente o nome dos arquivos, passando-os para a remoção pelo rm usando o comando xargs como ponte

O xargs é também uma excelente ferramenta de criação de one-liners (scripts de somente uma linha). Veja este para listar todos os donos de arquivos (inclusive seus links) "pendurados" no diretório /bin e seus subdiretórios.

Muitas vezes o /bin é um link (se não me engano, no Solaris o é) e a opção -follows obriga o find a seguir o link. O comando xargs alimenta o ls -al e a seqüência de comandos seguinte é para pegar somente o 3º campo (dono) e classificá-lo devolvendo somente uma vez cada dono (opção -u do comando sort, que equivale ao comando uniq).

Opções do xargs

Opção -i

Para exemplificar isso e começar a entender as principais opções desta instrução, vamos supor que temos que remover todos as arquivos com extensão .txt sob o diretório corrente e apresentar os seus nomes na tela. Veja o que podemos fazer:

A opção -i do xargs troca pares de chaves ({}) pela cadeia que está recebendo pelo pipe (|). Então neste caso as chaves ({}) serão trocadas pelos nomes dos arquivos que satifaçam ao comando find.

Opção -n

Olha só a brincadeira que vamos fazer com o xargs:

Quando mandamos a saída do ls para o arquivo usando o xargs, comprovamos o que foi dito anteriormente, isto é, o xargs manda tudo que é possível (o suficiente para não gerar um estouro de pilha) de uma só vez. Em seguida, usamos a opção -n 1 para listar um por vez. Só para dar certeza veja o exemplo a seguir, quando listaremos dois em cada linha:

Mas a linha acima poderia (e deveria) ser escrita sem o uso de pipe (|), da seguinte forma:

Opção -p

Outra opção legal do xargs é a -p, na qual o sistema pergunta se você realmente deseja executar o comando. Digamos que em um diretório você tenha arquivos com a extensão .bug e .ok, os .bug estão com problemas que após corrigidos são salvos como .ok. Dá uma olhadinha na listagem deste diretório:

Para comparar os arquivos bons com os defeituosos, fazemos:

Opção -t

Para finalizar, o xargs também tem a opção -t, onde vai mostrando as instruções que montou antes de executá-las. Gosto muito desta opção para ajudar a depurar o comando que foi montado.

Resumo

Então podemos resumir o comando de acordo com a tabela a seguir:

Here Strings

Primeiro um programador com complexo de inferioridade criou o redirecionamento de entrada e representou-o com um sinal de menor (<) para representar seus sentimento. Em seguida, outro sentindo-se pior ainda, criou o here document representando-o por dois sinais de menor (<<) porque sua fossa era maior. O terceiro, pensou: "estes dois não sabem o que é estar por baixo"... Então criou o here strings representado por três sinais de menor (<<<).

Brincadeiras a parte, o here strings é utilíssimo e, não sei porque, é um perfeito desconhecido. Na pouquíssima literatura que há sobre o tema, nota-se que o here strings é freqüentemente citado como uma variante do here document, teoria com a qual discordo pois sua aplicabilidade é totalmente diferente daquela. Sua sintaxe é simples:

    $ comando <<< $cadeia

Onde cadeia é expandida e alimenta a entrada primária (stdin) de comando.

Como sempre, vamos direto aos exemplos dos dois usos mais comuns para que vocês próprios tirem suas conclusões.

• Uso #1. Substituindo a famigerada construção echo "cadeia" | comando, que força um fork, criando um subshell e onerando o tempo de execução.

Exemplos:

Para mostrar a melhoria no desempenho, vamos fazer um loop de 500 vezes usando o exemplo dados para o comando tr: Veja agora esta seqüência de comandos com medidas de tempo:

Veja agora esta seqüência de comandos com medidas de tempo:

Observando este quadro você verá que no primeiro usamos a forma convencional, no segundo usamos um named pipe temporário para executar uma substituição de processos e no terceiro usamos here strings. Notará também que ao contrário do exemplo anterior, aqui o uso de here strings não foi o mais veloz. Mas repare bem que neste último caso o comando who está sendo executado em um subshell e isso onerou o processo como um todo.

Vejamos uma forma rápida de inserir uma linha como cabeçalho de um arquivo:

• Uso #2. Outra forma legal de usar o here strings é casando-o com um comando read, não perdendo de vista o que aprendemos sobre IFS (veja aqui, na explicação do comando for). O comando cat com as opções -vet mostra o <ENTER> como $, o <TAB> como ^I e os outros caracteres de controle com a notação ^L onde L é uma letra qualquer. Vejamos então o conteúdo de uma variável e depois vamos ler cada um de seus campos:

Exemplos:

Também podemos ler direto para um vetor (array) veja:

Rotatório Peczenyj

Julio descobri uma forma para o Shell criar combinaçãoes fazendo rotação com os elementos estipulados. Podemos gerar todos os binários de 0000 a 1111 da seguinte forma:

Uma aplicação pratica que vejo é para combinar valores diferentes sem ter que encadear loops nem usar o seq

Neste caso eu combinei os números de 1 a 3 eliminando repetições com o grep. Usei um tr 'podre' para melhor tratar os dados, saltando linha.

O grep é simples como você pode notar, eu vejo se uma determinada parte da combinação (.+?(\b[0-9]+\b).+?) existe em outra parte (\1), se existe eu não deixo imprimir por causa da opção -v, assim

    1 1 2
    1 2 1
    1 1 1

Agora vai o meu exemplo: o one-liner a seguir gerará todas as permissões possíveis (em octal) para o arquivo arq (o exemplo foi interrompido porque existem 512 combinações de permissões possíveis).

Vamos ver este exemplo passo-a-passo para entendê-lo:

A seguir o xargs (clique para dicas do xargs) executa o comando bash -c (que serve para executar uma linha de comandos) que por sua vez executa o chmod e o ls -l para mostrar que as permissões estão sendo alteradas.

Aritmética em Shell

Antigamente usávamos o comando expr para fazer operações aritméticas e muita gente ainda usa, pois é compatível com quaquer ambiente.

Exemplo:

Neste artigo porém, vamos ver outras formas não tanto conhecidas, porém mais simples de usar, mais elaboradas e com precisão maior.

O uso do bc

Exemplo:

Para trabalhar com números reais (números não necessariamente inteiros), especifique a precisão (quantidade de decimais) com a opção scale do comando bc. Assim vejamos o penúltimo exemplo:

Outros exemplos:

Obviamente todos os exemplos acima no caso de linux, poderiam (e deveriam) ser escritos usando Here Strings. Veja os últimos como ficariam:

Uma vez apareceu na lista (excelente por sinal) de Shell script no Yahoo (http://br.groups.yahoo.com/group/shell-script/) um cara com a seguinte dúvida: "eu tenho um arquivo cujos campos estão separados por <TAB> e o terceiro deles possui números. Como posso calcular a soma de todos os números desta coluna do arquivo?"

Mandei a seguinte resposta:

Vamos por partes para entender melhor e primeiramente vamos ver como era o arquivo que fiz para teste:

Como pode-se ver, está dentro do padrão do problema, onde eu tenho como terceiro campo números reais. Vamos ver o que faria a primeira parte da linha de comandos, onde eu transformo os caracteres <ENTER> (new-line) em um sinal de mais (+):

Se eu mandasse desse jeito para o bc, ele me devolveria um erro por causa daquele sinal de mais (+) solto no final do texto. A minha saída foi colocar um zero no final, pois somando zero o resultado não se alterará. Vamos ver então como ficou:

Isso é o que se costuma chamar one-liner, isto é, códigos que seriam complicados em outras linguagens (normalmente seria necessário criar contadores e fazer um loop de leitura somando o terceiro campo ao contador) e em Shell são escritos em uma única linha.

Há também gente que chama isso de método KISS, que é o acrônimo de Keep It Simple Stupid.

Mas o potencial de uso desta calculadora não se encerra aí, existem diversas facilidades por ela propiciadas. Veja só este exemplo:

Nestes exemplos vimos como fazer mudanças de base de numeração com o uso do bc. Na primeira explicitamos a base de saída (obase) como 16 (hexadecimal) e na segunda, dissemos que a base da entrada (ibase) era 10 (decimal).

Outras formas de trabalhar com inteiros

Outra forma muito legal de fazer cálculos é usar a notação $((exp aritmética)). É bom ficar atento, porém, ao fato desta sintaxe não ser universalizada. O Bourne Shell (sh), por exemplo, não a reconhece.

Exemplo:

Usando o mesmo exemplo que já havíamos usado:

Agora olha só esta maluquice:

Ué!! Não é o cifrão ($) precedente que caracteriza uma variável? Sim, porém em todos os sabores UNIX que testei, sob bash ou ksh, ambas as formas de construção produzem uma boa aritmética.

Preste a atenção nesta seqüência:

Repare que apesar da variável não estar definida, pois foi feito um unset nela, nenhum dos comandos acusou erro, porque, como estamos usando construções aritméticas, sempre que uma variável não existe, é inicializada com zero (0).

Repare que o i++ produziu zero (0). Isto ocorre porque este tipo de construção chama-se pós-incrementação, isto é, primeiramente o comando é executado e só então a variável é incrementada. No caso do ++i, foi feita uma pré-incrementação: primeiro incrementou e somente após o comando foi executado.

Também são válidos:

Estas três operações seriam o mesmo que:

    i=$((i+3))
    i=$((i*3))
    i=$((i%2))

E isto seria válido para todos os operadores aritméticos o que em resumo produziria a tabela a seguir:

Mas o auge desta forma de construção com duplo parênteses é o seguinte:

Este tipo de construção deve ser lido da seguinte forma: caso a variável var seja maior que 40 (var>40), então (?) faça var igual a var menos 40 (var-40), senão (:) faça var igual a var mais 40 (var+40). O que quis dizer é que os caracteres ponto-de-interrogação (?) e dois-pontos (:) fazem o papel de "então" e "senão", servindo desta forma para montar uma operação aritmética condicional.

Da mesma forma que usamos a expressão $((...)) para fazer operações aritméticas, também poderíamos usar a intrínseca (built-in) let ou construção do tipo $[...].

Os operadores são os mesmos para estas três formas de construção, o que varia um pouco é a operação aritmética condicional com o uso do let. Vejamos como seria:

Baseando

Se você quiser trabalhar com bases diferentes da decimal, basta usar o formato:

    base#numero

Onde base é um número decimal entre 2 e 64 representando o sistema de numeração, e numero é um número no sistema numérico definido por base. Se base# for omitida, então 10 é assumida como default. Os algarismos maiores que 9 são representados por letras minúsculas, maiúsculas, @ e _, nesta ordem.

Se base for menor ou igual a 36, maiúsculas ou minúsculas podem ser usadas indiferentemente para definir algarismos maiores que 9 (não está mal escrito, os algarismos do sistema hexadecimal, por exemplo, variam entre 0 (zero) e F). Vejamos como isso funciona:

Nestes exemplos usei as notações $((...)) e $[...] indistintamente, para demonstrar que ambas funcionam.

Funciona também uma mudança automática para a base decimal, desde que você esteja usando a convenção numérica do C, isto é, em 0xNN, o NN será tratado como um hexadecimal e em 0NN, o NN será visto como um octal. Veja o exemplo:

Exemplo

Ah, já ia me esquecendo! As expressões aritméticas com os formatos $((...)), $[...] e com o comando let usam os mesmos operadores usados na instrução expr, além dos operadores unários (++, --, +=, *=, ...) e condicionais que acabamos de ver.

Testes usando expressões regulares

No Papo de Botequim 004, nós falamos tudo sobre comandos condicionais, mas faltou um que não existia àquela época. Neste mesmo Papo de Botequim, na seção E tome de test nós chegamos a falar de uma construção do tipo:

    [[ Expressao ]] && cmd

Onde o comando cmd será executado caso a expressão condicional Expressao seja verdadeira. Disse ainda que Expressao poderia ser estipulada de acordo com as regras de Geração de Nome de Arquivos (File Name Generation). A partir do bash versão 3, foi incorporado a esta forma de teste um operador representado por =~, cuja finalidade é fazer comparações com Expressões Regulares.

Exemplo:

Vamos dar uma esmiuçada na Expressão Regular ^(Governa|Sena|Verea)dora?$: ela casa com tudo que começa (^) por Governa, ou (|) Sena, ou (|) Verea, seguido de dor e seguido de um a opcional (?). O cifrão ($) serve para marcar o fim. Em outras palavras esta Expressão Regular casa com Governador, Senador, Vereador, Governadora, Senadora e Vereadora.

Colorindo a tela

Como você já havia visto no Papo de Botequim 007, o comando tput serve para fazer quase tudo referente a formatação de tela, mas o que não foi dito é que com ele também pode-se usar cores de frente (dos caracteres) e de fundo. Existem também outras formas de fazer o mesmo, acho porém, esta que veremos agora, mais intuitiva (ou menos “desintuitiva”). A tabela a seguir mostra os comandos para especificarmos os padrões de cores de frente (foreground) ou de fundo (background):

Bem, agora você já sabe como especificar o par de cores, mas ainda não sabe as cores. A tabela a seguir mostra os valores que o n (da tabela anterior) deve assumir para cada cor:

Neste ponto você já pode começar a brincar com as cores.

- Mas peraí, ainda são muito poucas!

- É, tem toda razão... O problema é que ainda não lhe disse que se você colocar o terminal em modo de ênfase (tput bold), estas cores geram outras oito. Vamos montar então a tabela definitiva de cores:

Exemplo

Como exemplo, vejamos um script que mudará a cor de sua tela de acordo com sua preferência.

Ganhando o jogo com mais coringas

Estava eu lendo meus e-mails quando recebo um do Tiago enviado para a lista de Shell Script (já falei da lista e do Tiago no Rotatório Peczenyj). A seguir o conteúdo do e-mail:

Não sei se é conhecimento de todos mas o shell possui, alem do globbing normal (a expansão *, ? e [a-z] de nomes de arquivos e diretórios), um globbing extendido.

Acho que, em alguns casos, podera ser BEM util, eliminando um pipe para um grep por exemplo.

São eles:

    ?(padrao)

    *(padrao)

    +(padrao)

    @(padrao)

    !(padrao)

Para poder utilizá-lo precisa executar o shopt conforme o exemplo abaixo:

Usando o awk para pesquisar por equivalência

Aí vai mais uma que o Tiago mandou para a lista de Shell Script do Yahoo (já falei da lista e do Tiago no Rotatório Peczenyj e no Ganhando o jogo com mais coringa)

Quem ja não passou por isso: Procurar uma palavra, porém uma letra acentuada, ou não, atrapalhou a busca?

Não descobri como fazer o grep ou sed aceitarem algo semelhante, mas o gawk aceita classes de equivalência!

Melhor explicar com um exemplo, onde vou listar o número da linha e a ocorrência casada:

Ou seja, usar [=X=] permite que a expressão encontre a letra X estando acentuada ou não (é sensivel à localização corrente!).

A sintaxe é parecida com a das classes POSIX, trocando os dois-pontos (:) antes e depois da classe por sinais de igual (=).

Achei curioso e deve servir para algum caso semelhante ao descrito.

find – Procurando arquivo por características

Se você está como o Mr. Magoo, procurando em vão um arquivo, use o comando find que serve para procurar arquivos não só pelo nome, como por diversas outras características. Sua sintaxe é a seguinte:

    find [caminho ...] expressão [ação]

Parâmetros:

caminho      Caminhos de diretório a partir do qual (porque ele é recursivo, sempre tentará entrar pelos subdiretórios "pendurados" neste) irá procurar pelos arquivos;
expressão   Define quais critérios de pesquisa. Pode ser uma combinação entre vários tipos de procura;
ação           Define que ação executar com os arquivos que atender aos critérios de pesquisa definidos por expressão.

Os principais critérios de pesquisa definidos por expressão são:

Para usar mais de um critério de pesquisa, faça:
     expressão1 expressão2
ou
     expressão1 –a expressão2
para atender aos critérios especificados por expressão1 e expressão2;
     expressão1 –o expressão2
para atender aos critérios especificados por expressão1 ou expressão2.

As principais ações definidas para ação são:

Exemplos:

Para listar na tela (-print) todos os arquivos, a partir do diretório corrente, terminados por .sh, faça:

Preciso abrir espaço em um determinado file system com muita urgência, então vou remover arquivos com mais de um megabyte e cujo último acesso foi há mais de 60 dias. Para isso, vou para este file system e faço:

Repare que no exemplo acima usei três critérios de pesquisa, a saber:

Repare ainda que entre estes três critérios foi usado o conector e, isto é, arquivos regulares e maiores que 1MByte e sem acesso há mais de 60 dias.

Para listar todos os arquivos do disco terminados por .sh ou .txt, faria:

Neste exemplo devemos salientar além das contrabarras (\) antes dos asteriscos (*), o uso do –o para uma ou outra extensão e que o diretório inicial era o raiz (/); assim sendo, esta pesquisa deu-se no disco inteiro (o que freqüentemente é bastante demorado).

Com o printf é possível formatar a saída do comando find e especificar os dados desejados. A formatação do printf é muito semelhante à do mesmo comando na linguagem C e interpreta caracteres de formatação precedidos por um símbolo de percentual (%). Vejamos seus efeitos sobre a formatação:

Também é possível formatar datas e horas obedecendo às tabelas a seguir:

Os três caracteres anteriores produzem uma data semelhante ao do comando date.

Veja um exemplo:

Nesse exemplo, o %p foi o responsável por colocar os nomes dos arquivos. Caso fosse omitido, somente as datas seriam listadas. Observe ainda que ao final foi colocado um /n. Sem ele não haveria salto de linha e a listagem anterior seria uma grande tripa.

Essas datas também podem ser formatadas, para isso basta passar as letras da tabela anterior para maiúsculas (%A, %C e %T) e usar um dos formatadores das duas tabelas a seguir:

Para melhorar a situação, vejamos uns exemplos; porém, vejamos primeiro quais são os arquivos do diretório corrente que começam por .b:

Para listar esses arquivos em ordem de tamanho, podemos fazer:

No exemplo que acabamos de ver, o \t foi substituído por um na saída de forma a tornar a listagem mais legível. Para listar os mesmos arquivos classificados por data e hora da última alteração:

Vou aproveitar também para mandar o meu jabá: diga para os amigos que quem estiver afim de fazer um curso porreta de programação em Shell que mande um e-mail para a nossa gerencia de treinamento para informar-se.

Qualquer dúvida ou falta de companhia para um chope ou até para falar mal dos políticos é só mandar um e-mail para mim.

Valeu!