Categoria: Linux(Shell);

Local destinado às dicas de aplicativos em linha de comando, customizações bash, configurações de sistema, e afins.

Desempenho de Websites com Google PageSpeed Insights

Muitos se preocupam com boa pontuação no Pages Speed:
pagespeed_animation
Nesta semana foram corrigidas algumas configurações que ficaram erradas após migrações, e que estavam afetando performance.
Isso é muito importante e pode ajudar na performance de websites. Se precisar de algum apoio, conte conosco!

Ah, dica extra sobre Linux:

Se estiver se perguntando “Como fazer uma animação simples como essa aqui logo acima?“. Bom, é bem simples.

Bate duas fotos(a.k.a. screenshots) por exemplo como foi feito ali no pagespeed, uma na abinha mobile, outra na abinha desktop, e faz o seguinte comando numa pasta contendo apenas essas duas imagens:

$ convert -delay 100 -loop 0 *.png animation.gif

Isso vai gerar um gif com nome animation.gif, que fica passando as duas imagens.

Esse exemplo mostra como gerar um gif a partir de duas imagens png. Mas também é possível fazer com mais!! Quantas forem necessário para sua explicação.

Ótima ferramenta de ensino para tutoriais, blogs, manuais de instrução online(aqueles em html).

Lembrando sempre que o convert é uma ferramenta encontrada dentro do pacote do ImageMagick, então se não tens imagemagick:

$ sudo apt-get install imagemagick imagemagick-common

Por: Hudson Santos
Referência: https://unix.stackexchange.com/questions/24014/creating-a-gif-animation-from-png-files

Monitor de tráfego na interface com tcpdump

Olá pessoal!

Mais um comandinho carta na manga pra nós sysadmins.

Geralmente quando mais precisamos monitorar ou saber quantos mbps estão ‘fluindo’ por determinada inferface, acabamos tendo que instalar pacotes que monitoram largura de banda, tais como iptraf, nethogs, dentre outros.

Mas e quando não tem acesso à Internet. por exemplo e não tem nenhum outro software já instalado pra isso?

# tcpdump -w - |pv -bert >/dev/null #show network throughput

Logicamente, tem que ter o pv instalado, mas provavelmente ja vem instalado por padrão.
Seu output é bem bruto, soma tudo e mostra quanto está passando geral, ou seja, inbound/outbound.

Devem ter maneiras de aperfeiçoar o comando, pra medir apenas inboud, ou apenas outbound, talvez colocando parâmetros a mais ali no tcpdump -w.

Mas para isso teria que fazer mais pesquisas.
Se você descobrir, comenta aí!

Forte abraço!

http://www.commandlinefu.com/commands/using/tcpdump
https://www.cyberciti.biz/open-source/command-line-hacks/pv-command-examples/

letsencrypt: Certificado HTTPS gratuito, automatizado e aberto

Isso mesmo, Let’s Encrypt é uma nova Autoridade Certificadora patrocinada por gigantes como mozilla, facebook, cisco e google-chrome..

Qualquer pessoa que já trabalhou na criação de um site seguro(https) sabe a burocracia que era obter e manter um certificado. Let’s Encrypt automatiza e resolve este problema, permitindo que operadores de sites ativem e gerenciem seu HTTPS com comandos simples. Isso significa:

  • Nenhum e-mail de validação;
  • Sem edição de configuração complicada;
  • Sem certificados expirados quebrando seu site.

E, claro, uma vez que o Let’s Encrypt fornece certificados de graça, não há necessidade de providenciar o pagamento.

Este POST visa descrever como realizar as funções de gestão de certificados mais comuns usando o cliente Let’s Encrypt.

Se quiser aprofundar conhecimento e saber mais sobre como isso funciona nos bastidores, acesse os links nas referências ao final deste POST.

Primeiro passo é acessar seu servidor e fazer uma cópia do cliente letsencrypt:

$ git clone https://github.com/letsencrypt/letsencrypt
$ cd letsencrypt
$ ./letsencrypt-auto –help

Agora vamos gerar o certificado:

$ ./letsencrypt-auto certonly –webroot –webroot-path /var/www/seu_dominio.com.br –renew-by-default –email webmaster@seu_dominio.com.br –text –agree-tos -d seu_dominio.com.br -d www.seu_dominio.com.br

Logo após a geração, se tudo correr bem, você verá algumas informações importantes tais como essa a seguir. Guarde em local seguro.

IMPORTANT NOTES:
If you lose your account credentials, you can recover through
e-mails sent to webmaster@seu_dominio.com.br.

Congratulations! Your certificate and chain have been saved at
/etc/letsencrypt/live/seu_dominio.com.br/fullchain.pem. Your cert will
expire on 2016-05-26. To obtain a new version of the certificate in
the future, simply run Let’s Encrypt again.

Your account credentials have been saved in your Let’s Encrypt
configuration directory at /etc/letsencrypt. You should make a
secure backup of this folder now. This configuration directory will
also contain certificates and private keys obtained by Let’s
Encrypt so making regular backups of this folder is ideal.

If you like Let’s Encrypt, please consider supporting our work by:

Donating to ISRG / Let’s Encrypt: https://letsencrypt.org/donate
Donating to EFF: https://eff.org/donate-le

Agora habilite em seu webserver as configurações necessárias apontando para o certificado gerado. Segue as configurações para os webservers mais usados:

Nginx:

listen 443 ssl;
ssl_certificate /etc/letsencrypt/live/seu_dominio.com.br/fullchain.pem;
ssl_certificate_key /etc/letsencrypt/live/seu_dominio.com.br/privkey.pem;
ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
ssl_ciphers HIGH:!aNULL:!MD5;

Apache:

Dê uma olhada se há alguma configuração no ports.conf.
Senão, crie um arquivo de configuração para seu domínio: /etc/apache2/sites-available/seu_dominio.com.br-ssl.conf

Com o seguinte conteúdo:

<VirtualHost *:443>
ServerAdmin webmaster@seu_dominio.com.br
ServerName www.seu_dominio.com.br
ServerAlias seu_dominio.com.br
DocumentRoot “/var/www/seu_dominio.com.br/”
SSLEngine on
SSLProtocol all -SSLv2
SSLCipherSuite ALL:!ADH:!EXPORT:!SSLv2:RC4+RSA:+HIGH:+MEDIUM

SSLCertificateFile /etc/letsencrypt/live/seu_dominio.com.br/cert.pem
SSLCertificateKeyFile /etc/letsencrypt/live/seu_dominio.com.br/privkey.pem
SSLCertificateChainFile /etc/letsencrypt/live/seu_dominio pf8melp.com.br/chain.pem
</VirtualHost>

…depois faça um link simbólico pra ele dentro de sites-enabled:

ln -s /etc/apache2/sites-available/seu_dominio.com.br-ssl.conf /etc/apache2/sites-enabled/seu_dominio.com.br-ssl.conf

Se quiser fazer o redirecionamento de todo o tráfego entrante de HTTP para HTTPS, use regra 301 do tipo:

server {
listen 80 default;
server_name seu_dominio.com.br www.seu_dominio.com.br;
return 301 https://www.seu_dominio.com.br$request_uri;
}

E se por acaso estiver configurando o certificado num proxy, não esqueça de configurar o proxy para adicionar os cabeçalhos:

    location / {
proxy_pass http://localhost:1234;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
}

Desta forma, mesmo outros servidores ‘atrás’ do seu proxy terão condições de permanecer em HTTPS para o usuário, como na gravura a seguir:

Para re-validar seu certificado é simples: letsencrypt renew

Por exemplo, usuários nginx poderiam usar um script assim:

#!/bin/sh
if ! /caminho/para/seu/letsencrypt-auto renew > /var/log/letsencrypt/renew.log 2>&1 ; then
echo Automated renewal failed:
cat /var/log/letsencrypt/renew.log
exit 1
fi
nginx -s reload

Para apache:

#!/bin/sh
if ! /caminho/para/seu/letsencrypt-auto renew > /var/log/letsencrypt/renew.log 2>&1 ; then
echo Automated renewal failed:
cat /var/log/letsencrypt/renew.log
exit 1
fi
apachectl graceful

Agora basta fazer o teste pra saber se está tudo OK: https://cryptoreport.websecurity.symantec.com/checker/

Obrigado pela leitura e volte sempre.
Qualquer dúvida fique a vontade para postar nos comentários logo abaixo.

Referências:

Acordo de assinatura: https://letsencrypt.org/documents/LE-SA-v1.0.1-July-27-2015.pdf
https://letsencrypt.org/getting-started/
https://letsencrypt.org/howitworks/
https://support.cloudflare.com/hc/en-us/articles/214820528-How-to-Validate-a-Let-s-Encrypt-Certificate-on-a-Site-Already-Active-on-CloudFlare
https://www.digitalocean.com/community/tutorials/how-to-set-up-nginx-load-balancing-with-ssl-termination

Migração de mensagens imap

Pesquisando pela Internet, descobri que existe uma maneira muito legal de migração de mensagens entre contas IMAP. De um servidor para outro por exemplo.

Nessas horas é bem comum administradores de rede usarem um cliente de email qualquer como um Thunderbird, Evolution ou o próprio Outlook, e cadastrar a conta antiga e a nova.

Uma vez cadastradas, basta copiar as mensagens e pastas da conta antiga para uma pasta local, e logo em seguida copiar da pasta local para a conta nova.

O problema é que muitas vezes os clientes de email e/ou ambos os servidores são falhos nessa tarefa. Não sincronizam direito. As vezes simplesmente param. Não geram mensagem de erro. Não dizem quais mensagens copiaram com sucesso, e não alertam em qual mensagem parou.

Então, descontente com esta situação, encontrei o imapsync.

É desenvolvido em Perl por Gilles Lamiral, um francês que comercializa este software por 50 euros, mas que também disponibiliza o código opensource para implementação no github. Para instalar em Ubuntu-based é fácil:

[root@localhost]# apt-get install \
libauthen-ntlm-perl \
libcrypt-ssleay-perl \
libdigest-hmac-perl \
libfile-copy-recursive-perl \
libio-compress-perl \
libio-socket-inet6-perl \
libio-socket-ssl-perl \
libio-tee-perl \
libmodule-scandeps-perl \
libnet-ssleay-perl      \
libpar-packer-perl \
libterm-readkey-perl \
libtest-pod-perl \
libtest-simple-perl     \
libunicode-string-perl \
liburi-perl \
cpanminus

Agora, insale manualmente o módulo do Perl Mail::IMAPClient:

  [root@localhost]# cpanm Data::Uniqid Mail::IMAPClient

Faça o download do repositório:

 [user@localhost]$ git clone https://github.com/gilleslamiral/imapsync.git

Dentro da pasta do repositório:

 [user@localhost]$ ./imapsync –host1 imap.server1.com.br –user1 username@dominio.com.br –password1 senha_da_conta_antiga –host2 imap.server2.com.br –user2 username@dominio.com.br –password2 senha_da_conta2

E se por acaso tiver SSL em alguma das contas, é só usar parâmetro:  –ssl1 –port1 993 ou –ssl2 –port2 993

Ao final da execução, o legal é que ele mostra as estatísticas confiáveis:

++++ Calculating sizes on Host2
Host2 folder [Archive]                           does not exist yet
Host2 folder [Drafts]                            Size:         0 Messages:     0 Biggest:         0
Host2 folder [INBOX]                             Size: 232358928 Messages:  3799 Biggest:   5536365
Host2 folder [Junk]                              does not exist yet
Host2 folder [Sent]                              Size:  35289450 Messages:    48 Biggest:  11040301
Host2 folder [Trash]                             Size:         0 Messages:     0 Biggest:         0
Host2 Nb messages:            3847 messages
Host2 Total size:        267648378 bytes (255.25 MiB)
Host2 Biggest message:    11040301 bytes (10.53 MiB)
Host2 Time spent:             20.4 seconds
++++ Statistics
Transfer started on               : Wed Jan 27 18:55:17 2016
Transfer ended on                 : Wed Jan 27 19:46:45 2016
Transfer time                     : 3087.7 sec
Messages transferred              : 1336
Messages skipped                  : 1485
Messages found duplicate on host1 : 0
Messages found duplicate on host2 : 671
Messages void (noheader) on host1 : 0
Messages void (noheader) on host2 : 0
Messages deleted on host1         : 0
Messages deleted on host2         : 0
Total bytes transferred           : 67540850 (64.41 MiB)
Total bytes duplicate host1       : 0 (0.00 KiB)
Total bytes duplicate host2       : 54656054 (52.12 MiB)
Total bytes skipped               : 100381257 (95.73 MiB)
Total bytes error                 : 0 (0.00 KiB)
Message rate                      : 0.4 messages/s
Average bandwidth rate            : 21.4 KiB/s
Reconnections to host1            : 0
Reconnections to host2            : 0
Memory consumption                : 133.2 MiB
Biggest message                   : 5536303 bytes
Initial difference host2 – host1  : -311 messages, 32149440 bytes (30.66 MiB)
Final   difference host2 – host1  : 1026 messages, 99726271 bytes (95.11 MiB)
Detected 0 errors

New imapsync release 1.678 available
Homepage: http://imapsync.lamiral.info/

Referências:

http://imapsync.lamiral.info/INSTALL.d/INSTALL.Ubuntu.txt
https://github.com/gilleslamiral/imapsync

bash: acessar display do X com outro usuário

Quem usa linux dificilmente larga o famoso prompt de comando.
Isso se deve ao grande poder e à conhecida versatilidade do BASH.

Entretando, existem sempre algumas dificuldades que a grande maioria passa.
Neste POST está mais uma dessas, bem como a solução.

Talvez você precise executar um programa no modo gráfico, mas com sua inicialização partindo dum comando.
Isso talvez aconteça pois você quer visualizar os erros/outputs deste programa em específico.

Pra isso, simplesmente você faz:

hudson@vostrolab ~/ $ programa

Mas talvez a idéia seja simplesmente executar um programa com outro usuário. Então você pensa:

hudson@vostrolab ~/ $ su – usuario -c “xlogo”

E aí você obtém:

Password:
No protocol specified
Error: Can’t open display: :0

Isso acontece pois as chaves usadas para autenticar sua sessão do X (modo gráfico) não são mais válidas a partir do momento em que você troca de usuário.
Tal medida de segurança parece exagero, mas é uma herança de quando as sessões X eram muito usadas em rede.

Pra resolver essa, basta liberar sua sessão X para autenticar outros usuários, usando o comando xhost.
Isso deve ser feito antes de trocar de usuário.

hudson@vostrolab ~/ $ xhost +local:local
non-network local connections being added to access control list
hudson@vostrolab ~/ $ su – usuario -c “xlogo”
Password:
hudson@vostrolab ~/ $

xlogo foi usado como exemplo de aplicação, pois abre uma simples ‘janela’ na tela.
Nesse ponto da execução, você deve ver sua aplicação normalmente, seja um mozilla ou um thunderbird =).

Não esqueça de desfazer a autorização com o ‘menos’ ao invés do ‘mais’:

hudson@vostrolab ~/ $ xhost -local:local
non-network local connections being removed from access control list

Referências: http://www.tuxradar.com/content/command-line-tricks-smart-geeks

Clonando um banco de dados do MySQL

Então prezado leitor,

Depois de um tempo sem postar, tenho mais uma à apresentar;
Presta atenção com calma, lê bem antes de executar!

Os tempo sem postar não quer dizer eu desistí;
Quer dizer prepara aí, que tem vários POST por vir!

Se liga nessa, não tenha pressa, que o tal do BASH é bom à beça.

Essa dica é pra comunidade ligada na administração de MySQL. Maneira simples de fazer uma clonagem de um banco pra outro:

Em suma, isso gera um dump:

$ mysqldump > dumpfile

E isso faz load no novo banco recém criado:

$ mysq < dumpfile

Por exemplo, agora com todos os parâmetros na íntegra, veja como os comandos ficariam em meu ambiente.
Vamos supor que tenho um banco chamado banco01 e desejo cloná-lo em cima do banco02:

$ mysqldump -u smallbee -p –host mysql.smallbee.com.br banco01 > dumpfile.sql

Para fazer load no banco novo (depois de criado é lógico):

$ mysql -u smallbee -p –host mysql.smallbee.com.br banco02 < dumpfile.sql

Por: Hudson Murilo dos Santos
Referências: man mysql && man mysqldump

getent: Buscando informações em bases administrativas do Linux

Olá pessoal,

Esta dica é bem útil para validações durante programação shellscript.
Trata-se do comando getent. Basicamente sua função é buscar informações em bases de informações administrativas do sistema Linux.
Base esta que pode ser: ahosts, ahostsv4, ahostsv6, aliases, ethers, group, hosts, netgroup, networks, passwd, protocols, rpc, services or shadow.

Read More

Utilização dos jobs, fg e bg no shell do linux

Segue breve dica de como manipular os jobs do linux com os comandos jobs, fg e bg e também com a combinação ctrl+z.
Vamos trabalhar com 03 processos:

vim teste.txt
vim teste02.txt
man ascii

Segue vídeo de um nerd manipulando estes três jobs:

Ah, tem também o bg que não usei no vídeo, mas serve para não deixar um comando “congelado”. Quando pressionamos a combinação ctrl+z ele fica congelado aguardando utilização (não fica processando), por exemplo, se você usar ctrl+z logo após abrir processo do xmms com música tocando, a música vai parar de tocar pois o processo para de processar. Daí pra fazer a música voltar sem voltar para o processo, basta usar o ‘bg‘. Se existirem outros jobs, fazer bg <numero_do_job>.

Por: Hudson Murilo dos Santos
Referências: man bash (sessão JOB CONTROL)

Funcao simples para limpeza de logs

Então,

Como complemento ao POST de Agosto do ano passado, “Gerando LOG de execução de scripts“, segue simples função que utilizo em grande parte dos scripts, para manter os logs gerados pelo script, com no máximo 30000 linhas. Isso não deixa um logfile passar de aproximados 5Mb (elimina preocupações de espaço em disco comprometido por logfile gigantesco gerado pelo seu script):

Read More