(Um '''proventesters''', verifica e relata a estabilidade das atualizações de teste para [[critical path pac) |
(Se é uma biblioteca ou outro componente compartilhado, execute um aplicativo que use o componente e garanta que isso funcione.) |
||
| Line 26: | Line 26: | ||
Se o pacote for um aplicativo, execute o aplicativo e verifique se as operações básicas funcionam. | Se o pacote for um aplicativo, execute o aplicativo e verifique se as operações básicas funcionam. | ||
=== | === Testando bibliotecas e componentes compartilhados === | ||
Se é uma biblioteca ou outro componente compartilhado, execute um aplicativo que use o componente e garanta que isso funcione. | |||
== Feedback procedures == | == Feedback procedures == | ||
Revision as of 00:41, 22 February 2018
Um proventesters, verifica e relata a estabilidade das atualizações de teste para critical path packages.Eles recuperam suas atualizações do repositório QA:Updates_Testing e relatam suas descobertas usando karma com o Bodhi. O karma positivo de um proventesters é necessário para cada atualização de caminho crítico antes de poder dar push para o repositório estável.
Um proventester é um membro do grupo proventesters . Isto é, os indivíduos que desejam se juntar a este grupo devem primeiro ser orientados e aprovados.
Juntando-se aos proventesters
- Inscreva-se no Fedora Account System (if you haven't already) e se candidate para participar do grupo proventesters .
- Envie um ticket para Fedora QA Trac, com o assunto Proventester mentor Request , isto é, pedindo para se juntar aos proventesters'e solicitando um mentor.
- Aguarde que um mentor aceite seu pedido e siga as instruções que eles fornecerem
Para acelerar o processo, você pode prosseguir aprendendo a ser um proventester, seguindo as instruções mais abaixo, e apresentando alguns comentários enquanto aguarda o processo de tutoria. Publique no seu pedido para um mentor afim de esclarecer de que você leu as instruções nesta página, e que você entende como instalar atualizações de teste, testá-las e sabe enviar comentários. Além disso, você poderá apresentar aos futuros tutores, recursos dos quais você acredita que vá agregar ao pedido.
Processo de teste
Proventesters, verificam um nível básico de estabilidade antes de liberar uma atualização para o público. Eles não precisam testar a total correção ou garantir a cobertura completa do teste. Alguns testes variam de acordo com o tipo de pacote, enquanto outros devem passar para todas as atualizações. De um modo geral, uma atualização deve executar com sucesso todos os[ [critical path action]]s. O Fedora release criteria é outro guia útil para critérios mínimos de teste.
Proventesters verificam as atualizações instalando-os a partir do repositório de teste de atualizações. Para obter instruções sobre como usar este repositório, consulte this page. Para garantir uma detecção rápida de regressões, você deve executar uma atualização completa do sistema deste repositório pelo menos uma vez por dia. Você pode atualizar pacotes individuais mais rapidamente se a necessidade de verificação for urgente. Recomendamos que você tenha o SELinux habilitado e configurado para o modo Enforcing (esta é a configuração padrão, mas muitas pessoas desativam o SELinux após a instalação do Fedora) com o objetivo de testar.
Testes gerais
- O sistema deve poder desligar e reiniciar.
- O usuário deve poder fazer logon na área de trabalho.
- O usuário deve poder acessar a rede.
Testando aplicativos
Se o pacote for um aplicativo, execute o aplicativo e verifique se as operações básicas funcionam.
Testando bibliotecas e componentes compartilhados
Se é uma biblioteca ou outro componente compartilhado, execute um aplicativo que use o componente e garanta que isso funcione.
Feedback procedures
Since a proven tester's karma determines whether an update is allowed to be promoted, they follow special procedures based on the severity of regressions they encounter. Use Fedora Easy Karma - see the page for instructions on installing and using this tool - to list all installed packages from the updates-testing repository and allow to file feedback on each one at a time. Note that you can use the parameter --critpath-only, which will cause f-e-k to list only unapproved critical path updates, if you are short on time for testing. If you do not use this parameter, pay particular attention to updates whose description notes that they are critical path updates.
Positive feedback
Usually, you will be able to post positive feedback on an update. If you do not encounter any of the situations below, and find that the update passes the tests mentioned above and does not cause you any other problems, you should leave positive feedback and note that you were able to use the package successfully and did not notice any significant problems.
Major bugs
If you identified any serious problems in earlier testing and were able to identify the package responsible, post negative feedback for that package. If possible, please file a bug report on the problem and link to the bug report in your feedback message. A good feedback message quickly and clearly identifies the behavior change and the cause, if you were able to determine it.
Minor bugs
If you identify a problem which is minor in nature and does not impede the actual critical path functionality, please do not post negative feedback. Post neutral or positive feedback with a note of the issue encountered (and a link to a bug report if appropriate).
Previously reported bugs
If your testing uncovers no problems but you see that another tester has identified a serious problem with the package, please try to replicate their problem, and post negative feedback if you are now able to confirm it. If you are not able to confirm the problem but you suspect this may be because you cannot recreate the necessary conditions, please post neutral feedback noting that you were unable to duplicate the problem. Only post positive feedback if you are sure your testing indicates the other reporter's negative feedback is a mistake.
Unfamiliar packages
If you are not sure what the component does or how to test it, do not post positive or negative feedback. For critical path updates, if the above general tests of booting, network functionality and update functionality identified no problems, it is fine to leave a neutral feedback message noting that you were able to boot the system and perform critical path tasks with the update installed. This is generally not useful for non-critical path updates, however: please only comment on them if you are familiar with the package and able to test it directly.
Proven tester mentoring
Proven tester mentors accept requests from prospective proven tester members, and check that the applicants have read and understood the proven tester instructions before approving their membership. This process is not intended to be onerous, and we should expect to accept all applications unless they have obviously been made in error, seem malicious in intent or the applicant fails to affirm that they have read the instructions for the process.
Se tornando um mentor
Any proven tester can become a mentor. Simply let any existing mentor or group administrator - those listed as administrator or sponsor in the group member list - know you would like to become a mentor, and they will upgrade you to sponsor level, which will allow you to accept applications to the group.
Mentoring process
You can find membership applications in Trac - they will appear under Proventester Mentor Request Release in that list. To accept an application, assign it to yourself. Now ensure that the applicant has applied to the FAS group, read the instructions on this page, and knows how to use the updates-testing repository and fedora-easy-karma. If the applicant provides links to some feedback they have already posted, read these to check that they are in line with the process. If all of this is in order, sponsor the applicant into the proventesters FAS group, and close the application ticket. You can see an example completed application ticket here.