Não é preciso resolver todo problema com expressões regulares. Para tarefas simples, os métodos de string são mais rápidos e mais fáceis de ler.
Para verificar se uma string fixa está contida, includes ou indexOf são mais rápidos que uma expressão regular e deixam a intenção mais clara. Para conferir um prefixo ou sufixo específico, startsWith e endsWith são perfeitos. Usar expressão regular nessas verificações simples só torna o código mais difícil de ler.
Dividir ou trocar por um separador fixo é bem resolvido com split ou replaceAll (com argumento de string). A expressão regular só mostra seu valor quando há vários separadores, quando se misturam repetição e condições, ou quando o padrão é variável.
As situações que combinam com expressões regulares são a validação de formato, a extração de tokens, as substituições complexas e casar vários candidatos de uma vez. Já para simples verificação de contenção, substituição fixa e divisão fixa, os métodos de string são melhores. Ajuste a ferramenta ao problema.
O critério de decisão é simples. Pergunte a si mesmo: "escrever isto com expressão regular deixa o código mais difícil de ler?". Uma expressão regular que os colegas de equipe não conseguem decifrar vira um foco de bugs. Em muitos casos, a legibilidade importa mais do que um pouco de desempenho.