特定のアンサーをサポートサイトの一覧には表示させず、検索したときの検索結果にだけ表示させることはできますか？

恐れ入りますが、サポートサイト標準の検索だけでこの出し分けを実現することはできません。サポートサイトでは、表示対象として設定されているカテゴリ・アンサーの範囲で一覧表示と検索が行われるため、一覧に出さない設定にしたアンサーは検索結果にも表示されない仕組みでございます。近い運用としては、サポートサイト上に「サポートアクションの検索UI」を設置する構成がございます。
設定は、(1)対象のアンサーはサポートサイト側の表示対象から外す（該当カテゴリをサポートサイトに表示しない等）、(2)アンサー自体は「公開」にする、(3)「ウィジェットの検索結果から除外」はOFFのままにする（ONにするとウィジェットの検索にも表示されません）、の3点です。ただし、「特定のワードで検索したときだけ必ず表示し、それ以外では表示しない」といった厳密な出し分けはできません。検索結果は検索語とアンサーのタイトル・本文との一致度、および検索モード（単語検索／スマート検索／ハイブリッド検索）の仕様に基づいて決まりますので、検索対象に含めたうえでタイトル・本文の記載を調整し、ヒットしやすくする運用となります。