Windows環境に移行してからというもの、ターミナルにはWindows Terminalを利用しています。
まだ発展途上にあるターミナルソフトだとは言え、基本的な機能は十分に整っていて、ここからWSL2上の各種機能を簡単に利用することができます。

ただ、ここで使っているときに不満だったのがビープ音です。
Ctrl-gのようなコマンドを打ち込んだり、タブ補完させたときに補完する内容が無いときに、実に耳障りな「タララン」といったサウンドが再生されます。

音を切っているときには気にならないのですが、youtubeで何か再生しながら作業するときにイライラするので、これをなんとかしたいと考えていました。

「WSL sound bell off」等のキーワードで探してみると、大抵はbashとvimに関するTipsばかりです。
例えばbashであれば、~/.inputrcあたりに

set bell-style none

等と書いてやれば良いようです。(ビジュアルベルにする、set bell-style visibleというオプションもあるようです)
多くのWSLでUbuntuを使っている人はbashを使っているでしょうから、これで事足りるでしょう。

私はというと、zshを普段使いしている事もあって、この設定ではうまく行きません。
ではどうするかと言えば、~/.zshrcに

setopt no_beep

のオプションを設定してやることで、bashでベルをOFFにするのと同じ効果を得ることができます。
余談ですが、tcshであればset visiblebellでサウンドベルをOFFにしてビジュアルベルにすることができるようです（が、試していないので詳しくはマニュアルページを参照することをお勧めします）