注意
點擊此處下載完整的範例程式碼
振盪器和 ADSR 包絡線¶
作者: Moto Hira
本教學展示如何使用 oscillator_bank() 和 adsr_envelope() 合成各種波形。
警告
本教學需要原型 DSP 功能，這些功能在 nightly build 中可用。
請參閱 https://pytorch.dev.org.tw/get-started/locally 以取得安裝 nightly build 的說明。
import torch
import torchaudio
print(torch.__version__)
print(torchaudio.__version__)
2.6.0
2.6.0
try:
from torchaudio.prototype.functional import adsr_envelope, oscillator_bank
except ModuleNotFoundError:
print(
"Failed to import prototype DSP features. "
"Please install torchaudio nightly builds. "
"Please refer to https://pytorch.dev.org.tw/get-started/locally "
"for instructions to install a nightly build."
)
raise
import math
import matplotlib.pyplot as plt
from IPython.display import Audio
PI = torch.pi
PI2 = 2 * torch.pi
振盪器組¶
正弦振盪器從給定的振幅和頻率產生正弦波形。
\[x_t = A_t \sin \theta_t\]
其中相位 \(\theta_t\) 是透過積分瞬時頻率 \(f_t\) 找到的。
\[\theta_t = \sum_{k=1}^{t} f_k\]
注意
為什麼要積分頻率？瞬時頻率表示給定時間的振盪速度。因此，積分瞬時頻率會給出振盪相位的位移，因為是從頭開始。在離散時間訊號處理中，積分變成累積。在 PyTorch 中，可以使用 torch.cumsum() 計算累積。
torchaudio.prototype.functional.oscillator_bank() 從振幅包絡線和瞬時頻率產生一組正弦波形。
簡單正弦波¶
讓我們從簡單的情況開始。
首先，我們產生一個在各處都具有恆定頻率和振幅的正弦波，也就是一個規則的正弦波。
我們定義一些常數和輔助函式，這些常數和函式將在接下來的教學中使用。
F0 = 344.0 # fundamental frequency
DURATION = 1.1 # [seconds]
SAMPLE_RATE = 16_000 # [Hz]
NUM_FRAMES = int(DURATION * SAMPLE_RATE)
def show(freq, amp, waveform, sample_rate, zoom=None, vol=0.3):
t = (torch.arange(waveform.size(0)) / sample_rate).numpy()
fig, axes = plt.subplots(4, 1, sharex=True)
axes[0].plot(t, freq.numpy())
axes[0].set(title=f"Oscillator bank (bank size: {amp.size(-1)})", ylabel="Frequency [Hz]", ylim=[-0.03, None])
axes[1].plot(t, amp.numpy())
axes[1].set(ylabel="Amplitude", ylim=[-0.03 if torch.all(amp >= 0.0) else None, None])
axes[2].plot(t, waveform.numpy())
axes[2].set(ylabel="Waveform")
axes[3].specgram(waveform, Fs=sample_rate)
axes[3].set(ylabel="Spectrogram", xlabel="Time [s]", xlim=[-0.01, t[-1] + 0.01])
for i in range(4):
axes[i].grid(True)
pos = axes[2].get_position()
plt.tight_layout()
if zoom is not None:
ax = fig.add_axes([pos.x0 + 0.01, pos.y0 + 0.03, pos.width / 2.5, pos.height / 2.0])
ax.plot(t, waveform)
ax.set(xlim=zoom, xticks=[], yticks=[])
waveform /= waveform.abs().max()
return Audio(vol * waveform, rate=sample_rate, normalize=False)
現在，我們使用恆定的頻率和振幅來合成音訊
freq = torch.full((NUM_FRAMES, 1), F0)
amp = torch.ones((NUM_FRAMES, 1))
waveform = oscillator_bank(freq, amp, sample_rate=SAMPLE_RATE)
show(freq, amp, waveform, SAMPLE_RATE, zoom=(1 / F0, 3 / F0))
組合多個正弦波¶
oscillator_bank() 可以組合任意數量的正弦波來產生波形。
freq = torch.empty((NUM_FRAMES, 3))
freq[:, 0] = F0
freq[:, 1] = 3 * F0
freq[:, 2] = 5 * F0
amp = torch.ones((NUM_FRAMES, 3)) / 3
waveform = oscillator_bank(freq, amp, sample_rate=SAMPLE_RATE)
show(freq, amp, waveform, SAMPLE_RATE, zoom=(1 / F0, 3 / F0))
隨時間改變頻率¶
讓我們改變頻率隨時間的變化。在這裡，我們將頻率從零變更到奈奎斯特頻率（取樣率的一半），以對數比例進行變更，以便更容易看到波形的變化。
nyquist_freq = SAMPLE_RATE / 2
freq = torch.logspace(0, math.log(0.99 * nyquist_freq, 10), NUM_FRAMES).unsqueeze(-1)
amp = torch.ones((NUM_FRAMES, 1))
waveform = oscillator_bank(freq, amp, sample_rate=SAMPLE_RATE)
show(freq, amp, waveform, SAMPLE_RATE, vol=0.2)
我們也可以震盪頻率。
fm = 2.5 # rate at which the frequency oscillates
f_dev = 0.9 * F0 # the degree of frequency oscillation
freq = F0 + f_dev * torch.sin(torch.linspace(0, fm * PI2 * DURATION, NUM_FRAMES))
freq = freq.unsqueeze(-1)
amp = torch.ones((NUM_FRAMES, 1))
waveform = oscillator_bank(freq, amp, sample_rate=SAMPLE_RATE)
show(freq, amp, waveform, SAMPLE_RATE)
ADSR 包絡¶
接下來，我們改變振幅隨時間的變化。一種模擬振幅的常見技術是 ADSR 包絡。
ADSR 代表 Attack (起音), Decay (衰減), Sustain (維持), 和 Release (釋放)。
Attack (起音) 是從零達到最高電平所需的時間。
Decay (衰減) 是從最高電平達到維持電平所需的時間。
Sustain (維持) 是電平保持恆定的位準。
Release (釋放) 是從維持電平降至零所需的時間。
ADSR 模型有很多變體，此外，一些模型具有以下屬性
Hold (保持)：在起音後，電平保持在最高電平的時間。
非線性衰減/釋放：衰減和釋放採用非線性變化。
adsr_envelope 支援保持和多項式衰減。
freq = torch.full((SAMPLE_RATE, 1), F0)
amp = adsr_envelope(
SAMPLE_RATE,
attack=0.2,
hold=0.2,
decay=0.2,
sustain=0.5,
release=0.2,
n_decay=1,
)
amp = amp.unsqueeze(-1)
waveform = oscillator_bank(freq, amp, sample_rate=SAMPLE_RATE)
audio = show(freq, amp, waveform, SAMPLE_RATE)
ax = plt.gcf().axes[1]
ax.annotate("Attack", xy=(0.05, 0.7))
ax.annotate("Hold", xy=(0.28, 0.65))
ax.annotate("Decay", xy=(0.45, 0.5))
ax.annotate("Sustain", xy=(0.65, 0.3))
ax.annotate("Release", xy=(0.88, 0.35))
audio
現在讓我們看看一些如何使用 ADSR 包絡來創建不同聲音的範例。
以下範例的靈感來自這篇文章。
鼓聲 (Drum Beats)¶
unit = NUM_FRAMES // 3
repeat = 9
freq = torch.empty((unit * repeat, 2))
freq[:, 0] = F0 / 9
freq[:, 1] = F0 / 5
amp = torch.stack(
(
adsr_envelope(unit, attack=0.01, hold=0.125, decay=0.12, sustain=0.05, release=0),
adsr_envelope(unit, attack=0.01, hold=0.25, decay=0.08, sustain=0, release=0),
),
dim=-1,
)
amp = amp.repeat(repeat, 1) / 2
bass = oscillator_bank(freq, amp, sample_rate=SAMPLE_RATE)
show(freq, amp, bass, SAMPLE_RATE, vol=0.5)
撥弦 (Pluck)¶
tones = [
513.74, # do
576.65, # re
647.27, # mi
685.76, # fa
769.74, # so
685.76, # fa
647.27, # mi
576.65, # re
513.74, # do
]
freq = torch.cat([torch.full((unit, 1), tone) for tone in tones], dim=0)
amp = adsr_envelope(unit, attack=0, decay=0.7, sustain=0.28, release=0.29)
amp = amp.repeat(9).unsqueeze(-1)
doremi = oscillator_bank(freq, amp, sample_rate=SAMPLE_RATE)
show(freq, amp, doremi, SAMPLE_RATE)
上升音效 (Riser)¶
env = adsr_envelope(NUM_FRAMES * 6, attack=0.98, decay=0.0, sustain=1, release=0.02)
tones = [
484.90, # B4
513.74, # C5
576.65, # D5
1221.88, # D#6/Eb6
3661.50, # A#7/Bb7
6157.89, # G8
]
freq = torch.stack([f * env for f in tones], dim=-1)
amp = env.unsqueeze(-1).expand(freq.shape) / len(tones)
waveform = oscillator_bank(freq, amp, sample_rate=SAMPLE_RATE)
show(freq, amp, waveform, SAMPLE_RATE)
參考資料¶
腳本總執行時間： (0 分鐘 3.041 秒)
