通过声音控制提高感知能力的装置和方法

技术领域

本公开涉及一种通过声音控制来提高感知能力的装置和方法，尤其涉及一种通过声音控制来提高感知能力以改善和/或维持听觉或视觉功能的装置和方法。

背景技术

听力下降的原因可分为耳结构、耳增长和外部因素。其中，从40岁开始听力下降的主要原因可分为暴露于外部因素中的环境噪音导致的下降或年龄增长导致的老化。如今，儿童大量使用智能手机和电子设备，因此使儿童暴露在噪音中的环境正在建立。在包括外耳、中耳和内耳的听觉器官中，这种噪音暴露导致的噪音性耳聋和年龄增长导致的老化明显与内耳的耳蜗相关。问题在于，伴随听力下降，这种耳蜗在某些拓扑频率突然变化的区域伴有耳鸣。

在韩国专利公开第10-0647310号中公开了一种使用根据人的听觉特性的频率特性的信号输出方法以及使用该方法的耳鸣治疗装置。在韩国专利第10-0647310号中，输出被存储在用于耳鸣治疗的存储器中的具有白噪声的信号。然而，仅用这样的白噪声刺激特定的频率区域可能才对耳鸣掩蔽有一些影响，但是在耳鸣治疗的训练方面具有局限性。最重要的是，白噪声可能被识别为噪声，因此刺激可能会导致排斥反应。

另外，在韩国专利公开第10-0963888号中公开了一种使用声音信号刺激听觉细胞以改善听力缺陷的方法和装置。在韩国专利第10-0963888号中，通过提供分辨率为1/k八度音阶的声音信号来确定用户的听力阈值以刺激用户的听觉细胞；根据确定的听力阈值确定受损听觉细胞区域的频率；以及在确定的目标频率下输出具有预定强度的声音信号。然而，只有特定听觉细胞区域的频率的强烈刺激才可引起在强烈刺激的听觉细胞区域与周围听觉细胞区域之间的感测能力的偏差的产生。

发明技术问题的公开

为了改善上述问题，本公开的一方面提供了一种用于提高感知能力的装置和方法，该装置和方法可通过使用有节奏的声音而非使用人造噪声来改善听觉功能。

另外，本公开的另一方面提供了一种用于提高感知能力的装置和方法，该装置和方法可以通过使用考虑到听觉感知和/或认知反应时间或视觉感知和/或认知反应时间的有节奏的声音来改善和/或维持听觉和视觉功能。

解决问题的方法

根据本发明的一个实施例，一种用于提高感知能力的装置可以包括：确定单元，被配置为从频率信息确定预定范围内的多个频率并输出频率相关信息，以及确定在所述多个频率之间的反应时间并输出反应时间相关信息；以及声音产生和输出单元，被配置为基于从确定单元输出的频率相关信息和反应时间相关信息来使多个频率信号有节奏，以输出有节奏的听觉信号。

根据本发明的另一实施例，确定单元可以确定多个频率中的每个频率的谐波频率并输出谐波相关信息，并且声音产生和输出单元可以基于从确定单元输出的谐波相关信息，对多个频率中的每个频率合成谐波频率信号，以及节奏化多个单音频率信号，以输出有节奏的单音频率信号作为有节奏的听觉信号。

根据本发明的另一实施例，确定单元可以将至少一个脑波确定为周期频率，并输出与脑波有关的信息，并且声音产生和输出单元可以基于从确定单元输出的与脑波相关的信息，使有节奏的单音频率信号和脑波信号卷积(convolute)，以输出有节奏的听觉信号。

根据本发明的另一实施例，脑波信号可以是θ波，α波和β波中的至少一种。

根据本发明的另一实施例，确定单元可以使用2∧(M/L)来确定多个频率，其中，M表示相对于频率的第M音阶，L表示来自频率的一个八度音阶范围内的音阶数。

根据本发明的另一实施例，确定单元可以从由根据钢琴音阶的频率组成的频带和分段表确定多个频率。

根据本发明的另一实施例，确定单元可以按时间顺序将多个频率与针对每个频率相关信息的反应时间相关信息进行顺序匹配，以输出顺序的频率-反应匹配信息，或者将多个频率与每个频率相关信息的反应时间相关信息随机匹配，以输出随机的频率-反应匹配信息；以及声音产生和输出单元可以基于从确定单元输出的频率-反应匹配信息来使多个频率信号有节奏，以输出有节奏的听觉信号。

根据本发明的另一实施例，确定单元可以确定顺序方法的听觉反应时间在40ms至200ms的范围内，并且可以确定随机方法的听觉反应时间在20ms至160ms的范围内。

根据本发明的另一实施例，声音产生和输出单元可以在考虑视觉反应时间的情况下在空间上处理和输出有节奏的听觉信号。

根据本发明的另一实施例，声音产生和输出单元可以调整与头部有关的传递函数(HRTF)，以便在空间上处理有节奏的听觉信号。

根据本发明的另一实施例，声音产生和输出单元可以考虑视觉反应时间在156ms至1.25s的范围内。

根据本发明的另一实施例，声音产生和输出单元可以包括多级滤波器，以根据扬声器端子特性对有节奏的听觉信号执行调音功能。

根据本发明的另一个实施例，一种用于提高感知能力的方法可以包括：从频率信息确定预定范围内的多个频率，并输出频率相关信息；确定多个频率之间的反应时间并输出反应时间相关信息；以及根据频率相关信息和反应时间相关信息，对多个频率信号进行节奏化，以输出有节奏的听觉信号。

发明的有益效果

根据上述特征，本公开可以通过使用有节奏的声音来改善听觉功能。即，可以通过不使用人造噪声来减少排斥反应，因此连续训练或康复是可能的。

另外，本公开可以通过使用如用户可以集中精力的乐器的声音的单个音调来最大化改善听觉的效果。

另外，本公开可以通过使用对脑波的同步信号作为周期频率来向用户提供脑波的积极效果。

另外，本公开可以通过在空间上处理有节奏的声音来引起用户的眼睛运动，以改善视觉功能。

附图说明

从以下结合附图的详细描述中，本发明的上述和其他方面，特征和优点将变得更加明显，其中：

图1是根据本公开实施例的用于提高感知能力的装置的示意性框图；

图2是根据本公开另一实施例的用于提高感知能力的装置的详细框图；

图3详细示出了图2所示的信号范围确定部分；

图4详细示出了图2所示的反应时间确定部分；

图5详细示出了图2所示的声音产生部分；

图6详细示出了图2所示的视觉空间处理部分；

图7详细示出了图2所示的声音输出部分；

图8示出了在使用根据本公开的装置之前的听力敏度图的结果，

图9示出了根据本公开的装置已经使用两个月之后的听力敏度图的结果。

图10是示出根据本公开的另一实施例的用于提高感知能力的方法的流程图。

发明的方式

在下文中，将参照附图描述根据本公开的用于提高感知能力的装置和方法的优选实施例。作为参考，在以下描述中，本公开相关元件的术语是考虑到这些元件的功能来命名的，因此不应解释为限制本公开的技术元件。

图1是根据本公开实施例的用于提高感知能力的装置的示意性框图。

如图1所示，感知能力提高的装置100包括确定单元110、声音产生和输出单元120、接口单元130和控制单元140。

确定单元110可以从多个频率信息中的每个频率信息中确定预定范围内的多个频率，并输出频率相关信息，并且确定多个频率之间的反应时间并输出反应时间相关信息。确定单元110还可确定针对多个频率中的每个频率的谐波频率，并输出谐波相关信息，并将脑波中的至少一个确定为周期频率，并输出与脑波有关的信息。

声音产生和输出单元120可以基于从确定单元110输出的频率相关信息和反应时间相关信息来使多个频率信号有节奏，以输出如有节奏的纯音信号的有节奏的听觉信号。声音产生和输出单元120还可以基于从确定单元110输出的针对多个频率信号中的每一个的谐波相关信息来合成谐波频率信号，并且使多个单音频率信号有节奏以输出有节奏的单音频率信号。声音产生和输出单元120还可以基于从确定单元110输出的与脑波相关的信息对有节奏的单音频率信号和脑波信号进行卷积，以输出经卷积的单音频率信号。

接口单元130用于由用户直接设定确定单元110所需的信息或用于接收通过使用专用测量设备测量的信息。

控制单元140可以将通过接口单元130输入的设定信息等提供给确定单元110或声音产生和输出单元120，或者控制确定单元110或声音产生和输出单元120。

人体感知频率被分析为具有自然对数(LN)分布。但是，它与具有Log 2分布的算术加权计算的结果可能是一致的，其中Log 2分布是与谐波频率分布相关的常用钢琴八度音阶的概念。从现在开始，该方程式由Log2表示，即2∧(x/12)。

图2是根据本公开另一实施例的用于提高感知能力的装置的详细框图；图3详细示出了图2所示的信号范围确定部分；图4详细地示出了图2所示的反应时间确定部分；图5详细示出了图2所示的声音产生部分；图6详细示出了图2所示的视觉空间处理部分；以及图7详细示出了图2所示的声音输出部分。

如图2所示，感知能力提高装置100可以具体包括信号范围确定部分210、反应时间确定部分220、声音产生部分230、视觉空间处理部分240和声音输出部分250。

当设定了特定于用户的频率信息时，信号范围确定部分210根据设定的频率信息确定多个频率，并输出频率相关信息。在此，特定于用户的频率信息既可以是用户等任意设定的频率，或者也可以是使用特定的测定设备等测定的频率。

在本公开中，可以根据以下[方程式1]来计算可以从设定的频率信息中确定的多个频率：

[方程式1]

(多个频率)＝{(设定频率)X2∧(M/L)}

在此，M可以是表示来自设定频率的M

如图3所示，信号范围确定部分210可以包括频带和分段表子部分312、频率确定子部分314、谐波确定子部分316和脑波确定子部分318。

频带和分段表子部分312可以包括频带和分段表。在本公开的实施例中，每个频带可以具有如[表1]中所示的频率范围。

[表1]

此外，每个频带可以包括由方程式1计算的预定数目的分段频率。例如，如果每个频带的段数是12，则可以使用基于钢琴音阶的频率。在这种情况下，每个频带的范围对应于钢琴的1个八度音阶，12个分段则对应于钢琴的每个八度音阶12个键盘。

当提供设定频率时，频率确定子部分314通过使用频带和分段表来确定与设定频率最接近的频率作为参考频率，并且还通过使用频带和分段表来确定接近参考频率的预定频率范围作为相邻频率。频率确定子部分314可以输出与多个确定的频率、即参考频率和相邻频率有关的信息，作为频率相关信息。在这种情况下，从频率确定子部分314输出的频率相关信息可以是与以参考频率为基础的，在较高1/2个八度音阶到较低1/2个八度音阶范围内，即总共1个八度音阶范围内的多个频率有关的信息。

另外，当仅提供频带表时，频率确定子部分314可以将由用户等指定的频带的全部12个分段的频率确定为多个频率。频率确定子部分314可以输出这些频率的相关信息作为频率相关信息。

同时，当提供频带和分段表时，频率确定子部分314通过使用频带和分段表将用户指定的分段确定为参考频率，并且还将接近该参考频率的预定频率范围确定为相邻频率。频率确定子部分314可以输出与多个确定的频率、即参考频率和相邻频率有关的信息，作为频率相关信息。在这种情况下，可以以相应分段为基础，在较高1/4八度音阶至较低1/4八度音阶范围内，即总共1/2倍八度音阶范围内确定多个频率。

从频率确定部分314输出的参考频率相关信息和相邻频率相关信息是与纯音频率相关的信息。这些频率相关信息不仅可以包括多个频率本身的信息，而且可以包括从频带和分段表获得的信息。

谐波确定子部分316可以确定由频率确定部分314确定的多个频率、即参考频率和相邻频率中的每个频率的谐波频率，并且输出谐波相关信息。

如果谐波频率由Fhn表示，则Fhn＝{(确定的频率)Хn}。在此，当n是正数时，谐波频率是所确定的频率的倍数，而当n是负数时，谐波频率是所确定的频率的分数。如果n＝2、3、4和5，则谐波频率分别是所确定频率的2、3、4和5倍；如果n＝-2、-3、-4和-5，则谐波频率分别为所确定频率的1/2、1/3、1/4和1/5。

谐波确定子部分316可以通过使用通过接口单元130输入的多个谐波信息来确定谐波频率。然而，与谐波频率有关的信息可以作为默认值存储在谐波确定子部分316中。

脑波确定子部分318可以将到脑波的同步信号确定为周期频率。在本公开的实施例中，θ波、α波和β波可以用作与脑波的同步信号。

信号范围确定部分210可以输出频率相关信息、谐波相关信息以及脑波相关信息，作为分别通过频率确定子部分314、谐波确定子部分316以及脑波确定子部分318的操作输出的信息。

反应时间确定部分220考虑听觉或认知反应时间来确定多个频率相关信息之间的反应时间。多个频率相关信息之间的反应时间可以是一个间隔，但是例如，考虑到频率特性，反应时间可以在高频处变窄并且可以在低频处变宽。另外，反应时间确定部分220可以输出针对每个频率相关信息确定的反应时间，作为反应时间相关信息。图4详细示出了图2所示的反应时间确定部分220。

反应时间确定部分220可包括与多个频率相关信息之间的反应时间的确定有关的随机反应时间确定子部分414和扫掠反应时间确定子部分412。

扫掠反应时间确定子部分412确定扫掠方法的反应时间，其中扫掠方法有序例如以升序或降序输出多个频率，而随机反应时间确定子部分414确定随机方法的反应时间，其中，随机方法以随机顺序输出多个频率，这些频率不遵循频率的升序或降序，或者以往复的高音和低音调的任何无序的顺序输出。在本实施例中实现的扫掠方法旨在对听觉细胞执行类似按摩的功能，而随机方法旨在执行拍打类似功能。

对于听觉，直觉反应所需的时间约为5ms，对于简单声音，确定反应所需的时间约为50ms，对于复杂声音约为150ms至200ms。在本示例性实施例中，考虑到听觉感知或认知反应时间，可以彼此不同地设定扫掠方法和随机方法的反应时间。

可以将扫掠反应时间确定部分412确定为使得在40ms至200ms的范围内有序改变扫掠方法的频率，以及可以将随机反应时间确定部分414确定为使得在20ms到160ms的范围内随机改变随机方法的频率。

这里，例如，在扫掠方法中，可以将听觉反应时间确定为大于或等于最小时间，其中，最小时间是可以识别出有序输出的每种声音已经被输出的时间，和/或可以被确定为小于或等于最大时间，其中最大时间是有序输出的每个声音将不被识别为被中断的时间。另外，在随机方法中，可以将听觉反应时间确定为大于或等于最小识别时间和/或小于或等于最大识别时间，其中最小识别时间是可以识别出随机输出的每种声音已经被输出的时间，以及其中最大识别时间是用户能够感到不舒服或听力改善效果不明显的时间。

声音产生部分230基于频率相关信息和反应时间相关信息使多个频率信号有节奏，以输出有节奏的听觉信号。图5详细示出了图2所示的声音产生单元230。

声音产生部分230可包括扫掠声音合成子部分510、随机声音合成子部分520和组合声音输出子部分530，以便产生和输出有节奏的听觉信号。

扫掠声音合成子部分510可以按照由扫掠反应时间确定子部分412确定的扫掠反应时间相关信息的顺序从频率相关信息中提供对应的频率信号；从谐波相关信息中提供至少一个对应的谐波频率信号；将至少一个谐波频率信号加到频率信号上，以产生单音扫掠信号。扫掠声音合成子部分510还可以从脑波相关信息中提供相应的脑波信号，并且对单音扫掠频率信号和脑波信号进行卷积，以输出经卷积的单音扫掠听觉信号作为有节奏的听觉信号。

随机声音合成子部分520可以按照由随机反应时间确定子部分414确定的随机时间信息的顺序从频率相关信息中提供对应的频率信号；从谐波相关信息中提供至少一个对应的谐波频率信号；以及将至少一个谐波频率信号加到频率信号上，以产生单音随机频率信号。随机声音合成子部分520可以从脑波相关信息中提供相应的脑波信号，并且对单音随机频率信号和脑波信号进行卷积，以输出经卷积的单音随机听觉信号作为有节奏的听觉信号。

此处，如果纯音的参考频率为Fp＝Asin(t)，则纯音的相邻频率为Fs＝Asin(t+ΔM)，则所述参考频率的谐波频率为Fhn＝Bn sin(t/n)，以及相邻频率的谐波频率为Fhns＝Bn sin(t/n+ΔM)，纯音阵列为Fpsum＝{Fp，∑s}，但单音阵列为Fssum＝{(Fp+ΣFhn)，Σ(Fs+ΣFhns)}(其中A与B的关系是A>B)。

组合声音输出子部分530可以将从扫掠声音合成子部分510输出的扫掠声音合成信号和从随机声音合成子部分520输出的随机声音合成信号进行组合，以输出组合频率信号。

组合声音输出子部分530可以交替地或以任意顺序输出借助于扫掠方法获得的声音和借助于随机方法获得的声音。也可以在交替使用这些方法时，通过插入空白时间来输出声音，或者连续输出声音而没有空白。

视觉空间处理部分240可以考虑视觉感知或认知反应时间，在空间上处理并输出有节奏的听觉信号。图6详细示出了图2所示的视觉空间处理部分240。

视觉空间处理部分240可包括用于在空间上处理有节奏的听觉信号的头部相关传递函数(HRTF)调整子部分610和用于确定视觉反应时间并将视觉反应时间提供给HRTF调整子部分610的视觉反应确定子部分620。

HRTF调整子部分610可以包括L_Delay、放大器(L_Gain)和L_Filter，以处理有节奏的听觉信号的左信号；以及包括R_Delay、放大器(R_Gain)和R_Filter以处理有节奏的听觉信号的右信号。

L_Delay和R_Delay根据设定的时间延迟每个信号，L_Gain和R_Gain调整每个延迟信号的增益，并且每个调整后的信号分别通过L_Filter和R_Filter进行滤波。HRTF调整子部分610可以通过这些配置来调整有节奏的听觉信号声源的左、右、前或后位置，并调整空间的范围。

当静止图像显示为每秒大于或等于16帧时，视觉器官可能会感觉到静止图像为动态图像。在这种情况下，一帧的时间对应于62.5ms。同时，在简单的ON/OFF显示的情况下，当在7.8ms的间隔内发出ON指令时，视觉器官会识别出该显示仍处于ON状态。因此，在简单的ON/OFF显示的情况下，直觉反应需要大约78ms的反应时间，以及确定反应需要至少156ms的反应时间。在复杂图像的情况下，直觉反应需要约625ms的反应时间，以及确定反应需要约1.25sec的反应时间。因此，视觉反应时间确定子部分620可以确定视觉反应时间，使得视觉反应时间在156ms至1.25s的范围内。

声音输出单元250可以包括多级滤波器，从而根据扬声器端子特性执行调音功能。图7详细示出了图2所示的声音输出部分250。

声音输出单元250可以包括扬声器端子特性调整子部分712、调音子部分714，数字模拟转换器(DAC)716和放大器718，以便输出用于提高感知能力的模拟声音信号。

由于扬声器端子特性而从声音输出部分250输出的模拟声音信号可能会失真，因此扬声器端子特性调整子部分712可以根据扬声器端子特性来调整调音子部分714的特性，以防止这种失真。调音子部分714可以由多级滤波器(滤波器1，滤波器2...滤波器N)配置，以为由扬声器端子特性调整子部分712调整的扬声器端子特性的反应特性不同的情况做准备。调音子部分714可以包括高通滤波器(HPF)、低通滤波器(LPF)、带通滤波器(BPF)等，以执行扬声器端子的调音功能。如果不需要调音，则可以不执行调音功能。

通过在放大器718处的最终音量调整，放大器718可以控制和管理增益，以使得在进行改善听力的训练的情况下声音小于可听声音，以及在改善视力的情况下，在可听声音范围内调整调整和管理增益。另外，在管理涉及脑波调音的情况下，可以自由地控制增益。

扬声器端子信号可以被施加到耳机、头戴式耳机、声压输出装置、骨传导扬声器等，以向用户输出声音。另外，旨在增强听力的声音也可以创建为分别针对左耳和右耳的声音。

图8示出了在使用根据本公开的装置之前的听力敏度图的结果，以及图9示出了使用根据本公开的装置两个月之后的听力敏度图的结果。

从图9的4KHz频带可以看出，在使用根据本公开的装置之后，听力得到了显着改善。

图10是示出根据本公开的其它实施例的提高感知能力的方法的流程图。

确定单元110可以从多个频率信息中的每个频率信息确定预定范围内的多个频率，并输出频率相关信息(S1002)。确定单元110还可以确定针对多个频率中的每个频率的谐波频率并输出谐波相关信息(S1004)，并且可以确定至少一个脑波为周期频率并输出脑波相关信息(S1006)。

确定单元110可以确定多个频率之间的反应时间，并输出反应时间相关信息(S1008)。确定单元110可以按时间顺序将多个频率与针对每个频率相关信息的反应时间相关信息顺序匹配，以输出有序的频率-反应匹配信息，并且可以将多个频率与针对每个频率相关信息的反应时间相关信息随机匹配，以输出随机的频率-反应匹配信息。

声音产生和输出单元120可以基于从确定单元110输出的频率相关信息和反应时间相关信息来使多个频率信号有节奏，并且输出有节奏的听觉信号(S1010)。当从确定单元110输出的频率-反应匹配信息被输入时，声音产生和输出单元120可以基于频率-反应匹配信息来使多个频率信号有节奏，并且输出有节奏的扫掠听觉信号和有节奏的随机听觉信号。

声音产生和输出单元120还可以基于从确定单元110输出的谐波相关信息来针对多个频率信号中的每一个频率合成谐波频率信号，并且使多个单音频率信号有节奏，以输出有节奏的单音听觉信号(S1012)。声音产生和输出单元120可以基于从确定单元110输出的与脑波相关的信息对有节奏的单音频率信号和脑波信号进行卷积，以输出经卷积的单音听觉信号(S1014)。

声音产生和输出单元120可以考虑视觉反应时间，在空间上处理有节奏的听觉信号，以输出复杂的听觉信号(S1016)。声音产生和输出单元120可以包括多级滤波器，以根据扬声器端子特性对复杂听觉信号执行调音功能(S1018)。

本公开的实施例仅是本公开的技术思想的示例，并且本公开的范围应基于权利要求来解释。此外，本领域技术人员可以理解，在不脱离本公开的本质特征的情况下，可以做出各种修改和改变，并且在与本公开等效的范围内的所有技术思想都应被解释为包括在本公开的范围中。