BLOG

H3の動作確認でエラー: RuntimeError: "reciprocal_cuda" not implemented for 'ComplexHalf'

RuntimeError: "reciprocal_cuda" not implemented for 'ComplexHalf' について解説します．Hungry Hungry Hipposと呼ばれる言語モデルの動作確認時に遭遇したエラーです．最近，耳目を集めている言語モデルにHyenaと呼ばれるものがあります．このHyenaのベースとなっているモデルにHungry Hungry Hippos (通称H3)があるのですが，弊社でもこのH3を活用する流れがあります．