Alle PT Files möglich ?
Hallo und vielen Dank für Deine Arbeit !
Bin sehr begeistert zu lesen das Chatterbox auch Deutsch kann.
Ich nutze Chatterbox mit ComfyUI, mit der Node und dem Workflow den ich nutze kann ich leider nicht die ".safetensors" Dateien nutzen.
Es werden nur die ".pt" Dateien unterstützt.
Wärst du so nett diese auch bereit zu stellen oder zu erklären wie man diese selber erstellt ?
Dann würde ich das machen und die hochladen.
Diese Dateitypen werden unterstützt:
conds.pt
s3gen.pt
t3_cfg.pt
ve.pt
tokenizer.json
Ich kann hier auch sehr gerne die ComfyUI Node verlinken, Github.
Wollte ich nicht direkt, damit das nicht nach äh "Fremdwerbung" aussieht.
Schöne Grüße :-)
Hey,
welcher Comy Node ist das genau? Eigentlich müsste der Umbau zu safetensors recht einfach sein.
Wenn möglich möchte ich keine pt Files anbieten, da in den pickle files alles drin sein kann.
Viele Grüße
Hallo und danke für die Antwort.
um diese ComfyUI Node geht es: https://github.com/diodiogod/ComfyUI_ChatterBox_SRT_Voice/tree/main
Wenn ich dich richtig verstehe, kann man mit den PT Files auch Schadsoftware verbreiten ?
Behalte ich mal im Kopf, war mir nicht bewust und achte zukünftig dann darauf.
Würde sagen ich schaue mir dann mal das Script der Node zum laden an, bei den F5-TTS Modellen wird geschaut ob PT oder Safetensors Files.
Beim laden des Chatterbox MOodel nur nach PT. Eventuell kann ich das da abändern und dann dein Model nutzen.
Schöne Grüße zurück :-)
Ja genau pt files sind einfach nur pickle Objekte, da kann eigentlich alles drin sein. Huggingface scanned die aber und mittlerweile wurde glaube ich auch das laden in torch etwas angepasst. Sicherer sollten aber immer die safetensor Dateien sein.
Hab selbst gerade keine GPU zur Hand:
https://github.com/SebastianBodza/ComfyUI_ChatterBox_SRT_Voice
Sollte denke ich laufen, wie gesagt nicht getestet :)
Oh cool, sehr nett von dir !
Nachdem ich das mit den PT Files von dir gelesen habe und dann nicht sicher war, hatte ich heute morgen auf die schnelle den betreffenden Code von der Node so umgeschrieben das deine safetensors geladen werden.
Hatte dann im Code aber ein anderes Repo hier verwendet, weil ich erstmal vor verschlossener Tür stand und nicht wusste wie ich im Script um Erlaubnis hier frage.
War mir dann ehrlich gesagt lieber die safetensors zu verwenden, will niemand was unterstellen aber wie du schon sagst, lieber auf Nummer sicher gehen :-)
Hab jetzt ehrlich gesagt ein schlechtes Gewissen, du hast dir die Zeit genommen und die Node umgeschrieben !
Eventuell hilft das aber dem Author, hatte mit dem schon geschrieben und der ist diese Woche in Urlaub.
Danach will er das mit der MultiLanguage in Angriff nehmen, ich war wie gesagt sehr ungeduldig.
Hab die Node vorher mit F5 benutzt und da happert es mit dem Deutschen Model ständig beim De-English.
Hatte heute morgen zum Test eine SRT reingeworfen und dein Model klingt da echt super.
Ich bin schon ewig dabei eine alte Serie aus meiner Kindheit (Captain Future) ins deutsche zu übersetzen, also die geschnittenen Scenen und eine Komplette Folge.
Erst Monate mit Applio Modelle erstellt und davor Wochen verbracht genug brauchbares Trainingsmaterial zu finden.
Am Ende dann gemerkt das die Qualität nicht zufrieden stellend ist und ich auch nicht alles einsprechen, dann meine Stimme zu der des Sprechers umwandeln kann.
Also viel gelernt in der Zeit, aber am Ende nichts brauchbares bis auf die Test Scenen rausgekommen. (https://www.youtube.com/@FutureFan-78)
Hab dann durch Zufall ein python Tool gefunden mit dem die Serien Scene ihre Serien dubbt, das war schon echt gut...aber hier gab es auch Probleme.
Naja nun bei ComfyUI gelandet, mich reingearbeitet, abgelenkt von den Möglichkeiten, eigene Nodes programmiert, Workflows für Videos usw.
Jetzt wird es Zeit das mal langsam alles umzusetzen und mein eigentliches Projekt fertig zu machen.
Hab die meisten Cut Scenen und die komplette 60 Minuten Folge mittlerweile auf Deutsch übersetzt und SRT FIles daraus erstellt.
Jetzt werde ich mal mit deinem Model schauen, das ich das ganze mit den original Sprechern zum leben erwecke :-)
Puh, Roman, Lebensgeschichte :D
Egal, vielleicht zeigt dir das wie sehr ich mich über dein Model freue, was ich damit machen will und das es auch Menschen gibt die KI nicht nur für das übliche Nacktbilder usw. Zeug nutzen.
In diesem Sinne, vielen Dank noch mal !
Edit, link vergessen: https://github.com/diodiogod/ComfyUI_ChatterBox_SRT_Voice/issues/5
witzig, mir gerade aus neugier mal "deine" änderungen an der tts.py angesehen um zu schauen wie du die tensorflows lädst.
stelle dann fest, du hast einfach MEINE benutzt die ich an dem tag erstellt habe und in deine repo kopiert...
ich mach mir nen kopf weil ich denke du hast da fett die erstellt und das quasie nun umsonst, dann schon traurig das du nicht mal credits gibst...
blockiert ...
Ein safetensor zu laden ist kein Hexenwerk und "deinen" Code habe ich sicherlich nicht dafür verwendet ...