• Jedná se o pokročilé statistické modely, nejde o pravou umělou inteligenci. Chatboti se na základě základě vzorců v datech snaží předpovědět nejpravděpodobnější pokračování textu. Mají stále omezené schopnosti reálného uvažování.

Význam trénovacích dat a dodatečného trénování

• Jejich znalosti pocházejí z trénovacích dat. Ty byla sice nesmírně obsáhlá, ale nemohou pokrývat všechny oblasti a jsou tak ze své podstaty nekompletní:
• Vychází z především Euro-Amerického kulturního kontextu
  • Modely tak zpravidla odpovídají kvalitněji v angličtině a dalších velkých, mezinárodních jazycích vysoce zastoupených na internetu
  • Jejich světonázory mohou odrážet předsudky datových sad (a dále světonázorů týmu, kteří na nich pracovali)
  • i přes snahy o redukci škodlivého obsahu mohou trénovací data stále obsahovat příklady předsudků a diskriminace, které ovlivňují chování modelů

Expertní znalosti

• jazykové modely zpravidla nemají přístup k expertním, úzce vymezeným znalostem, ty se často skrývají za placenými databázemi

  • je třeba proto být velmi obezřetný, pokud po nich chceme informace o méně známých badatelích, konceptech, teoriích atd., protože se zvyšuje šance, že jejich odpovědi budou vyhalucinované (i přesto ale budou nadále vypadat velmi přesvědčivě)

    → zde dobře poslouží nástroje, do kterých je možné konkrétní články nahrát a nad nimi pak s chatboty rozvíjet diskuzi (viz )

Faktičnost

• modely nejsou encyklopedie, jsou to mašiny na generování, předpovídání pravděpodobného, ne pravdivého
• modely nemají skutečné porozumění kontextům a faktům, neumí určit pravdivost či přesnost jako lidé, mohou proto halucinovat = vytvářet přesvědčivě znějící, nicméně zcela smyšlené informace

Aktuální informace

• řada modelů (včetně těch nejpoužívanějších jako ChatGPT nebo Claude) nemá přístup k internetu
  • modely jsou předučené, a spoustu věcí tak ví, nelze ale očekávat, že ví, co se stalo minulý týden ve světě

Paměť

• Jazykové modely mají omezenou paměť a v dlouhých konverzacích ztrácejí kontext. To se projevuje v nesoudržných odpovědích a halucinacích (například nejznámější Chat-GPT dokáže udržet precizně asi 1500 slov).