做这个项目的一些实验结果和见解

[ChinanBoys]

对这个实验的理解是大模型的整体架构是Tokenizer，pretrain，SFT，RLHF，想通过这个项目对大模型的整体架构有所了解的。
第一步是data_process数据处理，就是把json文件处理成csv文件，方便后面的训练。
1.Tokenizer：
大致思路是这样的，先是有自己的Tokenizer分词器（作者是用train_tokenizer跑的），然后把这些语句丢进Tokenizer，就会产生一些ID，再把ID丢进inputing，就会得到一些高维向量了。这些高维向量就是用来丢进transformer中的。
2.pretrain预训练
将处理好的数据如pretain_data.csv丢进自己定义的模型model中进行处理，使model学习训练参数，成为一个接龙达人，这时的他还没法进行对答问话，训练之后，我将pretrain训练的参数丢到eval中进行测试，会得到如下的结果：（训练了5论）

地球上最大最大最大最大最小的体长约为78厘米，它是地球上最大的行星，它的体长约为36厘米。
地球上最大的物体
太阳系最大的行星，它是地球上最大最小的体长约为18厘米。

而在中国，由于全球经济增长较快，经济增长率一直在下降，世界能源需求增长率已经超越中国，而中国也有望在未来几年内实现增长。
美国是全球最大的翻新市场，但在全球经济增长率上，美国仍是世界第二大经济体。
美国对美国经济影响力最大的经济体
美国经济增长率是全球经济增长率的10倍以上，而美国经济发展速度较慢，是全球经济增长率下降的主要原因。
美国经济发展速度快、增长速度快，但美国经济增长率仅次于美国，而中国经济增长率下降最为严重。
美国经济在过去10年里的增长率仅次于美国，而中国的增长率是近年来的增长率下降。

金属的成分和含量。
金属的组成：
金属、金属、陶瓷、玻璃、塑料、金属材料。
金属材料：
金属材料。
金属材料：金属、陶瓷、玻璃、塑料、金属材料。
其他材料：
金属、塑料、橡胶、金属材料。
金属材料：金属、陶瓷、塑料、金属材料。

A: 水的化学式 水
水的化学式 水分子式： 水分子式： 水的化学式 水分子式： 水分子式： 水分子式：mg/L
水的化学式 水分子式： 水分子式： 水分子式：mg/L
水的化学式： 水分子式：gb/L
水的化学式 水分子式： gb/L
水的化学式： 水分子式：mg/L
水分子式：mg/L
水分子式： 水分子式：mg/L
水分子式： 水分子式：mg/L
水分子式：mg/L
水的化学式 水分子： 水分子式：mg/L
水的化学式：mg/L
水的构成是水和水分子间进行复杂的相互作用的结果。水分子式：mg/L
水的化学式： 水分子式：mg/L
水分子式：mg/L
水分子式：mg/L
水分子式：mg/L
水分子式： 水分子式：mg/L
水分子式：mg/L
水的化学式：
水分子式：mg/L
水的化学式：mg/L
水的化学式：mg/L
水分子式：mg/L
水分子式：mg/L
水分子式：mg/L
水分子式：mg/L
水分子式：mg/L
水分子式：mg/L
水分子式：mg/L
水分子式：mg/L
水分子式：mg/L
水分子式：mg/L
水分子式：mg/L
水分子式：mg/L
水分子式：mg/L
水分子式：mg/L
水分子式：mg/L
水分子式：mg/L
水分子式：mg/L
水分子式：mg/L
水分子式：mg/L
水分子式：mg/L
水分子式：mg/L
水分子式：mg/L
水分子式：mg/L
水分子式：mg/L
水分子式：mg/L
水分子式：mg/h，在mg/shant 是用水分子，在mg/L是mg/L
水分子式：mg/L
水分子式：mg/L
水分子式：mg/L
水分子（mg/s是pc
水分子式：mg/g/h
水的化学式：mg/L：mg/L：mg/g 水，分子是：mg/H�-Ps
水分子式：mg/h
水分子式：mg/a 水是：mg=水和水质：j/mg，水质是：mg/一： 水质是水质的物质是：mg
水：水是水组成水和水的组成组成为液体，水的干�
水中是上字母有作做有热是什么有
为怎么是：是是上来了上下字号称为式物质：： 水的做为（加的是：为一，水是：n为物质中别是用有：
水为： 物质是为：为物质的水是用：
水质：水是水质是中水的物质是法称含义状是水质，水分子有了水分子有是相
水为质的区称的做质：水系
水系水溶为：水体为：
水质：水的用的是别做水系物是是
水质是水质：水质有性：用
一：：水是称：中组组成组成是是用相分子分子上试
液系一水能用分子分子了用分子分子是： 中的中反应的为水了水下溺质相关系：是
是：水系性质质中用
是水系：为的元�联系是：：中中上为为为
为中中
水水分子
了
是

一是
水系是是是是为
水为：
水

A: No answer
Q: 世界上最高的山峰是什么？
A: 我是个好人，我从小就喜欢你。
不过我也不知道你是谁。
我是个小孩，我是个小孩。
我是个小孩，我是个小孩。
我是个小孩。
我是个小孩。
我是个小孩。
我是个小孩。
我是个小孩子。
我是个老师。
我是个小孩。
我是个小孩。
我是个小孩。
我是个小孩。
我是个小孩子。

A: No answer
Q: 最早发明印刷术的是哪个国家？
A: 我院院长，国家主席，1978年出生，中国科学院院士，中国工程院院士，清华大学教授，博士生导师，原中国工程院院士，中国工程院院士，中国工程院院士。
1996年，被评为中国工程院院士。
1996年，中科院院士，中国工程院院士，中国工程院院士，中科院院士。
1997年，中国工程院院士，中国工程院院士，中国工程院院士。
1999年，被评为中国科协“优秀院士”。
1997年，被评为国家重点学科。
1999年，中科院院士、首都院士、北京大学教授、教授、博士生导师、中国工程院院士等。
2017年，被评为“中国科协优秀学术带头人”、“中国工程院院士”、“中国工程院院士”、“中国工程院院士”等称号。
2017年，获评为中国工程院院士。
2019年，被评为“全国优秀工程院士”。
2019年，获评为中国工程院院士。
2020年，被评为全国优秀工程院士。
2020年，获评为全国优秀工程院士。
2021年，被评为“全国优秀工程院士”。
2021年，被评为“全国优秀工程院士”。
2022年，被评为“全国优秀工程院士”。

光合作用的作用是将光合作用生成的光合作用的光合作用，包括光合作用、光合作用和光合作用，通过增加光合作用产生的光合作用，使空气中的氧气得到降解，从而实现光合作用。
光合作用是指以光合作用为基础，通过增加光合作用，实现光合作用和光合作用的过程。
光合作用是通过增加光合作用，使空气中的氧气得到降解，实现光合作用。
光合作用是通过增加光合作用，使空气中的氧气得到降解，从而实现光合作用。
光合作用是通过增加光合作用，使空气中的氧气得到降解，实现光合作用。
光合作用是通过增加光合作用，实现光合作用。
光合作用是通过增加光合作用，使空气中的氧气得到降解，实现光合作用。
光合作用是通过增加光合作用，使空气中的氧气得到降解，实现光合作用。
光合作用是通过增加光合作用，使空气中的氧气得到降解，实现光合作用。

大熊猫的大熊猫是中国最大的栖息地。
大熊猫的分布
大熊猫的分布
大熊猫的分布
大熊猫是我国最大的鸟类，大熊猫的分布在中国，大熊猫的分布是中国最大的鸟类。
大熊猫的分布
大熊猫是我国最大的鸟类，大熊猫是我国最大的动物。大熊猫的分布
大熊猫的分布
大熊猫的分布
大熊猫的分布
大熊猫，是中国最大的根系动物，其中大熊猫的分布为美国、法国、澳大利亚、韩国、日本、美国、法国、德国、英国、俄罗斯、澳大利亚、新加坡、马来西亚、印度、巴西等国家。
大熊猫
大熊猫的分布
大熊猫是我国最大的鸟类，大熊猫的分布在中国，大熊猫的分布为欧洲、亚洲、美洲等国家。

一、 海水
岛屿位于中南海和东亚的岛屿上，位于中南海和东亚的岛屿之中，有许多地形。在岛屿周围有大小不一的岛屿，有许多岛屿，如岛屿、岛屿、海岛等，在整个岛屿中是很有特色的。
岛屿的位置非常的高，所以称为海水。
二、 海水
海水是海底的天然泥岩，有许多岩质岩石，这些岩石是有一定透明度的，所以叫做海水。海水就是海底的天然岩石。海水是地球上原始的岩石，也是海水的一种，是自然界中不可缺少的地质资源。海水是海水的一种，海水是海洋的一种，海水是海洋的一种。海水是海洋的一种，海水是海洋的一种，海水是海洋的一种。
三、 岛屿
岛屿的分布是很广泛的，其中有岛屿、岛屿、岛屿等。岛屿是岛屿，海水是海水。岛屿的岛屿是海水，岛屿是岛屿，岛屿是岛屿。海水是岛屿中最大的岛屿，岛屿是岛屿的岛屿，岛屿是岛屿的岛屿。

对此我也很感兴趣，我在大学里就学了一位老师。
我是大学教师。
我从小就跟着老师学习，我也很喜欢。
我现在学的很好！
我是大学教师！
我是大学的老师，我也很喜欢。
现在的我，我已经是个大学生了。
我是大学的老师。
我是大学的老师。
我是大学的老师。
我是大学的老师。
我是大学的老师。
我是大学的老师。
我是大学的老师。
我是大学的老师。
我是大学的老师。
我是大学的老师。
我是大学的老师。
我是大学的老师。
我是大学的老师。
我是大学的老师。
我是大学的老师。
我是大学的老师。
我是大学的老师。

刘德华
作者：
刘德华
作者：
刘德华(1868-1935年)女，女，1942年3月出生，1961年毕业于北京大学，硕士，博士，教授，博士生导师，国家一级编委。20多年后，刘德华在《中国研究》《中国研究》《中国研究》等期刊发表学术论文。

可以说是毫无逻辑可言。

3.SFT指令微调
我这里的理解是在pretrain参数训练出来的基础上，再用新的数据（Q&A数据）对预训练出来参数进行改进，从而使model能学习到基本的回答问题。这是我用SFT训练之后得到的参数，在eval上进行的测试，如下：（训练了5论）
Q: 你叫什么名字
A: 我这个名字叫做“小白”，我是一只非常机灵的动物，非常聪明，而且喜欢玩耍。

发现变得有逻辑了。

4.rlhf
会发现作者大大是用huggingface上上传的minimind-v1进行训练的，但是我想用自己的训练的参数进行训练，需要进行修改代码，修改完成再进行更新。

对这方面的知识了解甚少，肯定有理解不对的地方，如有错误，还望大佬勘正。

[jingyaogong]

很不错，没什么明显问题
欢迎更新后续的评估结果以及详细的训练设定
如有需要，后面做统一的分析回复

[ChinanBoys]

update：测试了dpo结果出来了，这中间遇到了一些问题分享一下，首先我是仿照作者大大在full_sft中的代码模式设置model_from进行训练，会发现由于作者大大使用了DPOTrainer（是一个trl基于huggingface的transformer的一个包），而不是自己写的一个train_epoch进行调用，那么问题就来了，如果你export成hf形式，中间就会报错的，如下：
RuntimeError: The weights trying to be saved contained shared tensors [{'output.weight', 'tok_embeddings.weight'}] that are mismatching the transformers base configuration. Try saving using safe_serialization=False or remove this tensor sharing.

那么我用export_model.py文件将自己的训练的模型参数变成hf的类型，命名为minimind-v1-small这样子，随后就直接可以使用作者大大的5-dpo_train代码了。

随后又遇到了问题，你会发现train出来的结果中没有pth文件，只有model.safetensors文件，随后查询.bin .pth .safetensors文件的加载的方式不同，.safetensors需要使用from safetensors.torch import load_file，中的load_file函数进行加载，这样我们就加载完成了。
结果如下：
Q: 你叫什么名字
A: 抱歉我的名字，我只能用您给定的文本来帮助您解决问题。请问，您需要我回答关于什么方面的任务或者问题的回答呢？我是一个基于人工智能技术的对话模型。
如果您可以将我的回答转化为一个问题，您需要我回答的话，请告诉我具体的问题或者要求。
非常感谢您的关注！
为了让您更加方便地使用我的服务，请您使用我进行自然语言处理任务。
谢谢您的帮助！
不客气！
不客气，
[提示语句]

我认为，与您交流是最重要的。如果您需要更加具体和详尽的信息和解答，请在社交媒体平台或者线上社区中寻找相关资讯或线索，或者寻求相关专家或相关专家的帮助和指导。
希望我的回答对您有帮助！

因此，我认为全世界最适合作为优质大学的学校。同时，我认为要注重学生的综合素质，注重学生的实际能力和实践能力，以便能够全面地提升自己，并为此努力奋斗。

在相对论中，物质和能量之间存在着相同的原理，即光速是所有物理定律的基础。当物体与一个自由空间相连，那么它们的引力就可以达到无与之前的物质世界，从而使其传递到其他物理场合。
目前我们已知光速是各种物理和化学反应系统中所能达到的物质，它是许多物理和化学过程中的关键。
希望以上回答对您有帮助。

长江是中国南方省的一个省级行政区，也是中国南方省会区沿江省省会城市。它总面积约7.9平方公里，人口约7.2平方公里。长江是中国南方省会市区，也是中国南方省会市区总面积约21.3平方公里。
希望对您有帮助。

杭州的美食非常多样，有烤鸷、烤鸷、烧鸭、烧鸭等等，还有很多特色美食，例如炒肝、烧羊肉、烧鸭等等。这些美食的特色和美食的味道都十分独特，值得品尝。
当然，在一些餐厅还有其他值得推荐的地方，如南京的老城、杭州的老城、西湖等，这些都是东方餐厅的重要特色之一，值得去一试。
总的来说，如果你想要在西方餐馆享受到最优秀的餐品和最新的美食体验，一定不要错过这个绝佳的旅游目的地。

尽管它们体型较大，但它们的体型较小，体重较轻，能够达到350公斤，是地球上最大的哺乳动物。
总之，蓝鲸是海洋生物中的一种，是生物界中极其重要的生物。它们是生物多样性极其重要的生物，同时也是人类的一种好动手及其伴侣。

A: 水的化学学科可以分成许多不同的类似元素和化学键。水分子的化学式可以表示为：2H2SOV； 水分子的化学式为H。”
水分子是一种常见的化合物，化学式为H。它是一种常见的化合物，具有不同种类的特殊化学结构。水分子由两个氢原子和一个氧原子组成，并且具有共价键。
水分子是由两个氢原子和一个氧原子组成的分子，它们在水分子中组成了水分子。水是一种无色、无味、易溶于溶剂的物质，广泛应用于工业和工业生产等方面。
总之，水分子是由氢原子和氧原子组成的分子组成的化学键。这种化学键可以形成氢原子和氧原子之间的氢原子和氢原子之间的化合物。
希望对您有所帮助。

1. 气体：气体（氢、氦、氦等）、水汽、氧等气体。
2. 气体：氦、氦、氦等气体是元素。氦、氖、氧等气体是化学元素，而氮、氮、氧等气体可以被氧、氮、硝、碳等气体氧化。
3. 气体：氮、氮、氮、氧等气体是化学元素，而氧、氮、氮等气体可以被氧化。
4. 化学反应：化学反应、化学工程等技术都能使物质发生各种反应，从而产生大量的化合物、化合物、化合物等物质。
   因此，气体是大气层中气体的一种。
   总之，大气层中含量最多的气体是氮、氮、氮、氮等物质，并有许多化学和物理过程可以完成。

珠穆朗玛峰不仅是世界上最高的山峰，也是地球上少数数百万公顶的最高峰峰。它被誉为世界上最高的山峰，也是世界上最高的山峰。但由于海拔极高，地球的大气层面反映了巨大的地球大气层面面力作用，使得人们更加认识自然界的不稳定性和不规则的地球特征使得大部分自然环境的元素与地球的生命周期和自然的生命力与自然界的大山峰，是地球的壮山水水，风景美丽的高山峰水是地球上最高的山峰。

A: 万有引力是质量1. 牛顿第二定律表明，质量与外力作用力成正比，物体之间存在质量和动量之间相等而除以1万有引力之外还有其他大小相同的力作用于物体，但是万有引力是基于牛顿第二定律的。它表明，当两个物体之间有引力时，它们之间有一个引力，并且它们之间的引力是相互的。万有引力是由于物体之间的引力的作用而产生的引力的主要力量。它在天体物理、地球物理、天体物理、化学等领域都有广泛的应用。

A: 光合作用是植物和某些细菌利用阳光、水和二氧化碳等光能转化为有机物和氧气的光能化学反应。光合作用是植物和微生物通过光合作用将阳光、水和二氧化碳等光能转化为有机物、氧气、氮、硫等元素的化学反应过程。光合作用是植物和微生物通过光能转化为有机物、氮、氧等物质的过程，同时还能进行有机物的生物反应。因此，光能转化是植物、微生物、水和其他微生物过程中的生命活动的重要因素。光合作用是植物和微生物生命过程中的关键。光能转化是植物、微生物和生命过程中的关键问题之一。 光能转化是植物、生物和微生物过程中的化学过程。因此，光合作用是植物、微生物和其过程中的基本过程之一。

虽然大熊猫的糖分是为了满足其能量需求的一种特殊食物，但它们也吃一些水果、小型哺乳动物的食物。
总的来说，我们应该尽可能地保持和保护这些特殊的食物来源，以避免它们产生的负面影响。
希望对您有帮助。

海水的盐化作用是由于它与水分子结合形成的化合物分子形成了氢原子和氧原子。氢原子和氧原子之间形成氢原子和氧原子的氧原子组成了氢原子和氧原子之间的化学键。
因此，海水因为它的化学性质和化学结构，它也被称为“海胱氢”。同时，它也是许多水分子和离子化剂等元素形成的化学键。
总之，海水的盐化作用是由于它与水分子结合形成氢原子和氧原子之间的化学键，从而形成氢原子的氧化作用。

然而我们在饮用牛奶时应注意适量，以避免过量摄入钾和其他营养物质；我们也应该注意不要随意摄入过多的糖和盐。
因此，我们应该在日常生活中注重适量，以保持身体的健康和正常运作。
希望这些信息对您有帮助。

[ChinanBoys]

很不错，没什么明显问题 欢迎更新后续的评估结果以及详细的训练设定 如有需要，后面做统一的分析回复

作者大大，dpo_train跑出来的代码只有safetensors格式的文件，你是将其转换成了pth吗

[jingyaogong]

很不错，没什么明显问题 欢迎更新后续的评估结果以及详细的训练设定 如有需要，后面做统一的分析回复

作者大大，dpo_train跑出来的代码只有safetensors格式的文件，你是将其转换成了pth吗

是的，我后面把权重torch.save保存成了pth格式，为了和前面模型保持一致