Wanff
Add fine-tuned model
10bd592
{
"best_metric": null,
"best_model_checkpoint": null,
"epoch": 1.0,
"eval_steps": 0,
"global_step": 240,
"is_hyper_param_search": false,
"is_local_process_zero": true,
"is_world_process_zero": true,
"log_history": [
{
"epoch": 0.004166666666666667,
"grad_norm": 0.0810546875,
"learning_rate": 9.958333333333334e-06,
"loss": 1.8225,
"step": 1
},
{
"epoch": 0.008333333333333333,
"grad_norm": 0.080078125,
"learning_rate": 9.916666666666668e-06,
"loss": 1.7501,
"step": 2
},
{
"epoch": 0.0125,
"grad_norm": 0.07763671875,
"learning_rate": 9.875000000000001e-06,
"loss": 1.7474,
"step": 3
},
{
"epoch": 0.016666666666666666,
"grad_norm": 0.08203125,
"learning_rate": 9.833333333333333e-06,
"loss": 1.8255,
"step": 4
},
{
"epoch": 0.020833333333333332,
"grad_norm": 0.08544921875,
"learning_rate": 9.791666666666666e-06,
"loss": 1.809,
"step": 5
},
{
"epoch": 0.025,
"grad_norm": 0.087890625,
"learning_rate": 9.75e-06,
"loss": 1.8794,
"step": 6
},
{
"epoch": 0.029166666666666667,
"grad_norm": 0.09619140625,
"learning_rate": 9.708333333333333e-06,
"loss": 1.9053,
"step": 7
},
{
"epoch": 0.03333333333333333,
"grad_norm": 0.09912109375,
"learning_rate": 9.666666666666667e-06,
"loss": 1.824,
"step": 8
},
{
"epoch": 0.0375,
"grad_norm": 0.09375,
"learning_rate": 9.625e-06,
"loss": 1.8051,
"step": 9
},
{
"epoch": 0.041666666666666664,
"grad_norm": 0.0986328125,
"learning_rate": 9.583333333333335e-06,
"loss": 1.7789,
"step": 10
},
{
"epoch": 0.04583333333333333,
"grad_norm": 0.107421875,
"learning_rate": 9.541666666666669e-06,
"loss": 1.8226,
"step": 11
},
{
"epoch": 0.05,
"grad_norm": 0.10546875,
"learning_rate": 9.5e-06,
"loss": 1.8282,
"step": 12
},
{
"epoch": 0.05416666666666667,
"grad_norm": 0.1064453125,
"learning_rate": 9.458333333333334e-06,
"loss": 1.8244,
"step": 13
},
{
"epoch": 0.058333333333333334,
"grad_norm": 0.115234375,
"learning_rate": 9.416666666666667e-06,
"loss": 1.8254,
"step": 14
},
{
"epoch": 0.0625,
"grad_norm": 0.11572265625,
"learning_rate": 9.375000000000001e-06,
"loss": 1.7628,
"step": 15
},
{
"epoch": 0.06666666666666667,
"grad_norm": 0.12158203125,
"learning_rate": 9.333333333333334e-06,
"loss": 1.8432,
"step": 16
},
{
"epoch": 0.07083333333333333,
"grad_norm": 0.11767578125,
"learning_rate": 9.291666666666668e-06,
"loss": 1.7466,
"step": 17
},
{
"epoch": 0.075,
"grad_norm": 0.1279296875,
"learning_rate": 9.250000000000001e-06,
"loss": 1.7677,
"step": 18
},
{
"epoch": 0.07916666666666666,
"grad_norm": 0.1357421875,
"learning_rate": 9.208333333333333e-06,
"loss": 1.8224,
"step": 19
},
{
"epoch": 0.08333333333333333,
"grad_norm": 0.12890625,
"learning_rate": 9.166666666666666e-06,
"loss": 1.7112,
"step": 20
},
{
"epoch": 0.0875,
"grad_norm": 0.1435546875,
"learning_rate": 9.125e-06,
"loss": 1.8548,
"step": 21
},
{
"epoch": 0.09166666666666666,
"grad_norm": 0.146484375,
"learning_rate": 9.083333333333333e-06,
"loss": 1.7838,
"step": 22
},
{
"epoch": 0.09583333333333334,
"grad_norm": 0.1552734375,
"learning_rate": 9.041666666666667e-06,
"loss": 1.8601,
"step": 23
},
{
"epoch": 0.1,
"grad_norm": 0.15234375,
"learning_rate": 9e-06,
"loss": 1.8107,
"step": 24
},
{
"epoch": 0.10416666666666667,
"grad_norm": 0.158203125,
"learning_rate": 8.958333333333334e-06,
"loss": 1.8736,
"step": 25
},
{
"epoch": 0.10833333333333334,
"grad_norm": 0.1650390625,
"learning_rate": 8.916666666666667e-06,
"loss": 1.8847,
"step": 26
},
{
"epoch": 0.1125,
"grad_norm": 0.154296875,
"learning_rate": 8.875e-06,
"loss": 1.7122,
"step": 27
},
{
"epoch": 0.11666666666666667,
"grad_norm": 0.17578125,
"learning_rate": 8.833333333333334e-06,
"loss": 1.8305,
"step": 28
},
{
"epoch": 0.12083333333333333,
"grad_norm": 0.16796875,
"learning_rate": 8.791666666666667e-06,
"loss": 1.8039,
"step": 29
},
{
"epoch": 0.125,
"grad_norm": 0.185546875,
"learning_rate": 8.750000000000001e-06,
"loss": 1.9022,
"step": 30
},
{
"epoch": 0.12916666666666668,
"grad_norm": 0.177734375,
"learning_rate": 8.708333333333334e-06,
"loss": 1.8319,
"step": 31
},
{
"epoch": 0.13333333333333333,
"grad_norm": 0.1904296875,
"learning_rate": 8.666666666666668e-06,
"loss": 1.8155,
"step": 32
},
{
"epoch": 0.1375,
"grad_norm": 0.1904296875,
"learning_rate": 8.625000000000001e-06,
"loss": 1.9053,
"step": 33
},
{
"epoch": 0.14166666666666666,
"grad_norm": 0.189453125,
"learning_rate": 8.583333333333333e-06,
"loss": 1.7392,
"step": 34
},
{
"epoch": 0.14583333333333334,
"grad_norm": 0.1875,
"learning_rate": 8.541666666666666e-06,
"loss": 1.7205,
"step": 35
},
{
"epoch": 0.15,
"grad_norm": 0.1904296875,
"learning_rate": 8.5e-06,
"loss": 1.8291,
"step": 36
},
{
"epoch": 0.15416666666666667,
"grad_norm": 0.2060546875,
"learning_rate": 8.458333333333333e-06,
"loss": 1.9202,
"step": 37
},
{
"epoch": 0.15833333333333333,
"grad_norm": 0.1943359375,
"learning_rate": 8.416666666666667e-06,
"loss": 1.7182,
"step": 38
},
{
"epoch": 0.1625,
"grad_norm": 0.1943359375,
"learning_rate": 8.375e-06,
"loss": 1.6669,
"step": 39
},
{
"epoch": 0.16666666666666666,
"grad_norm": 0.1982421875,
"learning_rate": 8.333333333333334e-06,
"loss": 1.7404,
"step": 40
},
{
"epoch": 0.17083333333333334,
"grad_norm": 0.19921875,
"learning_rate": 8.291666666666667e-06,
"loss": 1.7288,
"step": 41
},
{
"epoch": 0.175,
"grad_norm": 0.203125,
"learning_rate": 8.25e-06,
"loss": 1.7685,
"step": 42
},
{
"epoch": 0.17916666666666667,
"grad_norm": 0.20703125,
"learning_rate": 8.208333333333334e-06,
"loss": 1.7245,
"step": 43
},
{
"epoch": 0.18333333333333332,
"grad_norm": 0.2255859375,
"learning_rate": 8.166666666666668e-06,
"loss": 1.8366,
"step": 44
},
{
"epoch": 0.1875,
"grad_norm": 0.19921875,
"learning_rate": 8.125000000000001e-06,
"loss": 1.6804,
"step": 45
},
{
"epoch": 0.19166666666666668,
"grad_norm": 0.212890625,
"learning_rate": 8.083333333333334e-06,
"loss": 1.7792,
"step": 46
},
{
"epoch": 0.19583333333333333,
"grad_norm": 0.20703125,
"learning_rate": 8.041666666666668e-06,
"loss": 1.6088,
"step": 47
},
{
"epoch": 0.2,
"grad_norm": 0.2099609375,
"learning_rate": 8.000000000000001e-06,
"loss": 1.7978,
"step": 48
},
{
"epoch": 0.20416666666666666,
"grad_norm": 0.201171875,
"learning_rate": 7.958333333333333e-06,
"loss": 1.7433,
"step": 49
},
{
"epoch": 0.20833333333333334,
"grad_norm": 0.2177734375,
"learning_rate": 7.916666666666667e-06,
"loss": 1.7625,
"step": 50
},
{
"epoch": 0.2125,
"grad_norm": 0.20703125,
"learning_rate": 7.875e-06,
"loss": 1.7366,
"step": 51
},
{
"epoch": 0.21666666666666667,
"grad_norm": 0.2099609375,
"learning_rate": 7.833333333333333e-06,
"loss": 1.7219,
"step": 52
},
{
"epoch": 0.22083333333333333,
"grad_norm": 0.21875,
"learning_rate": 7.791666666666667e-06,
"loss": 1.6785,
"step": 53
},
{
"epoch": 0.225,
"grad_norm": 0.22265625,
"learning_rate": 7.75e-06,
"loss": 1.8373,
"step": 54
},
{
"epoch": 0.22916666666666666,
"grad_norm": 0.2060546875,
"learning_rate": 7.708333333333334e-06,
"loss": 1.7004,
"step": 55
},
{
"epoch": 0.23333333333333334,
"grad_norm": 0.216796875,
"learning_rate": 7.666666666666667e-06,
"loss": 1.8072,
"step": 56
},
{
"epoch": 0.2375,
"grad_norm": 0.20703125,
"learning_rate": 7.625e-06,
"loss": 1.674,
"step": 57
},
{
"epoch": 0.24166666666666667,
"grad_norm": 0.201171875,
"learning_rate": 7.583333333333333e-06,
"loss": 1.7009,
"step": 58
},
{
"epoch": 0.24583333333333332,
"grad_norm": 0.216796875,
"learning_rate": 7.541666666666667e-06,
"loss": 1.7347,
"step": 59
},
{
"epoch": 0.25,
"grad_norm": 0.2001953125,
"learning_rate": 7.500000000000001e-06,
"loss": 1.6663,
"step": 60
},
{
"epoch": 0.25416666666666665,
"grad_norm": 0.2197265625,
"learning_rate": 7.4583333333333345e-06,
"loss": 1.7317,
"step": 61
},
{
"epoch": 0.25833333333333336,
"grad_norm": 0.2080078125,
"learning_rate": 7.416666666666668e-06,
"loss": 1.7029,
"step": 62
},
{
"epoch": 0.2625,
"grad_norm": 0.2158203125,
"learning_rate": 7.375000000000001e-06,
"loss": 1.74,
"step": 63
},
{
"epoch": 0.26666666666666666,
"grad_norm": 0.20703125,
"learning_rate": 7.333333333333333e-06,
"loss": 1.6429,
"step": 64
},
{
"epoch": 0.2708333333333333,
"grad_norm": 0.21484375,
"learning_rate": 7.291666666666667e-06,
"loss": 1.5618,
"step": 65
},
{
"epoch": 0.275,
"grad_norm": 0.216796875,
"learning_rate": 7.25e-06,
"loss": 1.7581,
"step": 66
},
{
"epoch": 0.2791666666666667,
"grad_norm": 0.22265625,
"learning_rate": 7.2083333333333335e-06,
"loss": 1.7229,
"step": 67
},
{
"epoch": 0.2833333333333333,
"grad_norm": 0.20703125,
"learning_rate": 7.166666666666667e-06,
"loss": 1.6223,
"step": 68
},
{
"epoch": 0.2875,
"grad_norm": 0.216796875,
"learning_rate": 7.125e-06,
"loss": 1.6298,
"step": 69
},
{
"epoch": 0.2916666666666667,
"grad_norm": 0.2109375,
"learning_rate": 7.083333333333335e-06,
"loss": 1.6772,
"step": 70
},
{
"epoch": 0.29583333333333334,
"grad_norm": 0.2236328125,
"learning_rate": 7.041666666666668e-06,
"loss": 1.7603,
"step": 71
},
{
"epoch": 0.3,
"grad_norm": 0.20703125,
"learning_rate": 7e-06,
"loss": 1.7084,
"step": 72
},
{
"epoch": 0.30416666666666664,
"grad_norm": 0.21484375,
"learning_rate": 6.958333333333333e-06,
"loss": 1.7541,
"step": 73
},
{
"epoch": 0.30833333333333335,
"grad_norm": 0.212890625,
"learning_rate": 6.916666666666667e-06,
"loss": 1.7278,
"step": 74
},
{
"epoch": 0.3125,
"grad_norm": 0.205078125,
"learning_rate": 6.875e-06,
"loss": 1.5406,
"step": 75
},
{
"epoch": 0.31666666666666665,
"grad_norm": 0.1982421875,
"learning_rate": 6.833333333333334e-06,
"loss": 1.6959,
"step": 76
},
{
"epoch": 0.32083333333333336,
"grad_norm": 0.2099609375,
"learning_rate": 6.791666666666667e-06,
"loss": 1.6069,
"step": 77
},
{
"epoch": 0.325,
"grad_norm": 0.197265625,
"learning_rate": 6.750000000000001e-06,
"loss": 1.5912,
"step": 78
},
{
"epoch": 0.32916666666666666,
"grad_norm": 0.2216796875,
"learning_rate": 6.708333333333333e-06,
"loss": 1.756,
"step": 79
},
{
"epoch": 0.3333333333333333,
"grad_norm": 0.203125,
"learning_rate": 6.666666666666667e-06,
"loss": 1.5706,
"step": 80
},
{
"epoch": 0.3375,
"grad_norm": 0.2060546875,
"learning_rate": 6.625e-06,
"loss": 1.6126,
"step": 81
},
{
"epoch": 0.3416666666666667,
"grad_norm": 0.2119140625,
"learning_rate": 6.5833333333333335e-06,
"loss": 1.6933,
"step": 82
},
{
"epoch": 0.3458333333333333,
"grad_norm": 0.2021484375,
"learning_rate": 6.541666666666667e-06,
"loss": 1.6899,
"step": 83
},
{
"epoch": 0.35,
"grad_norm": 0.1884765625,
"learning_rate": 6.5000000000000004e-06,
"loss": 1.7091,
"step": 84
},
{
"epoch": 0.3541666666666667,
"grad_norm": 0.203125,
"learning_rate": 6.458333333333334e-06,
"loss": 1.6455,
"step": 85
},
{
"epoch": 0.35833333333333334,
"grad_norm": 0.197265625,
"learning_rate": 6.416666666666667e-06,
"loss": 1.6138,
"step": 86
},
{
"epoch": 0.3625,
"grad_norm": 0.2001953125,
"learning_rate": 6.375e-06,
"loss": 1.6739,
"step": 87
},
{
"epoch": 0.36666666666666664,
"grad_norm": 0.1884765625,
"learning_rate": 6.333333333333333e-06,
"loss": 1.6392,
"step": 88
},
{
"epoch": 0.37083333333333335,
"grad_norm": 0.1875,
"learning_rate": 6.291666666666667e-06,
"loss": 1.5993,
"step": 89
},
{
"epoch": 0.375,
"grad_norm": 0.1875,
"learning_rate": 6.25e-06,
"loss": 1.6435,
"step": 90
},
{
"epoch": 0.37916666666666665,
"grad_norm": 0.177734375,
"learning_rate": 6.208333333333334e-06,
"loss": 1.6186,
"step": 91
},
{
"epoch": 0.38333333333333336,
"grad_norm": 0.1826171875,
"learning_rate": 6.166666666666667e-06,
"loss": 1.6222,
"step": 92
},
{
"epoch": 0.3875,
"grad_norm": 0.1826171875,
"learning_rate": 6.125000000000001e-06,
"loss": 1.6585,
"step": 93
},
{
"epoch": 0.39166666666666666,
"grad_norm": 0.181640625,
"learning_rate": 6.083333333333333e-06,
"loss": 1.6468,
"step": 94
},
{
"epoch": 0.3958333333333333,
"grad_norm": 0.1689453125,
"learning_rate": 6.041666666666667e-06,
"loss": 1.5735,
"step": 95
},
{
"epoch": 0.4,
"grad_norm": 0.18359375,
"learning_rate": 6e-06,
"loss": 1.6269,
"step": 96
},
{
"epoch": 0.4041666666666667,
"grad_norm": 0.1650390625,
"learning_rate": 5.958333333333334e-06,
"loss": 1.5639,
"step": 97
},
{
"epoch": 0.4083333333333333,
"grad_norm": 0.162109375,
"learning_rate": 5.916666666666667e-06,
"loss": 1.5403,
"step": 98
},
{
"epoch": 0.4125,
"grad_norm": 0.1728515625,
"learning_rate": 5.8750000000000005e-06,
"loss": 1.6163,
"step": 99
},
{
"epoch": 0.4166666666666667,
"grad_norm": 0.1953125,
"learning_rate": 5.833333333333334e-06,
"loss": 1.6144,
"step": 100
},
{
"epoch": 0.42083333333333334,
"grad_norm": 0.1953125,
"learning_rate": 5.791666666666667e-06,
"loss": 1.6235,
"step": 101
},
{
"epoch": 0.425,
"grad_norm": 0.15625,
"learning_rate": 5.75e-06,
"loss": 1.6294,
"step": 102
},
{
"epoch": 0.42916666666666664,
"grad_norm": 0.18359375,
"learning_rate": 5.7083333333333335e-06,
"loss": 1.6213,
"step": 103
},
{
"epoch": 0.43333333333333335,
"grad_norm": 0.181640625,
"learning_rate": 5.666666666666667e-06,
"loss": 1.6473,
"step": 104
},
{
"epoch": 0.4375,
"grad_norm": 0.169921875,
"learning_rate": 5.625e-06,
"loss": 1.6277,
"step": 105
},
{
"epoch": 0.44166666666666665,
"grad_norm": 0.1748046875,
"learning_rate": 5.583333333333334e-06,
"loss": 1.6694,
"step": 106
},
{
"epoch": 0.44583333333333336,
"grad_norm": 0.1748046875,
"learning_rate": 5.541666666666667e-06,
"loss": 1.641,
"step": 107
},
{
"epoch": 0.45,
"grad_norm": 0.1669921875,
"learning_rate": 5.500000000000001e-06,
"loss": 1.5473,
"step": 108
},
{
"epoch": 0.45416666666666666,
"grad_norm": 0.173828125,
"learning_rate": 5.458333333333333e-06,
"loss": 1.6376,
"step": 109
},
{
"epoch": 0.4583333333333333,
"grad_norm": 0.171875,
"learning_rate": 5.416666666666667e-06,
"loss": 1.6757,
"step": 110
},
{
"epoch": 0.4625,
"grad_norm": 0.1806640625,
"learning_rate": 5.375e-06,
"loss": 1.6694,
"step": 111
},
{
"epoch": 0.4666666666666667,
"grad_norm": 0.1689453125,
"learning_rate": 5.333333333333334e-06,
"loss": 1.7052,
"step": 112
},
{
"epoch": 0.4708333333333333,
"grad_norm": 0.169921875,
"learning_rate": 5.291666666666667e-06,
"loss": 1.6402,
"step": 113
},
{
"epoch": 0.475,
"grad_norm": 0.17578125,
"learning_rate": 5.2500000000000006e-06,
"loss": 1.5645,
"step": 114
},
{
"epoch": 0.4791666666666667,
"grad_norm": 0.1767578125,
"learning_rate": 5.208333333333334e-06,
"loss": 1.5647,
"step": 115
},
{
"epoch": 0.48333333333333334,
"grad_norm": 0.1708984375,
"learning_rate": 5.1666666666666675e-06,
"loss": 1.5426,
"step": 116
},
{
"epoch": 0.4875,
"grad_norm": 0.158203125,
"learning_rate": 5.125e-06,
"loss": 1.541,
"step": 117
},
{
"epoch": 0.49166666666666664,
"grad_norm": 0.166015625,
"learning_rate": 5.0833333333333335e-06,
"loss": 1.5706,
"step": 118
},
{
"epoch": 0.49583333333333335,
"grad_norm": 0.16796875,
"learning_rate": 5.041666666666667e-06,
"loss": 1.6043,
"step": 119
},
{
"epoch": 0.5,
"grad_norm": 0.1669921875,
"learning_rate": 5e-06,
"loss": 1.6266,
"step": 120
},
{
"epoch": 0.5041666666666667,
"grad_norm": 0.1826171875,
"learning_rate": 4.958333333333334e-06,
"loss": 1.625,
"step": 121
},
{
"epoch": 0.5083333333333333,
"grad_norm": 0.181640625,
"learning_rate": 4.9166666666666665e-06,
"loss": 1.6646,
"step": 122
},
{
"epoch": 0.5125,
"grad_norm": 0.1787109375,
"learning_rate": 4.875e-06,
"loss": 1.5717,
"step": 123
},
{
"epoch": 0.5166666666666667,
"grad_norm": 0.1708984375,
"learning_rate": 4.833333333333333e-06,
"loss": 1.6039,
"step": 124
},
{
"epoch": 0.5208333333333334,
"grad_norm": 0.1787109375,
"learning_rate": 4.791666666666668e-06,
"loss": 1.6058,
"step": 125
},
{
"epoch": 0.525,
"grad_norm": 0.166015625,
"learning_rate": 4.75e-06,
"loss": 1.5795,
"step": 126
},
{
"epoch": 0.5291666666666667,
"grad_norm": 0.1962890625,
"learning_rate": 4.708333333333334e-06,
"loss": 1.6041,
"step": 127
},
{
"epoch": 0.5333333333333333,
"grad_norm": 0.1767578125,
"learning_rate": 4.666666666666667e-06,
"loss": 1.589,
"step": 128
},
{
"epoch": 0.5375,
"grad_norm": 0.1669921875,
"learning_rate": 4.625000000000001e-06,
"loss": 1.6457,
"step": 129
},
{
"epoch": 0.5416666666666666,
"grad_norm": 0.1455078125,
"learning_rate": 4.583333333333333e-06,
"loss": 1.5313,
"step": 130
},
{
"epoch": 0.5458333333333333,
"grad_norm": 0.1748046875,
"learning_rate": 4.541666666666667e-06,
"loss": 1.6204,
"step": 131
},
{
"epoch": 0.55,
"grad_norm": 0.1787109375,
"learning_rate": 4.5e-06,
"loss": 1.5545,
"step": 132
},
{
"epoch": 0.5541666666666667,
"grad_norm": 0.173828125,
"learning_rate": 4.4583333333333336e-06,
"loss": 1.5405,
"step": 133
},
{
"epoch": 0.5583333333333333,
"grad_norm": 0.17578125,
"learning_rate": 4.416666666666667e-06,
"loss": 1.6191,
"step": 134
},
{
"epoch": 0.5625,
"grad_norm": 0.1845703125,
"learning_rate": 4.3750000000000005e-06,
"loss": 1.6164,
"step": 135
},
{
"epoch": 0.5666666666666667,
"grad_norm": 0.1611328125,
"learning_rate": 4.333333333333334e-06,
"loss": 1.5086,
"step": 136
},
{
"epoch": 0.5708333333333333,
"grad_norm": 0.1943359375,
"learning_rate": 4.2916666666666665e-06,
"loss": 1.6954,
"step": 137
},
{
"epoch": 0.575,
"grad_norm": 0.1669921875,
"learning_rate": 4.25e-06,
"loss": 1.5325,
"step": 138
},
{
"epoch": 0.5791666666666667,
"grad_norm": 0.1630859375,
"learning_rate": 4.208333333333333e-06,
"loss": 1.4837,
"step": 139
},
{
"epoch": 0.5833333333333334,
"grad_norm": 0.1650390625,
"learning_rate": 4.166666666666667e-06,
"loss": 1.4687,
"step": 140
},
{
"epoch": 0.5875,
"grad_norm": 0.1484375,
"learning_rate": 4.125e-06,
"loss": 1.5306,
"step": 141
},
{
"epoch": 0.5916666666666667,
"grad_norm": 0.1689453125,
"learning_rate": 4.083333333333334e-06,
"loss": 1.5744,
"step": 142
},
{
"epoch": 0.5958333333333333,
"grad_norm": 0.1806640625,
"learning_rate": 4.041666666666667e-06,
"loss": 1.6036,
"step": 143
},
{
"epoch": 0.6,
"grad_norm": 0.162109375,
"learning_rate": 4.000000000000001e-06,
"loss": 1.5626,
"step": 144
},
{
"epoch": 0.6041666666666666,
"grad_norm": 0.1708984375,
"learning_rate": 3.958333333333333e-06,
"loss": 1.5668,
"step": 145
},
{
"epoch": 0.6083333333333333,
"grad_norm": 0.177734375,
"learning_rate": 3.916666666666667e-06,
"loss": 1.6311,
"step": 146
},
{
"epoch": 0.6125,
"grad_norm": 0.16015625,
"learning_rate": 3.875e-06,
"loss": 1.5842,
"step": 147
},
{
"epoch": 0.6166666666666667,
"grad_norm": 0.1611328125,
"learning_rate": 3.833333333333334e-06,
"loss": 1.5253,
"step": 148
},
{
"epoch": 0.6208333333333333,
"grad_norm": 0.169921875,
"learning_rate": 3.7916666666666666e-06,
"loss": 1.5071,
"step": 149
},
{
"epoch": 0.625,
"grad_norm": 0.1728515625,
"learning_rate": 3.7500000000000005e-06,
"loss": 1.5554,
"step": 150
},
{
"epoch": 0.6291666666666667,
"grad_norm": 0.1728515625,
"learning_rate": 3.708333333333334e-06,
"loss": 1.5731,
"step": 151
},
{
"epoch": 0.6333333333333333,
"grad_norm": 0.1826171875,
"learning_rate": 3.6666666666666666e-06,
"loss": 1.5702,
"step": 152
},
{
"epoch": 0.6375,
"grad_norm": 0.166015625,
"learning_rate": 3.625e-06,
"loss": 1.557,
"step": 153
},
{
"epoch": 0.6416666666666667,
"grad_norm": 0.1826171875,
"learning_rate": 3.5833333333333335e-06,
"loss": 1.5613,
"step": 154
},
{
"epoch": 0.6458333333333334,
"grad_norm": 0.380859375,
"learning_rate": 3.5416666666666673e-06,
"loss": 1.4548,
"step": 155
},
{
"epoch": 0.65,
"grad_norm": 0.1875,
"learning_rate": 3.5e-06,
"loss": 1.6208,
"step": 156
},
{
"epoch": 0.6541666666666667,
"grad_norm": 0.181640625,
"learning_rate": 3.4583333333333334e-06,
"loss": 1.5561,
"step": 157
},
{
"epoch": 0.6583333333333333,
"grad_norm": 0.1865234375,
"learning_rate": 3.416666666666667e-06,
"loss": 1.5744,
"step": 158
},
{
"epoch": 0.6625,
"grad_norm": 0.189453125,
"learning_rate": 3.3750000000000003e-06,
"loss": 1.6337,
"step": 159
},
{
"epoch": 0.6666666666666666,
"grad_norm": 0.1748046875,
"learning_rate": 3.3333333333333333e-06,
"loss": 1.5903,
"step": 160
},
{
"epoch": 0.6708333333333333,
"grad_norm": 0.1787109375,
"learning_rate": 3.2916666666666668e-06,
"loss": 1.5902,
"step": 161
},
{
"epoch": 0.675,
"grad_norm": 0.1689453125,
"learning_rate": 3.2500000000000002e-06,
"loss": 1.4456,
"step": 162
},
{
"epoch": 0.6791666666666667,
"grad_norm": 0.1708984375,
"learning_rate": 3.2083333333333337e-06,
"loss": 1.5743,
"step": 163
},
{
"epoch": 0.6833333333333333,
"grad_norm": 0.1767578125,
"learning_rate": 3.1666666666666667e-06,
"loss": 1.6385,
"step": 164
},
{
"epoch": 0.6875,
"grad_norm": 0.181640625,
"learning_rate": 3.125e-06,
"loss": 1.5635,
"step": 165
},
{
"epoch": 0.6916666666666667,
"grad_norm": 0.181640625,
"learning_rate": 3.0833333333333336e-06,
"loss": 1.5925,
"step": 166
},
{
"epoch": 0.6958333333333333,
"grad_norm": 0.1728515625,
"learning_rate": 3.0416666666666666e-06,
"loss": 1.46,
"step": 167
},
{
"epoch": 0.7,
"grad_norm": 0.1728515625,
"learning_rate": 3e-06,
"loss": 1.6166,
"step": 168
},
{
"epoch": 0.7041666666666667,
"grad_norm": 0.18359375,
"learning_rate": 2.9583333333333335e-06,
"loss": 1.5004,
"step": 169
},
{
"epoch": 0.7083333333333334,
"grad_norm": 0.1650390625,
"learning_rate": 2.916666666666667e-06,
"loss": 1.5079,
"step": 170
},
{
"epoch": 0.7125,
"grad_norm": 0.1748046875,
"learning_rate": 2.875e-06,
"loss": 1.4635,
"step": 171
},
{
"epoch": 0.7166666666666667,
"grad_norm": 0.1728515625,
"learning_rate": 2.8333333333333335e-06,
"loss": 1.4983,
"step": 172
},
{
"epoch": 0.7208333333333333,
"grad_norm": 0.1728515625,
"learning_rate": 2.791666666666667e-06,
"loss": 1.5627,
"step": 173
},
{
"epoch": 0.725,
"grad_norm": 0.255859375,
"learning_rate": 2.7500000000000004e-06,
"loss": 1.8097,
"step": 174
},
{
"epoch": 0.7291666666666666,
"grad_norm": 0.1748046875,
"learning_rate": 2.7083333333333334e-06,
"loss": 1.6103,
"step": 175
},
{
"epoch": 0.7333333333333333,
"grad_norm": 0.169921875,
"learning_rate": 2.666666666666667e-06,
"loss": 1.5194,
"step": 176
},
{
"epoch": 0.7375,
"grad_norm": 0.1806640625,
"learning_rate": 2.6250000000000003e-06,
"loss": 1.5314,
"step": 177
},
{
"epoch": 0.7416666666666667,
"grad_norm": 0.1923828125,
"learning_rate": 2.5833333333333337e-06,
"loss": 1.6014,
"step": 178
},
{
"epoch": 0.7458333333333333,
"grad_norm": 0.173828125,
"learning_rate": 2.5416666666666668e-06,
"loss": 1.513,
"step": 179
},
{
"epoch": 0.75,
"grad_norm": 0.166015625,
"learning_rate": 2.5e-06,
"loss": 1.4847,
"step": 180
},
{
"epoch": 0.7541666666666667,
"grad_norm": 0.162109375,
"learning_rate": 2.4583333333333332e-06,
"loss": 1.4203,
"step": 181
},
{
"epoch": 0.7583333333333333,
"grad_norm": 0.1728515625,
"learning_rate": 2.4166666666666667e-06,
"loss": 1.5352,
"step": 182
},
{
"epoch": 0.7625,
"grad_norm": 0.1875,
"learning_rate": 2.375e-06,
"loss": 1.5893,
"step": 183
},
{
"epoch": 0.7666666666666667,
"grad_norm": 0.18359375,
"learning_rate": 2.3333333333333336e-06,
"loss": 1.6093,
"step": 184
},
{
"epoch": 0.7708333333333334,
"grad_norm": 0.208984375,
"learning_rate": 2.2916666666666666e-06,
"loss": 1.585,
"step": 185
},
{
"epoch": 0.775,
"grad_norm": 0.19140625,
"learning_rate": 2.25e-06,
"loss": 1.5585,
"step": 186
},
{
"epoch": 0.7791666666666667,
"grad_norm": 0.2021484375,
"learning_rate": 2.2083333333333335e-06,
"loss": 1.5973,
"step": 187
},
{
"epoch": 0.7833333333333333,
"grad_norm": 0.1689453125,
"learning_rate": 2.166666666666667e-06,
"loss": 1.5461,
"step": 188
},
{
"epoch": 0.7875,
"grad_norm": 0.1796875,
"learning_rate": 2.125e-06,
"loss": 1.4979,
"step": 189
},
{
"epoch": 0.7916666666666666,
"grad_norm": 0.1787109375,
"learning_rate": 2.0833333333333334e-06,
"loss": 1.5274,
"step": 190
},
{
"epoch": 0.7958333333333333,
"grad_norm": 0.181640625,
"learning_rate": 2.041666666666667e-06,
"loss": 1.5204,
"step": 191
},
{
"epoch": 0.8,
"grad_norm": 0.177734375,
"learning_rate": 2.0000000000000003e-06,
"loss": 1.5856,
"step": 192
},
{
"epoch": 0.8041666666666667,
"grad_norm": 0.19140625,
"learning_rate": 1.9583333333333334e-06,
"loss": 1.5527,
"step": 193
},
{
"epoch": 0.8083333333333333,
"grad_norm": 0.1767578125,
"learning_rate": 1.916666666666667e-06,
"loss": 1.5081,
"step": 194
},
{
"epoch": 0.8125,
"grad_norm": 0.169921875,
"learning_rate": 1.8750000000000003e-06,
"loss": 1.535,
"step": 195
},
{
"epoch": 0.8166666666666667,
"grad_norm": 0.1953125,
"learning_rate": 1.8333333333333333e-06,
"loss": 1.6183,
"step": 196
},
{
"epoch": 0.8208333333333333,
"grad_norm": 0.1923828125,
"learning_rate": 1.7916666666666667e-06,
"loss": 1.5314,
"step": 197
},
{
"epoch": 0.825,
"grad_norm": 0.177734375,
"learning_rate": 1.75e-06,
"loss": 1.5538,
"step": 198
},
{
"epoch": 0.8291666666666667,
"grad_norm": 0.185546875,
"learning_rate": 1.7083333333333334e-06,
"loss": 1.5997,
"step": 199
},
{
"epoch": 0.8333333333333334,
"grad_norm": 0.16796875,
"learning_rate": 1.6666666666666667e-06,
"loss": 1.5586,
"step": 200
},
{
"epoch": 0.8375,
"grad_norm": 0.2001953125,
"learning_rate": 1.6250000000000001e-06,
"loss": 1.5757,
"step": 201
},
{
"epoch": 0.8416666666666667,
"grad_norm": 0.1962890625,
"learning_rate": 1.5833333333333333e-06,
"loss": 1.5227,
"step": 202
},
{
"epoch": 0.8458333333333333,
"grad_norm": 0.1728515625,
"learning_rate": 1.5416666666666668e-06,
"loss": 1.4703,
"step": 203
},
{
"epoch": 0.85,
"grad_norm": 0.169921875,
"learning_rate": 1.5e-06,
"loss": 1.4734,
"step": 204
},
{
"epoch": 0.8541666666666666,
"grad_norm": 0.177734375,
"learning_rate": 1.4583333333333335e-06,
"loss": 1.5338,
"step": 205
},
{
"epoch": 0.8583333333333333,
"grad_norm": 0.232421875,
"learning_rate": 1.4166666666666667e-06,
"loss": 1.6195,
"step": 206
},
{
"epoch": 0.8625,
"grad_norm": 0.162109375,
"learning_rate": 1.3750000000000002e-06,
"loss": 1.5016,
"step": 207
},
{
"epoch": 0.8666666666666667,
"grad_norm": 0.158203125,
"learning_rate": 1.3333333333333334e-06,
"loss": 1.4991,
"step": 208
},
{
"epoch": 0.8708333333333333,
"grad_norm": 0.1767578125,
"learning_rate": 1.2916666666666669e-06,
"loss": 1.5097,
"step": 209
},
{
"epoch": 0.875,
"grad_norm": 0.18359375,
"learning_rate": 1.25e-06,
"loss": 1.5577,
"step": 210
},
{
"epoch": 0.8791666666666667,
"grad_norm": 0.1845703125,
"learning_rate": 1.2083333333333333e-06,
"loss": 1.5857,
"step": 211
},
{
"epoch": 0.8833333333333333,
"grad_norm": 0.1865234375,
"learning_rate": 1.1666666666666668e-06,
"loss": 1.6273,
"step": 212
},
{
"epoch": 0.8875,
"grad_norm": 0.1669921875,
"learning_rate": 1.125e-06,
"loss": 1.5253,
"step": 213
},
{
"epoch": 0.8916666666666667,
"grad_norm": 0.185546875,
"learning_rate": 1.0833333333333335e-06,
"loss": 1.6428,
"step": 214
},
{
"epoch": 0.8958333333333334,
"grad_norm": 0.1767578125,
"learning_rate": 1.0416666666666667e-06,
"loss": 1.4987,
"step": 215
},
{
"epoch": 0.9,
"grad_norm": 0.1865234375,
"learning_rate": 1.0000000000000002e-06,
"loss": 1.6335,
"step": 216
},
{
"epoch": 0.9041666666666667,
"grad_norm": 0.162109375,
"learning_rate": 9.583333333333334e-07,
"loss": 1.5747,
"step": 217
},
{
"epoch": 0.9083333333333333,
"grad_norm": 0.1796875,
"learning_rate": 9.166666666666666e-07,
"loss": 1.5138,
"step": 218
},
{
"epoch": 0.9125,
"grad_norm": 0.1845703125,
"learning_rate": 8.75e-07,
"loss": 1.6155,
"step": 219
},
{
"epoch": 0.9166666666666666,
"grad_norm": 0.1923828125,
"learning_rate": 8.333333333333333e-07,
"loss": 1.6407,
"step": 220
},
{
"epoch": 0.9208333333333333,
"grad_norm": 0.1728515625,
"learning_rate": 7.916666666666667e-07,
"loss": 1.5713,
"step": 221
},
{
"epoch": 0.925,
"grad_norm": 0.189453125,
"learning_rate": 7.5e-07,
"loss": 1.5764,
"step": 222
},
{
"epoch": 0.9291666666666667,
"grad_norm": 0.1748046875,
"learning_rate": 7.083333333333334e-07,
"loss": 1.4859,
"step": 223
},
{
"epoch": 0.9333333333333333,
"grad_norm": 0.21484375,
"learning_rate": 6.666666666666667e-07,
"loss": 1.6655,
"step": 224
},
{
"epoch": 0.9375,
"grad_norm": 0.173828125,
"learning_rate": 6.25e-07,
"loss": 1.563,
"step": 225
},
{
"epoch": 0.9416666666666667,
"grad_norm": 0.1845703125,
"learning_rate": 5.833333333333334e-07,
"loss": 1.6299,
"step": 226
},
{
"epoch": 0.9458333333333333,
"grad_norm": 0.18359375,
"learning_rate": 5.416666666666667e-07,
"loss": 1.5316,
"step": 227
},
{
"epoch": 0.95,
"grad_norm": 0.17578125,
"learning_rate": 5.000000000000001e-07,
"loss": 1.5593,
"step": 228
},
{
"epoch": 0.9541666666666667,
"grad_norm": 0.19140625,
"learning_rate": 4.583333333333333e-07,
"loss": 1.5955,
"step": 229
},
{
"epoch": 0.9583333333333334,
"grad_norm": 0.18359375,
"learning_rate": 4.1666666666666667e-07,
"loss": 1.5528,
"step": 230
},
{
"epoch": 0.9625,
"grad_norm": 0.1806640625,
"learning_rate": 3.75e-07,
"loss": 1.5151,
"step": 231
},
{
"epoch": 0.9666666666666667,
"grad_norm": 0.1796875,
"learning_rate": 3.3333333333333335e-07,
"loss": 1.591,
"step": 232
},
{
"epoch": 0.9708333333333333,
"grad_norm": 0.1689453125,
"learning_rate": 2.916666666666667e-07,
"loss": 1.5771,
"step": 233
},
{
"epoch": 0.975,
"grad_norm": 0.185546875,
"learning_rate": 2.5000000000000004e-07,
"loss": 1.5384,
"step": 234
},
{
"epoch": 0.9791666666666666,
"grad_norm": 0.1787109375,
"learning_rate": 2.0833333333333333e-07,
"loss": 1.48,
"step": 235
},
{
"epoch": 0.9833333333333333,
"grad_norm": 0.1728515625,
"learning_rate": 1.6666666666666668e-07,
"loss": 1.5748,
"step": 236
},
{
"epoch": 0.9875,
"grad_norm": 0.1728515625,
"learning_rate": 1.2500000000000002e-07,
"loss": 1.5357,
"step": 237
},
{
"epoch": 0.9916666666666667,
"grad_norm": 0.1640625,
"learning_rate": 8.333333333333334e-08,
"loss": 1.5273,
"step": 238
},
{
"epoch": 0.9958333333333333,
"grad_norm": 0.1787109375,
"learning_rate": 4.166666666666667e-08,
"loss": 1.5952,
"step": 239
},
{
"epoch": 1.0,
"grad_norm": 0.1806640625,
"learning_rate": 0.0,
"loss": 1.5733,
"step": 240
}
],
"logging_steps": 1.0,
"max_steps": 240,
"num_input_tokens_seen": 0,
"num_train_epochs": 1,
"save_steps": 0,
"stateful_callbacks": {
"TrainerControl": {
"args": {
"should_epoch_stop": false,
"should_evaluate": false,
"should_log": false,
"should_save": true,
"should_training_stop": true
},
"attributes": {}
}
},
"total_flos": 7.316762986566124e+17,
"train_batch_size": 1,
"trial_name": null,
"trial_params": null
}