dasha_f/isaac
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Сортировочная ячейка Isaac Sim: CV-пайплайн и меши товаров

Browse Source 
Замкнутый контур "поток -> CV -> механика": товары идут по конвейеру с шагом 700 мм,
класс определяется стереопайплайном во время движения, пушер и плуг реагируют физически.

Состав:
* control_test/ - ячейка и CV. run_sorting_cv.py + cv_worker.py (два процесса, потому что
  torch внутри Isaac роняет сцену), cell.py (физика лент, плуга, пушера), measure_plane.py
  (замер габаритов), README.md и .memory.md с замерами, проблемами и ловушками
* robozon_sorter/ - модули симуляции, scripts/ - утилиты, scene/ - сцены
* assets/ - меши товаров, плуг, объекты Objaverse

Бейзлайн CV: DEFOM-Stereo vitl, вход 480, iters 24, кроп зоны осмотра, без сегментации.
На потоке 700 мм - классы 8/9, габариты MAE 32.8 мм, 469 мс на товар при такте 700 мс.

Веса моделей (4.5 ГБ) и пропсы конвейера NVIDIA (274 МБ) не включены - источники и
команды скачивания в MODELS.md. Выход прогонов (captures/, runtime/) не включён:
воспроизводится.

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
dasha_f
2026-08-01 13:07:24 +00:00
parent 6ce460378a
commit 0d32f32db0
342 changed files with 18000 additions and 0 deletions
Download Patch File Download Diff File Expand all files Collapse all files
config/calib.json
+206
View File
@@ -0,0 +1,206 @@
{
"center": [
-0.75,
0.0,
1.781
],
"belt_top": 1.781,
"rectified": true,
"cameras": {
"RealSense_D435": {
"baseline_m": 0.07352941176470584,
"intrinsics": {
"fx": 674.4192801798159,
"fy": 674.4192801798159,
"cx": 640.0,
"cy": 360.0,
"width": 1280,
"height": 720
},
"left_path": "/RigRS/RealSense_D435_Left",
"right_path": "/RigRS/RealSense_D435_Right",
"left_world": [
[
-0.999999612839731,
0.0008799547647936078,
0.0,
0.0
],
[
-0.0005857536015939647,
-0.6656630525216037,
0.7462522076351525,
0.0
],
[
0.0006566681858463012,
0.7462519187159471,
0.6656633102399899,
0.0
],
[
-0.7128235436455979,
0.4679059598012155,
2.1984051112352905,
1.0
]
],
"right_world": [
[
-0.999999612839731,
0.0008799547647936078,
0.0,
0.0
],
[
-0.0005857536015939647,
-0.6656630525216037,
0.7462522076351525,
0.0
],
[
0.0006566681858463012,
0.7462519187159471,
0.6656633102399899,
0.0
],
[
-0.7863529269426368,
0.46797066235745033,
2.1984051112352905,
1.0
]
]
},
"Orbbec_Gemini305": {
"baseline_m": 0.026470588235294006,
"intrinsics": {
"fx": 662.7394008259646,
"fy": 662.7394008259646,
"cx": 640.0,
"cy": 400.0,
"width": 1280,
"height": 800
},
"left_path": "/RigRS/Orbbec_Gemini305_Left",
"right_path": "/RigRS/Orbbec_Gemini305_Right",
"left_world": [
[
0.5003812738237227,
-0.8658051633055491,
0.0,
0.0
],
[
0.5765794758052561,
0.33322690230045576,
0.7459999595599041,
0.0
],
[
-0.6458906168126959,
-0.37328441003703045,
0.665945989053633,
0.0
],
[
-1.1614573934228245,
-0.22250996955474017,
2.1984051112352905,
1.0
]
],
"right_world": [
[
0.5003812738237227,
-0.8658051633055491,
0.0,
0.0
],
[
0.5765794758052561,
0.33322690230045576,
0.7459999595599041,
0.0
],
[
-0.6458906168126959,
-0.37328441003703045,
0.665945989053633,
0.0
],
[
-1.148212006762785,
-0.24542834152459286,
2.1984051112352905,
1.0
]
]
},
"Orbbec_Gemini345": {
"baseline_m": 0.12941176470588234,
"intrinsics": {
"fx": 628.9262483940416,
"fy": 628.9262483940416,
"cx": 640.0,
"cy": 400.0,
"width": 1280,
"height": 800
},
"left_path": "/RigRS/Orbbec_Gemini345_Left",
"right_path": "/RigRS/Orbbec_Gemini345_Right",
"left_world": [
[
0.49961921012690946,
0.866245141326728,
-0.0,
0.0
],
[
-0.5763830506655224,
0.33243712520337265,
0.7465039428509558,
0.0
],
[
0.6466554134758858,
-0.37296771028381803,
0.6653809910930556,
0.0
],
[
-0.3766700723271712,
-0.29002031174316084,
2.1984051112352905,
1.0
]
],
"right_world": [
[
0.49961921012690946,
0.866245141326728,
-0.0,
0.0
],
[
-0.5763830506655224,
0.33243712520337265,
0.7465039428509558,
0.0
],
[
0.6466554134758858,
-0.37296771028381803,
0.6653809910930556,
0.0
],
[
-0.31201346866368884,
-0.17791799933617253,
2.1984051112352905,
1.0
]
]
}
}
}